世博shibo登录入口确保“Mu”简略在这些公司的NPU上顺畅运行-世博官方体育app下载(官方)网站/网页版登录入口/手机版最新下载

发布日期:2025-07-02 06:48    点击次数:76

世博shibo登录入口确保“Mu”简略在这些公司的NPU上顺畅运行-世博官方体育app下载(官方)网站/网页版登录入口/手机版最新下载

极客网·东说念主工智能6月30日 上周,微软文告推出一款名为“Mu”的新式生成式东说念主工智能(GenAI)系统世博shibo登录入口,它让咱们得以一窥异日咱们使用各式修复(从个东说念主电脑到烤面包机)的方法。

借助“Mu”,用户简略通过浅显谈话来操控电脑。举例,你不错键入或说出“怒放暗黑模式”或“让我的鼠标指针变大”等辅导,电脑便会照作念。

现时,“Mu”初度出当今Windows 11栽种应用要津中。你只需说出或键入你想要转换的具体栽种,这款生成式东说念主工智能器具就能相识你的意图并为你完成转换。

土产货而非云表

更伏击的是,这并非运行在云表的大型谈话模子(LLM)——“Mu”是一款袖珍谈话模子(SLM),领有相对较少的3.3亿参数,专为在一种名为神经处置单位(NPU)的专用东说念主工智能芯片上运行而预备。

这种NPU芯片搭载于微软、戴尔、惠普、理想、三星和宏碁推出的最新款Copilot+个东说念主电脑中。这些新款电脑自2024年6月开动发货,是独一简略使用“Mu”以及Windows 11中其他先进东说念主工智能功能的电脑。

一言以蔽之,它并非基于LLM的云表聊天机器东说念主,而是一款澈底在个东说念主电脑上运行、致使在断开互联网勾通时也能运行的袖珍谈话模子。

由于Copilot+个东说念主电脑配备了简略每秒处置至少40万亿次运算的NPU,因此简略运行“Mu”。微软与高通、AMD和英特尔张开配合,确保“Mu”简略在这些公司的NPU上顺畅运行,而如今,NPU已成为悉数Copilot+个东说念主电脑的轨范成就。

“Mu”接管一种名为“变换器编码器-解码器”的预备,这意味着它将责任分为两部分。编码器将你的谈话升沉为一种压缩神色,而解码器则将这种神色升沉为正确的辅导或谜底。

与旧模子比较,这种预备在实践诸如转换栽种等任务时更为高效。“Mu”领有32层编码器和12层解码器,之是以采纳这种成就,是为了契合NPU的内存和速率限制。该模子利用旋转位置镶嵌来保捏词序,接管双层归一化来保捏褂讪性,并愚弄分组查询详确力机制来更高效地利用内存。这些时候采纳使得“Mu”简略每秒处置跳动100个绚烂,何况在不到500毫秒的时辰内作念出反映。

与基于LLM的聊天机器东说念主(如OpenAI的ChatGPT)比较,“Mu”的速率极快。

微软在360万个专注于Windows栽种及联系任务的示例上对“Mu”进行了磨练。磨练在Azure平台上进行,借助了NVIDIA A100图形处置单位(GPU)。磨练完成后,微软对“Mu”进行了微调,并愚弄量化时候缩减其内存需求,以便其简略在三家芯片制造商的NPU上精良运行。因此,“Mu”的体积约为微软Phi-3.5-mini模子的尽头之一,但在其预备用于实践的任务上,性能险些雷同出色。

小模子而非大模子

“Mu”信得过具有始创性,因为它是首款专为让用户通过当然谈话戒指系统栽种而预备的袖珍谈话模子,且澈底在主流出货修复上运行。

苹果公司的iPhone、iPad和Mac齐配备了神经引擎NPU,并运行用于Siri和苹果智能功能的修复端东说念主工智能。然则,苹果公司并莫得像“Mu”那样深度集成于系统栽种的袖珍谈话模子。Siri和苹果智能功能简略转换一些栽种,但其规模和天真性无法与“Mu”同等看待。

三星的Galaxy S25以过头他近期推出的旗舰手机配备了定制的NPU和Galaxy东说念主工智能,简略实践各式修复戒指和个东说念主助理任务。然则,它们雷同枯竭用于全面系统栽种戒指的袖珍谈话模子。

谷歌的Chromebook Plus修复配备了NPU,并缓助修复端东说念主工智能,但并未像“Mu”那样使用袖珍谈话模子来用于系统栽种。

由于“Mu”径直在修复上处置数据,因此简略确保个东说念主信息的秘籍性,何况简略即时作念出反映。这种调整也使得谨守欧洲和好意思国等地的秘籍规章变得愈加容易,因为数据不会离开你的电脑。

悉数这个词行业正朝着这一地方发展,原因可想而知。如今的袖珍谈话模子仍是饱和纷乱,简略像大型云表模子一样出色地处置特定任务。它们的运行老本更低,能耗更少,何况不错凭据特定的责任或谈话进行定制。

值得详确的是,NPU并不陌生。现时,它们仍是出当今新款手机、平板电脑致使家用电器中。这些芯片旨在高效且低功耗地运行神经集会,使得在莫得可靠互联网勾通的情况下,也能在职何地方提供智能功能。

最伏击的是,运行在NPU上的袖珍谈话模子关于个东说念主电脑、手机和平板电脑而言预想要紧,致使关于一切修复齐是如斯。跟着其性能和才能的提高以及老本的裁汰,咱们不错料到,汽车容颜盘、恒温器、洗衣机、无极机乃至一切修复(包括烤面包机)齐将搁置嵌套菜单式的用户戒指方法,转而接管语音戒指栽种。

你将走进厨房,告诉烤面包机在轻视20分钟后将你的贝果烤得略微焦少许,然后告诉咖啡机为你制作一杯拿铁。早餐事后,你将走进家庭办公室,通过与成心用于每种修复的袖珍谈话模子交谈,汉典戒指各式物联网修复和其他物品。

不外请详确,这些用于修复戒指的袖珍谈话模子还将径直与大型谈话模子配合使用,以得到信息并实践其他操作世博shibo登录入口,比如编写代码、构建网站和应用要津以及促进你悉数的商务相通。