扎克伯格曾对苹果提出批评,认为自iPhone之后该公司再无重大创新。但现在,他却主动分享了Meta AI在Mac设备上运行的照片,并对苹果及其新任CEO John Ternus的支持表达了感谢。
促成这次合作的,是一个拥有8160亿参数的大模型,以及将这一模型部署到用户桌面上的共同愿景。
今天凌晨,Meta发布了开放权重模型Muse Spark Open,并与苹果联合展示了其在两台或四台Mac Studio上运行的方案。开发者能够在本地环境中利用该模型编写代码、分析视频以及执行智能体任务,推理过程无需经过模型厂商的服务器。
随着人工智能开始处理个人文件和企业数据,数据的处理地点及控制权问题变得日益关键。开放模型与本地AI形成了相辅相成的关系,使得用户能够自主部署模型,并将推理过程保留在自己的设备上。
苹果多年来在自研芯片、统一内存和开发工具方面的投入,也因此找到了用武之地。如今,一个拥有8160亿参数的模型能够在桌面上运行,这让Mac距离成为AI时代的首选个人电脑更近了一步。
小扎送来新模型,苹果准备好了电脑
Muse Spark Open的发布,是扎克伯格此前一项承诺的兑现。
今年8月,Meta推出了规模较小的开放权重模型Muse Glimmer,扎克伯格当时曾表示,未来会开放更大、更强的模型。如今,这一承诺化为了拥有8160亿参数的Muse Spark Open。
新模型Muse Spark Open的能力接近Muse Spark 1.3,Meta将其称为目前能力最强的美国开发的开放权重模型。
开发者可以下载模型权重,在自己的硬件上进行部署,也可以通过云服务商和开发工具来使用。其许可证允许一定范围内的商业用途,为企业自行部署和开发应用留出了空间。
Meta AI负责人Alexandr Wang表示,Muse Spark Open的能力仍低于本周早些时候发布的闭源模型Muse Wonder。不过,开放权重赋予了它另一种吸引力,开发者能够自行选择运行环境、研究模型,并根据实际需求组织应用。
Meta希望这些尝试从小规模起步,然后逐渐扩大。苹果的加入,则为开发者提供了一套明确的本地运行方案。
扎克伯格在X上分享了Meta智能体在Mac上工作的照片,并表示Muse Spark Open当天开放权重,得益于与Ternus和苹果的合作,它在新款Mac Studio上运行得非常好。
Ternus随后回应,能够在桌面上如此高效地运行这种规模和能力的模型,令人振奋,并称Mac Studio正在持续拓展设备端AI的边界。
Wang对两家公司的合作给出了一个更生活化的评价。他开玩笑地对Axios表示,看到**“爸爸妈妈终于又能好好相处”**,大家都很高兴。
据他介绍,双方已经合作了数月,曾在苹果任职、如今加入Meta的Daniel Gross,在其中发挥了关键作用。特别是,Meta在今年早些时候已经购买了数百台Mac,供其超级智能团队探索本地AI和智能体应用。
这次合作最值得关注的一点,是模型能力与用户数据之间可以建立一种新的关系。
按照Wang的说法,开发者在自己的设备上运行模型时,Meta无法看到或控制其使用的内容。用户可以获得Meta的模型能力,同时将提示词和推理过程保留在自己能够掌控的环境中。
对个人而言,本地运行可以减少私人资料向外部服务器传输;对企业来说,代码、文档和业务数据也能留在自主管理的设备上。隐私与安全需求因此成为推动本地AI的实际动力,而开放权重让这条路具备了可操作性。
8160亿参数,怎么装进几台Mac
将如此庞大的模型搬到桌面上,需要解决两个问题:电脑能否装下,以及装下之后能否足够快地工作。
Muse Spark Open采用混合专家架构,即MoE,总参数量达到8160亿,每次推理激活约420亿参数。
它就像一个规模庞大的专家团队,处理不同内容时,只调动其中一部分专家参与计算。模型因此可以保留较大的总容量,同时减少每一步实际需要完成的计算。
不过,没有参与当前计算的参数,仍然需要存储起来,供后续调用。MoE虽然降低了计算负担,但容纳整套模型所需的内存需求依然很大。
根据苹果技术博客的数据,在原生BF16精度下,Muse Spark Open仅模型参数就需要超过1.6TB内存。
苹果使用了NVFP4四位量化版本,将模型内存占用压缩至约493GB。量化相当于用更精简的数值表示方式存储参数,通过降低数值精度来换取更小的内存占用。
即便如此,单台配备512GB统一内存的Mac Studio依然难以做到游刃有余。除了模型权重,推理过程中的临时计算数据、KV Cache(键值缓存),以及操作系统和运行框架,都需要占用额外内存。
多台Mac协同工作,便成了下一步。
在苹果展示的多机推理方案中,MLX主要采用两种并行方式,其中较容易理解的是流水线并行。模型前一部分放在一台Mac上,后一部分放在另一台上,第一台完成计算后,再把结果交给第二台继续处理。
这种方式能够让两台电脑共同容纳一个大型模型,但计算存在前后依赖,后一台机器需要等待前一台的结果,设备无法始终同时投入工作。
张量并行则将同一层里的计算分配给多台机器,让它们共同参与,再交换和汇总结果。
更多设备可以同时工作,机器之间也就需要更频繁地交换数据。如果传输太慢,增加的计算能力就会消耗在等待中。
苹果为此使用了雷雳5上的RDMA通信,以降低多机交换数据的延迟,再由MLX协调计算。在博客展示的双机配置中,两台Mac通过两根雷雳线连接,以增加链路带宽。
最终的性能差距,清楚地体现了这种协作方式的价值。
在输入上下文为8192 tokens、随后生成128 tokens的测试中,两台M5 Ultra Mac Studio使用流水线并行时,Muse Spark Open的生成速度约为每秒15.74 tokens。
改用张量并行后,双机速度提高到每秒24.99 tokens,提升接近六成。进一步增加到四台机器,速度达到每秒36.73 tokens,首个token的等待时间也从双机张量并行的约8.2秒,缩短至约4.8秒。
从存得下,到能够以实际可用的速度交互,背后依靠的是一整套软硬件配合。
统一内存架构让CPU和GPU能够共享内存资源,大容量配置为模型提供存储空间,高带宽支持持续读取数据,而MLX与雷雳互联则让多台电脑能够协同承担任务。
M5 Ultra进一步将统一内存带宽从M3 Ultra的819GB/s提高至1.2TB/s。M5系列GPU加入的Neural Accelerators,则用于加速矩阵运算,改善处理输入上下文时的计算效率。
这两项变化对应着用户能够感受到的两个环节:提交一大段材料后,需要等多久才开始回答,以及开始回答以后,内容输出有多快。
在苹果针对Qwen 3.8和Mistral Medium 3.5的单机测试中,M5 Ultra相比M3 Ultra,首个token等待时间对应的速度提升最高约为4.6倍,文字生成速度约为1.6倍。
苹果还展示了如何把本地模型服务用于OpenCode等编程工具。开发者可以继续通过智能体界面提交任务,让模型处理上下文、生成代码,而背后的推理工作由桌上的Mac完成。
由此来看,Muse Spark Open在Mac上运行,也是一场对苹果既有投入的集中检验。芯片、内存、互联和软件工具各自解决一部分问题,最终共同决定了桌面AI能走多远。
目前,这套方案仍主要面向专业开发者和团队。搭载M5 Ultra的Mac Studio起售价为46999元,512GB版本将于本月晚些时候上市,运行Muse Spark Open还需要根据内存需求配置多台设备。
大型模型进入个人电脑的过程,显然还有门槛。但苹果已经展示出一条具体路径,让需要自主掌握模型和数据的用户,能够在桌面上构建自己的AI运行环境。
苹果连闲着的Mac也惦记上了
几台高配Mac Studio组成集群,解决了大型模型如何进入桌面的问题。苹果研究人员近期发表的另一篇论文,则将目光投向了办公室里已经存在、却经常没有充分使用的电脑。
名为Minions的系统,尝试把Apple Silicon设备中闲置的GPU组织起来,形成一个共享的推理资源池。
研究人员观察到一种常见的资源错配。一边是团队申请集中式GPU时,需要长时间排队;另一边,大量Mac正在处理邮件、文档等日常工作,GPU仍有不少空闲。
Minions希望让这些已有设备分担任务,减少团队对新增GPU采购的依赖。
团队提交工作后,系统会将其分成多个子任务,由参与的Mac主动领取,使用本机GPU完成计算,再把结果上传至指定存储位置。
与前文多台Mac紧密协作运行同一个大型模型的方式不同,Minions主要面向能够分别执行的任务,让不同电脑各自处理一部分工作,提高整体处理量。
目前,系统支持生成文本向量,以及通过Ollama调用本地大模型完成文本生成。前者可以用于检索等场景,后者适合批量处理大量独立请求。
员工电脑的使用状态随时可能变化,有人会合上笔记本,有人会断开网络,也有人需要优先处理自己的工作。
Minions因此设置了任务回收机制,监测正在执行任务的设备,一旦设备失去响应,就将未完成的子任务重新交给其他电脑。
设备拥有者还可以设置优先参与的团队、项目或任务。论文提到,团队有时会通过Slack临时招呼同事,请大家启动执行程序,共同处理某项工作。
原本需要排队申请的计算资源,就这样变成了同事之间可以临时组织的协作。
按照论文披露的使用情况,过去因集中式GPU紧张而需要等待十多个小时的部分任务,使用Minions后,往往几分钟内就能开始执行。闲置设备的加入,让团队更早获得了可用算力。
数据如何管理,也被纳入系统设计。Minions支持在指定团队或组织内部独立部署,将任务限制在各自管理的设备范围内,让共享算力与数据管理要求相适应。
研究人员还计划探索分布式模型训练,而现阶段的重点,是让已有Mac成为集中式GPU基础设施的补充。
从Muse Spark Open到Minions,苹果正在挖掘个人电脑在AI时代的两种价值。一种是通过大内存和高速互联,让桌面设备承担更大的模型;另一种是利用闲置时间,让更多已有电脑参与计算。
端侧AI的发展也因此拥有了更具体的形态。它可以是一台设备独立处理私人任务,也可以是几台电脑共同运行大型模型,或者由一个团队内部的设备协作完成批量工作。
当AI接触的数据越来越私人、承担的任务越来越深入,用户对隐私、安全和自主控制的需求,也会不断推动本地部署。开放模型提供了选择权,而能够高效运行它们的硬件,则把选择权变成了实际能力。
**苹果与Meta的合作,正是两股趋势的一次汇合。**对于努力争取AI PC位置的Mac而言,多年来投入的芯片、统一内存和开发生态,终于开始以一种足够直观的方式得到回报,越来越大的模型,正在它的桌面上运行起来。