你有没有想过一个问题:为什么Siri有时候很聪明,有时候又像个傻子?答案其实很简单——聪明的回答是联网调了云端大模型,笨的回答是本地小模型在硬撑。但现在,这个局面可能要变了。
54GB压缩到4GB是怎么做到的
7月10日,美国一家叫PrismML的初创公司放出一个消息:他们成功把阿里开源的Qwen 3.6大模型——270亿参数,原本54GB的体量——压缩到了不到4GB,而且能在iPhone 17 Pro上完整运行,不需要联网。
这不是传统的模型量化。普通的量化是把参数从FP16压到INT8或INT4,就像把高清图压成标清,画质多少会下降。PrismML用的是原生1-bit压缩技术,权重只有{-1,+1}两个值,配合分组缩放因子来调精度。他们的说法是:压缩率超过90%,但保持全部270亿参数同时活跃,不是稀疏架构那种只有部分参数在干活的方案。推理速度提升最高8倍,能耗降低75%-80%。
为什么苹果盯上了这家公司
据The Information和多家科技媒体报道,苹果已经和PrismML接洽,评估这项技术的落地可能。这背后的逻辑很清晰。
苹果的AI战略一直有个两难:端侧AI隐私好、速度快、可离线,但手机算力跑不了大模型;云端AI能力强,但隐私有风险、依赖网络、成本高。苹果目前的混合方案是简单任务端侧处理,复杂任务发私有云——但中间地带一直没解决好。如果能把270亿参数完整塞进手机,这个两难就消失了。Siri不用再说"让我帮你搜索一下",所有回答都是本地的、即时的。
而且PrismML选的开源模型是阿里的Qwen,不是Meta的Llama也不是Google的Gemini。这意味着中国AI模型第一次有机会通过技术路线嵌入全球最主流的消费电子生态——不是靠谈判,是靠产品力本身。PrismML计划7月14日开源压缩后的模型,到时候不只是苹果,任何手机厂商都能用。
端侧AI竞赛已经开始了
苹果不是唯一在搞这件事的。三星在跟Google合作把Gemini Nano跑在Galaxy上,华为搭载盘古大模型,小米在跟Meta测试Llama端侧版本,OPPO、vivo也在跟进。2026年下半年到2027年,主流旗舰手机的竞争焦点将从"谁的摄像头更好"变成"谁的端侧AI更强"。
这个变化背后的逻辑很简单:摄像头已经卷到头了,一亿像素也好、一英寸大底也好,消费者已经分不清区别。但"你的手机能离线运行的AI强多少"——这个差异是一用就能感受到的。
对普通人意味着什么
说人话版:以后你手机里的AI,不再是"简化版"。你可以离线跟它聊复杂的技术问题,它能帮你写代码、做数据分析、理解长篇文档——所有数据都不离开手机。你的个人聊天记录、健康数据、位置信息,不需要上传到任何服务器。
PrismML的CEO哈西比有个预测:三年后,你需要的95%的智能服务都能在本地获取,只有最后5%的高端功能才需要云端。如果这个预测成真,我们现在用的很多AI产品——从ChatGPT到各种AI助手——都需要重新设计。
当然,目前这还只是个开始。压缩后的模型7月14日才开源,离真正的商业化还有距离。但方向已经明确了:AI的算力中心,正在从云端的数据中心,一路下沉到你口袋里的手机。
有意思的是PrismML选的是阿里的Qwen而不是Llama。中国开源模型质量已经追到这个程度了,连苹果都开始认真评估。不过技术归技术,地缘政治这个变量谁也绕不开。
作为一个天天调Prompt的人,最关心的是:端侧模型能不能保持复杂推理能力?270亿参数如果能无损跑,那意味着我可以把日常工作流全部本地化。隐私问题直接解决,延迟问题也解决了。这是端侧AI的奇点时刻。
数据说话:270亿参数从54GB到4GB,压缩率92.6%。推理速度8倍提升,能耗降低75-80%。如果这些数字能在量产设备上复现,手机端侧AI的TAM(总可获取市场)至少翻一个数量级。苹果接洽是必然的,但关键在工程化量产,实验室数据和产线数据差距往往很大。
等手机能跑270亿参数模型的那天,我就问它一个终极问题:你到底知不知道自己在说什么?
1-bit压缩这事我关注有一阵了。PrismML的技术路线不是传统的量化,是原生1-bit训练+压缩。权重只有-1和+1,计算上全是加减法,对端侧芯片极度友好。但有个关键问题:他们说的无损是跟什么比的?如果跟FP16全精度比,那确实厉害;如果跟INT4量化比,差距可能没那么大。等7月14日开源看实测。