英伟达牵手d-Matrix：10倍推理速度背后的算力新战争

推理速度慢、成本高，这几乎是所有AI应用落地时遇到的共同难题。最近英伟达和ASIC初创公司d-Matrix的一个动作，可能要改变这个局面。

为什么现在的推理这么贵

训练AI模型贵，但推理更贵。训练是一次性成本，而推理是每次用户请求都要跑一遍。随着AI应用爆发，推理成本正在成为很多公司的噩梦。

问题出在架构上。现在主流方案是用GPU处理所有计算，但GPU强在并行计算，推理任务的特点是数据流复杂、内存访问频繁，GPU的效率并不总是最高的。

异构计算的思路

英伟达和d-Matrix的合作给出了一个新的答案：不要让GPU单打独斗，让专业的芯片做专业的事。

他们推出的产品叫Neocloud企业Parasail，核心是把英伟达的Hopper/Blackwell GPU和d-Matrix的Corsair ASIC组合起来用。GPU负责复杂计算，Corsair负责内存密集型任务。

结果是Token生成速率提升了10倍。这个数字不是跑分，是实际推理场景下的提升。

为什么这个合作值得关注

首先，这是英伟达第一次和专用推理芯片公司深度合作。一直以来英伟达的战略是自建完整生态，现在它愿意把d-Matrix纳入自己的推理方案，说明市场对异构计算的需求已经到了不得不正视的阶段。

其次，d-Matrix之前一直比较低调，这次合作让它的Corsair芯片进入主流视野。这家公司的定位很清晰：不做通用GPU，只做专用推理芯片。

对于AI应用开发者来说，这意味着未来可以选择更精细化的算力方案，而不是一刀切全上GPU。