韩国边缘AI芯片初创公司DeepX已流片其第二代AI加速器，并采用了三星的定制处理器内计算（PIM）技术。DX-M2旨在将生成式AI引入机器人、无人机及其他边缘设备，能够在不到5W的功耗下支持高达1000亿参数模型的推理。
DeepX的第一代芯片DX-M1现已量产，主要面向视觉应用。新流片的DX-M2旨在让本地AI成为功耗和散热预算受限设备的实用选择。该芯片设计用于以每秒10到30个token的速度运行200亿至1000亿参数的模型（约30亿至200亿个活跃参数），具体取决于模型。这在与M1相同的功耗预算——仅5W内实现。
DeepX创始人兼CEO Lokwon Kim表示：“M1和M2之间最重要的变化是内存带宽。”
内存带宽从50 GB/s提升至150 GB/s，增加了两倍，同时还有其他几项效率提升。DeepX表示，得益于设计改进，其NPU的能效提升了一倍，而采用2nm工艺节点又使其能效翻倍，目前可实现80 TOPS的算力。
Lokwon Kim表示：“这很重要，因为5W的功耗使我们能够将其应用于无人机或任何其他电池供电设备等各类场景。我们的目标是在所有设备中部署复杂的AI。”
M2能够处理大型混合专家（MoE）大语言模型，并支持包括推测解码和TurboQuant在内的新技术。
处理器内计算（PIM）
大多数类型的AI推理操作受限于在内存和计算单元之间移动权重，尤其是通用矩阵向量乘法（GEMV），该过程需要随机内存访问，从而拖慢了计算速度。内存制造商提出了PIM方案，使GEMV等受内存限制的操作可以在内存芯片内部进行计算。在内存内部执行操作可提高有效内存带宽，并减少耗时的内存访问时间。
PIM有望成为LPDDR6的JEDEC标准。然而，DeepX一直在与三星合作，将DX-M2与三星的LPDDR5x-PIM进行集成。
Lokwon Kim表示：“我们在这项技术上投入了一年半的时间，并与三星存储部门合作，因为他们已经拥有针对LPDDR5x的定制PIM。我们已经收到了LPDDR5x PIM样品，并正在内部测试其操作和性能。”
DeepX的模拟显示，将GEMV操作从DX-M2卸载到LPDDR5x-PIM中，与单独使用DX-M2相比，Llama3.1-8B模型的每秒生成token数将提升6.7倍。
Lokwon Kim表示：“配备LPDDR5x-PIM的DX-M2已接近最优状态。但我们的下一代产品DX-M3将支持官方的LPDDR6 PIM技术；届时我们将获得完整的理论性能提升，性能将提高5到8倍。”
Lokwon Kim解释说，唯一的缺点是额外的计算并非免费——6.7倍的性能需要整体2.7倍的功耗。尽管如此，DeepX认为在与非PIM操作相同的功耗范围内，可以实现2倍的性能提升。
Lokwon Kim指出，在编译器中需要“大量的手动工作”来支持这种操作模式。他表示，DeepX目前基于支持PIM的LPDDR5x模拟，运行着一个原型编译器。“我们现在正在制造硬件模块，以便在物理环境中进行测试，因此编译器尚未完成，但我们正在积极推进。”
关键市场
DX-M2将瞄准几个关键领域。机器人公司目前正使用英伟达Thor等GPU进行原型设计，他们希望降低功耗并在设备端获得更多算力；汽车公司则在寻找能够运行车载智能体的低功耗芯片。DeepX战略营销总监Tim Park表示。对于物联网设备，DeepX已与三星合作开发下一代智能中枢。该公司还加入了AWS物联网生态系统，以便使用Greengrass支持远程模型更新。
Tim Park表示，机器人客户通常从GPU开始开发，但由于散热和功耗的考虑，不得不寻找替代方案。DeepX正努力推动客户从英伟达Isaac机器人平台向自研的Newton平台过渡。
他说：“机器人客户不仅询问我们的硬件，还询问如何从英伟达迁移到DeepX。这就是答案——客户更改API以调用Newton而不是Isaac，然后就可以在DeepX系统上运行完全相同的流程。”
Tim Park表示，DeepX已有17个兼容库投入运行。该公司已展示基于M1的机器人使用与基于英伟达Jetson机器人相同的源代码，但调用的是DeepX库。
Lokwon Kim表示：“对客户而言，实际结果是当他们从英伟达切换到DeepX时，可以享受20倍的电池续航和更低的成本。同时，切换时间可以控制在1秒以内。他们只需将API名称从Isaac改为Newton即可。”
针对DeepX硬件的完整机器人软件栈目前正在开发中。
DeepX正与美国、越南和韩国的机器人客户进行接触，同时现代汽车集团机器人实验室已在其机器人平台中使用DX-M1。
与此同时，该公司正在构建其生态系统，增加各市场的垂直领域领军企业，并近期与英特尔展开了合作。
DeepX正与英特尔合作，将OpenVINO与DeepX SDK集成，以利用英特尔的x86客户群。DX-M1可以补充英特尔酷睿Ultra CPU中的集成NPU，并为其他没有NPU的英特尔边缘CPU提供AI功能，卸载部分或全部AI工作负载。
Lokwon Kim表示，该公司近期与AMD会面，讨论联合开发基于DeepX加速器与AMD Kria参考板结合的机器人平台，特别是针对韩国生态系统。这是DeepX推动与其他异构生态系统合作的一部分，包括树莓派等生态。
商业进展
Lokwon Kim表示，迄今为止，DeepX已收到超过100份DX-M1的采购订单，来自全球所有主要市场的各个物理AI行业（包括无人机、机器人、智能工厂、监控摄像头、航空航天与国防、医疗保健和物联网）。M1现已量产。
他表示，日本今年已成为一个主要市场，展现出开拓人形机器人的强烈意愿。
他说：“所有大型日本企业都在评估我们的芯片，目前日本有超过10家领先企业，他们的反馈非常令人鼓舞。同时，美国市场也很强劲；我们在那里有几家知名企业，他们的反馈也非常好。”
DeepX还参与了韩国、越南和新加坡的智慧城市项目。
Tim Park表示：“我们的长期观点是，随着效率的提高，AI计算将变得更加分布式。PC和智能手机时代展示了计算如何普及到许多产品中。AI将遵循自己的发展路径，但当应用需要立即访问传感器数据或在无持续连接的情况下运行时，本地推理具有明显的价值。”
Tim Park表示，DeepX认为边缘AI是其芯片的重大机遇，尤其是在新数据中心可用电力有限的时候。
Lokwon Kim认为，正如今天只有四分之一的CPU市场在数据中心一样，AI处理器市场在未来5到10年内也将向边缘转移。
他补充说，在许多AI数据中心项目延迟的当下，AI算力问题不能仅靠投资来解决。功耗仅为5W的AI芯片能够实现AI向设备端的迁移。
Lokwon Kim表示：“如果我们在设备中部署高达1000亿参数的模型，可以将AI数据中心流量减少80%以上。这意味着我们可以在不增加任何AI服务器的情况下，拥有五倍大的基础设施。这就是我们的愿景。”
DeepX第三代产品路线图中的DX-M3将于2028年推出。M3将采用芯粒架构，并使用LPDDR6-PIM实现1 ePOPS（INT8）的目标。其主要目标市场是汽车原始设备制造商和人形机器人公司，其需求将需要多芯粒设计。
与此同时，M2的样品预计将于2027年3月推出，量产目标为2027年秋季。
阅读全文，请访问：https://www.eetimes.com/deepx-tapes-out-second-gen-chip-projects-6-7x-performance-gain-with-lpddr5x-pim/
来源: 海外媒体
登录后即可参与技术讨论与同行交流
免费注册