数据中心 沉浸阅读 · 约 2 分钟
全文 684 字

MangoBoost与PFN合作开发异构AI推理系统

核心导读 MangoBoost与Preferred Networks(PFN)签署谅解备忘录,将合作开发下一代AI推理基础设施。双方将验证“AI Token Factory”架构,结合DPU、MN-Core AI推理处理器和GPU,以提高推理吞吐并降

从左至右:PFN部门负责人Takahiro Ogura、MangoBoost首席执行官Jangwoo Kim。(图片来源:MangoBoost)

配图

MangoBoost于11月18日表示,公司已与Preferred Networks(PFN)签署谅解备忘录(MOU),将在人工智能(AI)推理基础设施技术领域开展合作。

双方将针对下一代“AI Token Factory”架构开展概念验证(PoC),探索通过提高AI推理吞吐量并降低延迟来提升系统利用率的方式。

所提出的架构将MangoBoost的数据处理单元(DPU)及其他解决方案,与PFN的MN-Core AI推理处理器以及超威半导体图形处理器(GPU)相结合。该异构计算系统旨在系统层面优化计算资源、网络和存储。

GPU将负责预填充阶段,即AI模型处理输入指令的阶段;而PFN的AI推理芯片将执行解码阶段,即生成token。MangoBoost的DPU、键值(KV)缓存池化存储以及预填充-解码分离(PDD)解决方案,将用于优化数据传输和KV缓存管理。

MangoBoost的DPU是一款专用芯片,用于处理AI基础设施中的通信、存储输入/输出和安全处理。与其KV缓存解决方案配合,可减少异构计算环境中与数据移动和内存管理相关的系统开销。

双方将首先在仿真环境中验证该架构。待MN-Core L1000芯片样片可用后,他们将把测试扩展至实际硬件上的性能验证。双方还将考虑基于评估结果发表联合研究论文。谅解备忘录签约仪式将在当地时间11月15日至20日于芝加哥举行的SC26超算大会期间举行。

来源: 海外媒体

相关推荐
评论区

登录后即可参与技术讨论与同行交流

免费注册