从左至右:PFN部门负责人Takahiro Ogura、MangoBoost首席执行官Jangwoo Kim。(图片来源:MangoBoost)
MangoBoost于11月18日表示,公司已与Preferred Networks(PFN)签署谅解备忘录(MOU),将在人工智能(AI)推理基础设施技术领域开展合作。
双方将针对下一代“AI Token Factory”架构开展概念验证(PoC),探索通过提高AI推理吞吐量并降低延迟来提升系统利用率的方式。
所提出的架构将MangoBoost的数据处理单元(DPU)及其他解决方案,与PFN的MN-Core AI推理处理器以及超威半导体图形处理器(GPU)相结合。该异构计算系统旨在系统层面优化计算资源、网络和存储。
GPU将负责预填充阶段,即AI模型处理输入指令的阶段;而PFN的AI推理芯片将执行解码阶段,即生成token。MangoBoost的DPU、键值(KV)缓存池化存储以及预填充-解码分离(PDD)解决方案,将用于优化数据传输和KV缓存管理。
MangoBoost的DPU是一款专用芯片,用于处理AI基础设施中的通信、存储输入/输出和安全处理。与其KV缓存解决方案配合,可减少异构计算环境中与数据移动和内存管理相关的系统开销。
双方将首先在仿真环境中验证该架构。待MN-Core L1000芯片样片可用后,他们将把测试扩展至实际硬件上的性能验证。双方还将考虑基于评估结果发表联合研究论文。谅解备忘录签约仪式将在当地时间11月15日至20日于芝加哥举行的SC26超算大会期间举行。
来源: 海外媒体
登录后即可参与技术讨论与同行交流
免费注册