运行大型 AI 模型成本高昂，尤其是当成千上万个请求竞争计算资源时。开源项目 llm-d 旨在通过 1.0 版本解决这一问题，引入跨分布式基础设施管理 AI 推理的新能力。
由红帽、IBM、谷歌云、CoreWeave 和英伟达发起，该项目目前由云原生计算基金会（CNCF）治理。
对于欧洲电子行业的读者来说，该版本对开发 AI 基础设施和部署大语言模型的公司尤其相关。它提供了提高 GPU 利用率、管理高要求工作负载以及降低运行 AI 应用成本的方法。
AI 推理效率提升
AI 推理面临的最大挑战之一是管理模型需要处理和复用的信息。
这在 AI 智能体场景中尤为突出，因为它们通常需要处理长对话、访问大量上下文并同时运行多个任务。
llm-d 通过缓存感知路由、内存卸载以及将输入提示处理与响应生成分离等技术来应对这些挑战。
1.0 版本增加了改进的工作负载调度，让不同用户和应用能够共享计算资源，而不会使系统不堪重负。
它还引入了高可用路由和协调更新，帮助运营人员在维护期间保持服务。
在现有 GPU 上实现更低成本
最近的演示显示了这些改进对大规模 AI 部署可能意味着什么。
在一项基准测试中，研究人员使用 llm-d 在英伟达 GPU 上运行 GLM 5.2——一个拥有约 7530 亿参数的开放权重模型。
该系统峰值时每分钟输出超过 660 万个 token，并支持多达 3000 个并发编码智能体且无抢占。
根据当前云租用价格，研究人员估计，在测试工作负载下，每个 token 的推理成本比同类商业 API 定价低 5 到 10 倍。
IBM 研究院的另一个项目使用开放模型和 llm-d 来研究量子纠错硬件。研究人员报告称，推理成本比完全专有配置低 11.5 倍，缓存命中率约为 98%。
这些结果来自特定工作负载和配置，而非一般性能保证。
为生产级 AI 工作负载而构建
除性能外，llm-d 1.0 还专注于让分布式 AI 推理在生产环境中更易于运维。
该版本引入了多租户服务质量、会话感知路由，以及支持无需计划停机即可进行更新。
该项目目前拥有来自 25 多个组织的 500 多名贡献者。
红帽高级副总裁兼 AI 首席技术官 Brian Stevens 表示：“随着组织从 AI 实验走向全面生产，瓶颈从生成答案转向管理复杂智能体工作负载的经济性、运维可靠性以及极高的基础设施需求。”
谷歌云还在将 llm-d 1.0 集成到 Google Kubernetes Engine 中，并支持其 TPU 和英伟达 GPU 产品组合。
该版本为组织管理大规模 AI 工作负载提供了另一个开源选择，同时更好地利用现有计算基础设施。
来源: 海外媒体
登录后即可参与讨论
立即登录