人工智能 沉浸阅读 · 约 3 分钟
全文 944 字

英特尔与RadixArk合作优化SGLang,推进开放AI推理

核心导读 英特尔宣布与RadixArk合作,为英特尔平台优化开源人工智能推理软件栈SGLang,帮助开发者和企业更高效、低成本地部署人工智能模型并构建应用。

英特尔公司在加州圣克拉拉宣布与RadixArk展开合作,为英特尔平台优化开源人工智能推理软件栈SGLang。此次合作旨在帮助开发者和企业更高效、更具成本效益地部署领先的人工智能模型,并构建人工智能应用。

英特尔数据中心集团负责人工智能产品与市场推广的副总裁Anil Nanduri表示:“企业人工智能正从孤立的性能基准测试转向解决全系统生产部署问题。此次合作以开放方式确保开发者获得首日就绪支持,以及针对英特尔CPU、GPU和加速器直接优化的高性能推理软件,并让他们可以自由选择最适合自身需求的工具、框架和技术。”

为何重要

随着人工智能模型规模不断扩大、复杂度不断提高,企业需要异构、开放的推理基础设施。要在生产环境中交付人工智能能力,就需要将每个提示词路由到合适的位置,使不同工作负载与合适的智能、合适的算力和合适的经济性相匹配。开放推理运行时提供了关键的连接能力,使全栈部署在多样的企业环境中更加可行、可靠,并在经济上可持续。

为开发者带来什么

此次合作扩展了开发者的选择,使其能够在经过企业级验证的英特尔硬件上部署领先的人工智能模型。模型构建者和软件工程师可以基于标准、开放的框架和接口进行构建与创新,同时充分利用英特尔的计算密度和内置硬件加速特性,包括英特尔高级矩阵扩展(Intel AMX)。开发者能够更快投入生产、降低延迟,并在现有数据中心和云资源中获得灵活的部署选择。

RadixArk首席执行官Ying Sheng表示:“我们与英特尔的合作是开源人工智能推理领域的一个重要里程碑,使SGLang能够直接针对英特尔平台进行优化。通过将深度优化上游合并到核心框架中,我们正在消除限制,确保开发者无需在开放标准与高性能之间作出妥协。我们的使命是让前沿人工智能基础设施开放并惠及每一位构建者,而英特尔的企业级架构为开发团队提供了灵活性和计算密度,使他们能够无缝扩展生产级人工智能工作负载。”

面向生产环境的开放蓝图

将硬件与软件优化结合在一起,体现了英特尔直接向社区软件贡献改进的做法,而不是将这些改进视为单独的部署决策。这些面向流行引擎和框架的上游贡献旨在提供高性能路径,帮助将突破性模型转化为可扩展的生产级应用,同时保留灵活性、选择空间和广泛的架构自由度。

来源: 海外媒体

相关推荐
评论区

登录后即可参与技术讨论与同行交流

免费注册