Arm于10月21日发文介绍，其基于Arm Neoverse的Arm AGI CPU依托成熟的Arm64软件生态，可支持代理式AI全栈工作负载。在OCP全球峰会上，Arm还联合Fujitsu、Meta和OpenAI推出新的CPU评估方法，独立验证结果显示Arm AGI CPU每机架性能最高可达领先x86服务器处理器的2倍。
代理式AI软件栈覆盖代理框架与编排、工具执行、内存与检索、模型服务和云原生基础设施，支持LangGraph、LangChain、Firecracker、Redis、Elasticsearch、vLLM等开源与商业技术。开发者可通过Arm Software Ecosystem Dashboard查看软件可用性、支持版本和启用资源，其中包含专门的Agentic AI类别。
不同代理负载对基础设施要求不同：编码代理频繁执行代码、编译软件和运行测试，对CPU性能和沙箱环境要求更高；企业工作流代理依赖API交互、数据库事务和编排；研究代理依赖高效搜索、检索和内存管理；个人助理侧重交互响应；机器人应用还增加仿真和低延迟协调需求。因此，应评估完整工作流，而非仅看模型推理性能。
在性能优化方面：
- 工具执行与沙箱：Signal65独立测试显示，Arm AGI CPU的沙箱创建延迟比AMD EPYC 9965低最多45%。
- 企业搜索与检索：Arm近期Elasticsearch性能基准表明，在Arm基础设施上运行这些工作负载可带来优势。
- 向量数据库与代理内存：Redis 8.10.1向量搜索基准显示，AWS Graviton5每美元上下文获取量比x86高16–27%；在57万文档数据集正常负载下价格性能优势为16%，在330万文档数据集高负载下升至27%。
- 模型服务：Arm已发布vLLM开发者资源，覆盖部署、量化推理和性能调优；OpenInfer正与Arm合作，在多个Arm CPU上演示其Loom平台运行AI模型。
Arm还开发了基于LangGraph和LangChain的多代理客服演示应用，使用CPU托管的小语言模型对客户请求进行分类，并路由到处理会议安排、投诉、产品咨询和退款的专用代理。开发者可通过Arm Learning Paths学习用llama.cpp构建AI代理、在Firecracker微虚拟机中执行AI生成代码、用LangChain和FAISS实现RAG，以及部署vLLM模型服务。AWS推出Graviton developer skills，Arm通过OpenAnolis SkillHub贡献Arm Performix、Arm Performix CI和Arm Migrate Ease。
来源: Arm
登录后即可参与讨论
立即登录