针对英伟达Vera CPU,外界出现了一种由AMD方面推动的批评:英伟达——在较小程度上也包括推出AGI CPU的安谋——不可能开发出所谓“智能体CPU”,尽管该芯片在英伟达营销材料中常被如此描述。英伟达数据中心CPU业务负责人Ian Finder近期在SC26与海外媒体交流时反驳了这一批评,称英伟达在四年前Vera研发启动时就预知智能体浪潮的说法“荒谬”。
“这款芯片的设计哲学有其信念,对吧?难道我会坐在这里告诉你们,我们拥有一个能预测智能体时刻的神奇水晶球吗?那太荒谬了,对吧?”Finder表示,“但作为一家公司,我们确实拥有设计直觉,我认为我们的过往成绩已经证明了这一点。”
Finder表示,与其专门为智能体工作负载设计Vera——在无法预见未来的情况下这不可能——不如说这款芯片的特点是它与英伟达加速器的协同设计;自首款Grace数据中心CPU以来,团队一直在推进这一方向。基于数据中心和AI工作负载将被加速这一假设,CPU的协同设计可以从“概念上简单的空间开始,比如我们需要什么样的CPU来让加速器获得充足数据并高效运行?”
尽管概念简单,Finder仍反复用一个词来形容Vera以及一定程度上Grace的特点。他使用的词是“有明确设计主张的”。在Vera设计的更广泛语境中,这一特点体现在两处。Finder表示,Grace通过英伟达Scalable Coherency Fabric引入了一个有明确设计主张的内存系统,而Vera扩展了这一内存系统,并加入了有明确设计主张的微架构,即英伟达Olympus核心。
Finder描绘的图景是英伟达在这一领域从零开始,并将其与“传统约束”形成对比;后者尤其指英特尔和AMD,这两家公司拥有大量有特定需求的客户。如此前对Vera中Olympus架构的详细分析所述,英伟达的目标似乎并非从AMD和英特尔手中夺取市场份额,而是希望在AI智能体推动下快速扩张的CPU空间中获取市场份额。
这种“白纸”方法以及英伟达的协同设计,使CPU应具备的能力形成了一些自然假设。“如果我们需要的芯片必须具备非常出色的单线程性能,同时也需要并发能力,那么我们需要通过IPC而不是频率来实现。我们需要确保良好的带载内存延迟,也需要很大的带宽,然后你会在一张白纸上开始设计某种不受每核心成本经济学束缚的产品。”
尽管Finder明确表示,Vera的设计并未明确围绕当今的智能体展开,但相关工作负载早期已出现迹象。“要说四年前我们开始着手Vera时,就已经完全看到了智能体时刻,这不是我会声称的事情,但我们当时已经开始看到工具调用等类似事物的萌芽。我们当然知道头节点需要什么,也了解这个问题的整体轮廓。”
从Vera CPU的基准测试来看,该芯片并未在所有工作负载中都表现出色。而近期AMD EPYC Venice的基准测试数据显示,AMD阵营已在多项基准测试中重新夺回一些领先位置。Finder表示,随着这些系统不断演进并更好地利用可用算力,Vera更高的内存带宽将在智能体未来发挥更大作用。
充分发挥CPU优势
这里需要先回顾一下。今年早些时候智能体浪潮到来时,有人将这种需求描述为从GPU转向CPU。这种说法并不正确。事实上,随着智能体工作负载的发展,越来越明显的是,这些循环在以GPU为中心的环境中无法充分利用GPU,GPU在主机节点上经常处于超额订阅状态。当然,解决方案不是取消GPU,也不是停止购买GPU,而是同时购买足够的CPU,以合理利用这些算力。
AI行业的一部分正致力于解决充分利用GPU的问题,英伟达也在其中。以当前的需求水平,GPU不应长时间闲置(如果会闲置的话),事实上它们也没有闲置。如今的挑战是如何在毫秒级时间内快速启动这些智能体沙箱,使CPU也不会闲置。
Finder举了一个使用编程智能体的例子。如果用过编程智能体,可能熟悉这一过程。输入提示后,模型会进行若干小型工具调用,以读取和定位文件,并在调用之间将结果返回模型。这些调用非常小,几乎可以忽略不计,绝大部分时间都花在GPU上的模型推理上。随后,它可能开始编译和测试项目,而这更受CPU限制。Finder表示,在那段时间GPU并没有闲置,而是被用于其他用途。他认为,“同样情况也会发生在CPU上。”
“我们不会简单地说‘好的,CPU就在这里闲着,我们等着’,这种情况不会发生,”Finder说,“将会发生的是,我们会把多个环境打包在一起,并对插槽进行订阅。”
Finder将这一问题称为“非常有趣的计算机科学问题”。Daytona和E2B等AI初创公司正在研究如何在毫秒级时间内启动和关闭智能体沙箱。服务更多智能体自然会给内存系统带来压力,而这正是Vera具备优势的领域。Finder表示:“我们打造了一款即使没有此类优化也表现非常好的产品,但作为一个设计方向,当行业开始跟上这一趋势时,它会真正借助这些优化。”
无论如何看待Vera,也无论营销材料(来自英伟达自身或其他方面)如何介绍它,Vera都是一款引人注目的芯片。尽管Grace是内部起点,但Vera借助智能体浪潮,已成为CPU领域中更重要的参与者;英伟达已宣布将推出采用新Rigel微架构的后续产品Rosa CPU。Vera确实是一款有明确设计主张的CPU,其判断是否正确仍有待时间检验。
来源: 海外媒体
登录后即可参与技术讨论与同行交流
免费注册