智能体呈现突发型工作负载，经常使CPU处于空闲状态，这正在对CPU基础设施提出新的需求。
谷歌云人工智能与计算基础设施副总裁兼总经理Mark Lohmeyer对海外媒体表示，智能体AI的需求正在对数据中心CPU以及整体基础设施提出新的要求。
他说：“聊天相对直接——有一个问题和一个答案，并高度依赖GPU或TPU上的推理。随着智能体的出现，这类交互的性质正在发生很大变化。”
在智能体场景中，用户的高层意图可以被拆分为子任务，并分配给一组智能体，这些智能体可以访问其他API、访问网站、编写并运行代码，这些都是CPU任务。会话时间可能长得多，并可能涉及多个人类用户，这意味着上下文和状态可能需要在数天或数周内保持。
他说：“智能体通常具有突发性，而且经常处于空闲状态。它们可能一两天什么都不做，直到你再次回到它们那里，或者直到某个API作出响应……这与传统CPU工作负载不同，它需要在较长时间内保持状态，但在此期间往往处于空闲状态，而一旦不再空闲，就会呈现高度突发性。”
Lohmeyer表示，以高性能且安全的方式处理这一问题，是当前行业面临的一大挑战。
他说：“需求已经非常高，并且正在快速增长。因此，我们如何提供能够支撑这种增长的基础设施，并以具有成本效益的方式做到这一点？”
新的工作负载
Lohmeyer区分了运行智能体本身所需的计算，以及访问网站和API等其他任务。前者是一种需要新基础设施的新工作负载；后者已经存在，但过去主要与人类交互。
他说：“智能体工作负载将在这两个方面产生显著影响。”
由于智能体的需求远高于人类，并且成百上千个智能体可以非常快速地接入，而人类用户数量无法以同样快的速度增长，现有工作负载部分将出现大幅增长。
Lohmeyer说：“理想情况下，出于性能考虑，从延迟角度来看，你希望这些智能体及其上下文、应用程序和数据彼此之间尽可能接近。”
Lohmeyer表示，局部性很重要，但企业仍将继续处于一个分布式世界，大多数企业暂时仍会使用多云和私有云。这意味着高性能网络在数据中心内部和数据中心之间仍将极其重要。
他说：“动态且具备状态的智能体需要一种新型计算基础设施来支撑。它们正在访问所有现有应用和数据，因此相关需求正在增长，而这一切都需要通过网络连接起来。谷歌正在投资所有这些要素。”
Lohmeyer表示，对于新基础设施而言，智能体AI中CPU与GPU计算的最佳比例仍在随着工作负载演进而变化，但随着行业从基础模型训练转向智能体推理，所需CPU计算的比例确实在提高。
他说：“我们预计CPU以及TPU/GPU工作负载都将继续快速增长，但CPU所占比例正从相对较小的一部分变成相当可观的一部分。我们认为，随着智能体扩展到新的用例和新的环境，这一比例还将继续演变。”
硬件、软件与工作负载协同设计
Lohmeyer表示，解决智能体推理问题仍需要在整个基础设施栈中进行协同设计，包括CPU、存储、内存、网络，以及它们如何协同工作。
他说：“谷歌云一直秉持工作负载优化基础设施的理念。在智能体时代，这一点比以往任何时候都更加重要。”
由于智能体工作负载具有突发性，并且经常使CPU空闲，智能体实际上可以被“休眠”——其状态可以保存到存储中，使CPU能够供其他智能体使用，而在再次需要时快速重新加载。
他说：“这需要一种新型软件编排。在这种环境中，为该服务器配备真正高性能的存储，使其能够快速重启，这一点非常重要。”
谷歌云使用微虚拟机，它类似于虚拟机的“精简版”，用于在同一台服务器上密集部署的智能体之间提供安全边界。相同硬件可能不再运行100个传统虚拟机，而是运行1000个微虚拟机。
他说：“智能体的安全与治理绝对至关重要，谷歌正在对整个技术栈的每一层进行大量投资。”
Lohmeyer表示，在最底层，虚拟化是关键。谷歌计划支持多种为智能体提供沙箱的方式，但微虚拟机尤为重要。与传统虚拟机相比，微虚拟机精简的功能集意味着性能提升，更小的攻击面有助于提高安全性。该公司还在投资智能体网关，可在网络层面为智能体提供出口控制，并提供其他更高层级的控制。
Lohmeyer表示，展望未来，为智能体运行数千个微虚拟机的需求将对核心密度、存储、存储连接方式，以及用于管理这一切的编排软件产生影响。他说，其好处将是更高的硬件利用率，这应能降低每个智能体的成本。
他说：“这将使我们的客户能够扩展业务，同时拥有良好的商业模式和盈利能力，并且在扩展过程中不必牺牲性能。这些能力在未来将非常重要。”
CPU选择
Lohmeyer表示，对于每种类型的智能体来说，并不存在单一的最优CPU选择。谷歌云使用来自英特尔和超威半导体的多种x86 CPU，同时也使用其自主设计的基于Arm架构的Axion CPU。
他说：“如果是一个数据密集型智能体用例，你可能需要极高的核心性能以及大量本地SSD；但如果更偏向Web服务，你可能只是需要大量核心。我们认为，最终重要的是给客户选择权，并能够将特定的智能体工作负载映射到谷歌云中特定的CPU选项。”
Lohmeyer表示，目前客户对Axion表现出“很大的兴趣”，涵盖性能优化和效率优化实例，大型客户还对裸金属实例表现出兴趣。
来源: 海外媒体
登录后即可参与讨论
立即登录