大多数关于AI硬件的讨论都从算力开始，这可以理解，因为加速器可见、易于比较，并且通常与最受关注的性能指标相关。物理AI使这一讨论更加宽泛，更加重视在现实运行约束下，算力、存储器和数据移动如何协同工作。对于必须在物理世界中实时感知、理解、决策和行动的智能系统而言，正确的数据在正确的时间到达正确的引擎至关重要。
因此，在构建物理AI系统架构时，数据移动正成为越来越重要的考量因素。物理AI设备可能同时处理传感器数据流、模型权重、激活值、临时缓冲区、控制回路和安全功能。如果存储器访问变得不可预测，计算引擎可能会停滞。数据被过于频繁地移动会推高功耗，而缓冲规划不当可能造成延迟累积，后续很难恢复。
随着物理AI工作负载变得更加复杂，架构师现在必须考虑，当多个真实世界工作负载同时运行时，整个系统的性能是否具有可预测性。
避免不必要的数据移动
物理AI系统依赖一个存储器层级结构，使片上存储器与容量更大的外部存储器协同工作。LPDDR或GDDR可以存放模型权重、传感器数据、激活值和其他工作数据，而片上SRAM和缓存则将NPU、CPU、DSP、ISP或其他处理引擎当前需要的部分数据放在靠近计算的位置。
当工作负载在处理流水线中推进时，所需数据会从外部存储器传输到片上存储器，在那里可以以更低延迟和更低能耗被访问和重复使用。架构越有效地重复使用这些本地数据，需要从外部存储器检索同一信息的次数就越少。然而，由于SRAM和缓存会占用硅片面积，其容量有限。无法放入片上或使用频率较低的数据会保留在LPDDR或GDDR中，直到被需要。
这种协同之所以重要，是因为每一次跨越存储器层级的不必要传输都会消耗能量、增加延迟，并占用外部存储器带宽。物理AI系统还受到设备尺寸、封装复杂度、供电和散热余量的约束。因此，目标不是消除外部存储器访问，而是让正确的数据在有用期间尽可能靠近计算，并避免以超过必要的频率移动数据。
规划良好的数据流会围绕工作负载协调计算引擎、片上SRAM和缓存、外部LPDDR或GDDR、缓冲以及互连。这有助于保持计算资源的高效利用，同时高效使用外部存储器容量和带宽。
实际应用明确权衡
人形机器人、无人机、自动驾驶汽车、智能摄像头、检测机器人、工业机器人和自主移动机器人都可能运行本地智能，但每种应用对存储器和接口的压力各不相同。它们的架构必须确定哪些数据应保留在靠近计算的位置以便即时访问，哪些数据应存放在容量更大的外部存储器中。
人形机器人可能在有限的功耗和散热范围内融合摄像头、深度传感、音频、惯性数据、平衡控制、物体识别、路径规划和执行器反馈。如果感知数据到达过晚，控制决策可能被延迟。此外，如果模型权重和中间数据被过于频繁地重新加载，持续性能会下降，功耗会上升。在这类系统中，存储效率会影响机器人感知、决策和移动的顺畅程度，而这些都是实时运行能否成功的关键。
无人机或自主移动机器人面临另一组约束。它可能需要视觉导航、避障、稳定、目标跟踪、无线通信和视频处理，同时保持在有限的功耗和散热预算内。不必要的外部存储器访问会缩短运行时间、增加发热，或向控制回路引入延迟。对这些物理AI系统而言，每瓦带宽与原始带宽同样重要。
自动驾驶汽车和高级驾驶辅助系统（ADAS）带来了更大的挑战。在摄像头、雷达、激光雷达、超声波传感器、车辆遥测、地图数据和控制功能的共同作用下，存储器访问竞争十分激烈。一些数据流需要连续吞吐量，另一些数据流需要跨传感器域融合。将相关数据保留足够长的时间以支持规划和决策，也是重要考量。在这种环境中，存储器行为会影响吞吐量和响应可预测性。
存储器选择必须跟随工作负载
在构建存储架构时，架构师应从物理AI工作负载本身的行为出发。目标不只是选择最快的外部存储技术，也不只是提供尽可能大的带宽，而是围绕设备的数据流、复用模式、延迟要求和运行约束，为完整的存储层级确定合适规模，包括本地存储、外部存储器容量、带宽、功耗、缓冲和集成。
LPDDR和GDDR面向不同的架构优先级。当需要每瓦带宽和存储器容量来维持本地推理性能时，LPDDR通常是非常合适的选择。当连续图像或传感器流带宽是主要需求时，GDDR可能是一个可行选项，因为其高带宽可以用更少的DRAM器件满足这些性能需求。
现有解决方案让架构师在进行这种权衡时拥有相当大的灵活性。例如，楷登电子提供支持最高14.4Gbps数据速率的LPDDR6/LPDDR5X PHY和控制器IP，也提供支持最高36Gbps数据速率、面向高带宽应用的GDDR7 PHY IP。这些选项使外部存储器接口能够与工作负载匹配，而不是被当作一刀切的设计选择。
人形机器人可能优先考虑对模型权重、感知数据和控制信息的低功耗访问。智能摄像头或自动驾驶汽车感知处理器可能对持续的视觉流带宽施加更大压力。在每种情况下，架构都应将频繁复用且对延迟敏感的数据靠近计算，同时为剩余容量和带宽需求选择规模合适的外部存储器接口。这有助于既避免存储器瓶颈，也避免不必要的过度配置。
设备背景、示例、主要压力和可能的存储适配包括：移动物理AI设备包括人形机器人、无人机、自主移动机器人和机器人模块，主要压力是在尺寸、容量、带宽和延迟限制下持续进行本地推理，可能的存储适配是在面向每瓦带宽和高DRAM容量设计时使用LPDDR，并针对重视觉流选择性地使用GDDR。视觉密集型物理AI设备包括自动驾驶汽车、智能摄像头、检测机器人和工业视觉系统，主要压力是需要可预测响应的连续图像或传感器流，可能的存储适配是在存储器容量重要时使用LPDDR，在数据流带宽占主导时使用GDDR。
五项存储架构决策
在选择外部存储器接口之前，架构师应评估设备的数据流和运行约束如何影响五个关键领域。数据本地性关注哪些数据应保留在靠近计算的位置，以满足延迟、复用和能效要求，哪些数据应存放在外部存储器中。流量争用关注传感器、推理、软件、安全和控制流量会在哪里竞争存储器访问。外部存储器适配关注哪种外部存储器选项最符合设备的带宽、功耗和集成需求。缓冲策略关注需要多少本地存储和缓冲，才能有效复用数据并避免不必要的片外移动。延迟可预测性关注当多个工作负载同时运行时，设备能否将延迟控制在一定范围内。
平衡的存储架构会使数据本地性、流量管理、外部存储器选择、缓冲和延迟可预测性与设备工作负载保持一致。这些决策共同有助于减少不必要的数据移动，保持计算资源的高效利用，并在多个工作负载并行运行时维持可预测的性能。
结语
物理AI将智能置于持续运行、与真实世界信号交互，并在功耗、散热、延迟和可靠性约束下作出响应的设备中。满足这些需求需要算力、存储器和数据移动作为一个协同系统运行。可预测的数据移动对物理AI设备在真实条件下有效运行至关重要，也使存储架构成为整体设计的重要组成部分。选择合适的存储器需要在延迟、能效、带宽、缓冲和工作负载要求之间仔细平衡。架构师必须将常用数据放在需要它的引擎附近，高效使用外部带宽，保持计算资源的高效利用，并在多个工作负载并行运行时保持可预测的系统行为。
如需进一步了解如何借助设计IP构建物理AI系统，可参阅楷登电子白皮书《在现实约束下设计物理AI系统》。
来源: 海外媒体
登录后即可参与技术讨论与同行交流
免费注册