加州大学河滨分校研究将 HBM4 控制器功能移近存储器

2026-11-14 06:42 高义来源：海外媒体

4 阅读参与讨论

核心导读加州大学河滨分校研究人员发表论文，系统量化研究在主机与 HBM4 基底层之间划分控制器功能，评估维护、调度及完整控制器下放对带宽、时延、面积、能耗和温度的影响。

本文目录导航

论文解读：这篇论文讨论 HBM4 内存控制器功能应放在主机芯片，还是移近内存堆叠中的基底层。作者把控制器拆成前端、调度、维护等部分，比较不同放置方案，并评估带宽、时延、面积、能耗和温度。研究显示，将维护功能移到基底层可以在不损失带宽的情况下减少主机负担，用窄互连替代传统宽接口可以节省主机面积和边缘资源，但也会增加基底层的面积与功耗。该工作为 HBM4 及 2.5D 集成中的控制器设计提供了量化依据。

Tharunya Yogananda 和 Wantong Li 发表了题为《超越主机侧控制：HBM 控制器在主机与 HBM 基底层之间的划分》的技术论文。

可通过此处查看技术论文。2026 年 11 月。

Yogananda、Tharunya 和 Wantong Li。《超越主机侧控制：HBM 控制器在主机与 HBM 基底层之间的划分》。arXiv:2611.10930，2026 年 11 月。

arXiv:2611.10930v1 [cs.AR] 2026 年 11 月 7 日

超越主机侧控制：HBM 控制器在主机与 HBM 基底层之间的划分

Tharunya Yogananda 和 Wantong Li

机构：加州大学河滨分校

电子邮箱：wantong.li@ucr.edu

摘要

近年来，HBM 等高带宽内存（如 HBM4）允许内存堆叠中的基底层采用逻辑工艺制造，从而可以在 DRAM 旁容纳更复杂的控制器功能。本文首次对在主机与硅中介层上的 HBM4 基底层之间按功能放置控制器进行系统量化研究。我们将控制器划分为主要功能，并评估四种放置方式，从完整主机控制器到完整基底层控制器，以及将维护或调度移至基底层的中间方案。我们扩展 Ramulator 2，加入 HBM4 时序和维护操作，建立裸片到裸片（D2D）链路模型，并在 DRAM 接口处进行时序检查，再结合综合后的控制器模块、存储模型和接口数据得出面积、能耗和温度。经过配置的 D2D 链路可保持每个堆叠的带宽，并给空载时延增加约两倍单向时延。将维护移至基底层不会带来带宽损失，可释放主机命令槽位，且释放比例随堆叠高度增加而提高。用 D2D 链路替代宽接口可为每个堆叠节省 61% 主机边缘资源，并节省 16.85 平方毫米主机面积。D2D 链路主导基底层新增面积和功耗，在流式负载下，当链路能耗低于 0.4 皮焦/比特时，基底层温度更低。在两个请求方场景下，共享控制的吞吐量最高可达到静态划分的 1.72 倍。

索引词

高带宽内存、内存控制器、基底层、裸片到裸片接口、2.5D 集成

一、引言

高带宽内存（HBM）通过穿过硅中介层到达主机处理器的宽接口，为人工智能（AI）加速器提供带宽。每个 HBM 堆叠将 DRAM 裸片放置在基底层上，HBM4 再次拓宽接口，同时其基底层转向逻辑工艺 [1]。因此，采用逻辑工艺制造的基底层可以在 DRAM 旁容纳更复杂的控制器功能。一些定制 HBM 设计已经利用这一逻辑能力，用窄裸片到裸片（D2D）链路替代宽接口 [2]。

在传统 HBM 系统中，内存控制器位于主机裸片上，紧邻宽物理接口（PHY），每个堆叠都会占用主机面积以及主机裸片边缘的一段资源，即边缘资源，这些资源原本可用于计算。将控制器功能移入堆叠可减少主机逻辑和存储，而用 D2D 替代宽接口可减少 PHY 面积和边缘资源。这些做法会给基底层增加逻辑、存储和链路功耗，D2D 链路还会给每次访问增加时延。此外，堆叠高度会加剧这一权衡。更高的堆叠温度更高，并拥有更多库，因此刷新更频繁，每通道承担更多维护工作 [3, 4, 1]。多个计算裸片也可能共享一个堆叠，堆叠内的控制器可以为它们全部服务。行业披露的资料只报告了定制设计结果，没有进行功能级放置比较，也没有系统研究区分哪些控制器功能应该移动。

先前工作改变了内存连接方式、内存组织或个别维护机制。通过通用芯粒互连快速（UCIe）的封装内内存通过逻辑裸片和标准窄链路将 LPDDR 和 HBM 连接到主机 [5]，混合内存立方体（Hybrid Memory Cube）将库控制器放在分组化串行接口后的逻辑层中 [6]。这些方案确立了替代的内存连接方式和控制器组织。TokenStack 在 HBM 堆叠内加入内存内处理，用于语言模型推理 [7]。Folded Banks [8]、细粒度 DRAM [9] 和 RoMe [10] 重组堆叠内的库、通道或访问粒度。DreamRAM [11] 对定制 3D 堆叠 DRAM 的设计空间进行建模。DREAM [12] 和激活追踪设计 [13] 在固定控制器位置下改进 RowHammer 保护。这些研究均未评估哪些控制器功能应放在主机或基底层。

我们首次对在主机与基底层之间按功能放置 HBM4 控制器进行系统量化研究。我们将控制器划分为五个组件，并评估四种放置方式，分别将维护、调度或完整控制器移至基底层。我们扩展 Ramulator 2 [14]，加入 HBM4 时序和维护，将其与在 DRAM 接口处进行时序检查的 D2D 链路模型结合，并从综合后的控制器模块、存储模型和接口数据中得出面积、能耗和温度。该研究贡献了分区式 HBM4 控制器模型、覆盖带宽、时延、面积、边缘资源、能耗和温度的放置分析，以及针对 D2D 链路边缘资源和热平衡点的设计规则。结果表明，维护功能可首先移动且不带来带宽损失，D2D 链路主导基底层新增面积和功耗，并且基底层控制可为多个计算裸片整合池化访问。

二、HBM 控制器放置

图 1：主机裸片与基底层之间的不同 HBM 控制器放置方式。

HBM 堆叠将多个 DRAM 核心裸片放在基底层上，并通过硅通孔（TSV）连接。堆叠通过硅中介层放置在主机处理器旁边，中介层链路两端各有一个 PHY。HBM4 将 HBM3 的通道数翻倍至 32 个通道，每个通道再分为两个伪通道（PC），共有 2,048 根数据线，每根线速率为 8 Gb/s [1]。近期一种 12 层 HBM4 堆叠采用 4 纳米逻辑工艺制造基底层，每引脚速率达到 13 Gb/s [15]。主机上的宽 PHY 面积很大，每个连接的堆叠都会占用很长一段主机边缘资源。

内存控制器将主机发出的内存请求转换为 DRAM 命令。它保存每个请求，直到目标库就绪；排序命令以保持数据线忙碌；并确保每条命令满足 DRAM 时序规则。控制器还执行维护操作，以保持存储数据长期正确。在当前 HBM 系统中，完整控制器与其 PHY 一起位于主机裸片上。

我们将控制器划分为五个组件，并考虑它们在两个裸片之间的若干放置方式。前端接收请求，并将每个物理地址映射到通道、伪通道、库、行和列。事务队列和数据缓冲区保存待处理请求及其写入和读取数据。调度器跟踪每个库的状态，选择下一条命令并执行时序规则，因此需要实时掌握库状态。维护引擎发出刷新和 RowHammer 保护命令。纠错码（ECC）逻辑对写入数据进行编码，并检查读取数据。这些组件之间交换的流量、可容忍的时延以及保存的状态量各不相同。PHY 终结中介层链路，在每种设计中都存在于两个裸片上。

HBM4 给其中多个组件增加了工作量。每个伪通道保留自己的队列和库状态。刷新针对一个库或整个伪通道，控制器可在标准允许范围内推迟或提前刷新命令 [1]。刷新管理（RFM）用于防范 RowHammer。控制器统计每个库的激活次数，并在计数达到阈值时发出 RFM 命令。自动错误检查和清洗（ECS）使用片上 ECC，在全库刷新或自刷新期间清洗存储数据，控制器必须足够频繁地发出全库刷新，以满足所需清洗间隔 [1]。标准还在高温下缩短刷新间隔，因此温度更高的堆叠会花更多时间刷新 [1]。更高的堆叠为每个通道增加堆叠 ID 和库，每通道的维护工作量随堆叠高度增加。基底层可以在 DRAM 旁承载这些功能。

我们研究控制器组件在主机与基底层之间的四种放置方式，如图 1 所示。穿过中介层的流量定义了每种放置方式。

主机控制器（P0）：主机持有完整控制器并驱动宽接口。每条 DRAM 命令都通过命令线穿过中介层，包括激活、预充电、读取、写入、刷新和 RFM。写入数据发送到堆叠，读取数据通过数据线返回。

基底层维护（P1）：保留宽接口，刷新和 RFM 移至基底层。只有激活、预充电、读取和写入命令与读写数据一起穿过中介层。基底层通过堆叠内部路径向 DRAM 裸片发出维护命令，状态信号告诉主机哪些库正在维护。

基底层调度（P2）：像近期定制 HBM 设计一样，用窄 D2D 链路取代宽接口 [2]。主机发送事务，每个事务携带一个读或写请求及其地址，以及写入数据。基底层持有调度器、数据缓冲区和维护引擎，并将每个事务转换为 DRAM 命令，因此没有 DRAM 命令穿过中介层。读取数据和写入确认返回主机，主机保留前端、地址映射、ECC 逻辑和描述符队列。

基底层控制器（P3）：中介层传输与 P2 相同的事务和响应。主机只保留一个轻量链路适配器，基底层持有完整控制器。因此，P2 和 P3 的链路流量相同，差异在主机和基底层面积与功耗。

在每种放置方式中，中介层链路两端仍保留 PHY，堆叠内部 TSV 接口保持不变。P1 保留宽接口，并将维护命令从主机移除。P2 和 P3 用 D2D PHY 对取代宽 PHY 对，以主机裸片面积和边缘资源换取基底层上新增的逻辑、存储和链路功耗。P3 还可让多个计算裸片共享堆叠内的一个控制器。