对于希望搭建本地AI集群的技术玩家来说,除了购买DGX Sparks或苹果Mac Studios,还有更有趣的选择。二手数据中心GPU随处可见,服务器机架上的“垃圾”可能是爱好者的宝藏。随着CMPunlocker的流行,这一选择变得更加热门;这是一款针对英伟达CMP-170HX显卡的软改工具,可解锁远超出厂状态的能力。如今,一名技术玩家更进一步,利用电压毛刺突破剩余限制,用一块2500美元的8GB CMP-170HX矿卡,打造出比售价2万美元、配备80GB显存的英伟达A100更快的显卡。
这一电压改造由Kate完成,其起点来自一篇描述如何利用GA100显卡微代码的论文。她把注意力转向通常受保护的板载熔丝控制器。虽然很少被讨论,但“熔丝盒”早已是大多数CPU和GPU的重要组成部分;它通常在工厂中使用一次,用于切断芯片与测试表现不佳部分之间的物理连接,从而禁用这些部分,使芯片可以作为低端型号出售。
如果有人好奇如何从8GB至10GB显存中获得80GB至40GB显存,解释很简单:GA100芯片内部实际包含所有对应的HBM2e显存裸片,但它们在工厂中像着色器模块一样被禁用。较小容量版本更受青睐,因为它基于内置80GB HBM2e的GA100变体,而10GB显卡则来自40GB版GA100。
相关英伟达显卡配备了相当复杂的eFuse控制器,共有16384个熔丝,排列为512x32阵列;通过读取这些熔丝,可以获得显卡当前配置。显卡几乎每个部分都有相关熔丝:显存区域、各个着色器模块、PCIe 4.0和NVLink,甚至视频编解码硬件。不过,正如Kate简洁指出的那样,英伟达的设计并不安全,因为熔断熔丝可能获得更多功能,而不是更少。
在正常情况下,用户无法熔断或“写入”这些熔丝;但一名带着电烙铁的极客并不是普通用户。Kate让GPT-6 Astra基于售价8美元的STM32G4微控制器设计了一块简单电路板,用于接入显卡PCB上的电源信号。
显卡上的电压调节模块(VRM)使用英伟达标准PWMVID进行通信,Kate的电路板拦截了发送至VRM控制器的PWM信号,迫使在为GPU供电的线路上产生电压毛刺,而熔丝控制器就位于该GPU中。
还记得我们说过熔丝控制器是只读的吗?借助电压毛刺,并在紧凑循环中反复读取熔丝状态后,她成功将控制器设置到一种状态,使其安全位标志允许写入。从那时起,重新配置显卡就变得“容易”了。她谨慎地强制禁用了此前被标记为有缺陷的着色器模块,因为这些是物理熔丝,没有“撤销”按钮。
她将这一改造应用到自己的多块显卡上,并在多种工作负载下测试后发现,九块显卡的80GB显存全部可用,一块显卡“仅”有64GB可用。最有趣的是,解锁全部着色器模块(SM)后,其FP16 FMA性能比普通A100显卡高出20%。她认为,这是因为这些芯片通常拥有120个以上可用SM,高于规格表上的108个。GA100裸片最初拥有128个SM,以应对缺陷,这在芯片制造中属于正常现象。
要在驱动程序中启用这些“新”功能,需要CMPUnlocker软改,但它并不能释放显卡全部潜力:显存上限为40GB至64GB(取决于版本),许多着色器模块仍处于锁定状态,PCIe带宽也只能达到2.0。此外,它不支持ECC、NVLink或多实例GPU,而这些在服务器配置中都至关重要,也被用于产品分级。
Kate的电压改造去除了所有这些限制,她表现最好的测试显卡已经能在PCIe 4.0速度下稳定运行,并具备完整功能集。她没有测试视频编码器部分,但使用这些显卡的人可能也不太关心这一点。
至于成本,CMP-170HX 8GB目前约3000美元,10GB版本约2500美元。完整版英伟达A100 80GB PCIe配置可达2万美元甚至更高。SXM服务器模块版本更便宜,但需要配套基础设施。需要注意的是,这些价格可能会明显波动,尤其是随着越来越多人了解这些改造方式。
Kate表示,她之所以现在公开研究,是因为另一个人独立发现了同样的问题。她已经将该漏洞告知英伟达,但该公司对市场上已有显卡能做的并不多。
来源: 海外媒体
登录后即可参与技术讨论与同行交流
免费注册