人工智能 沉浸阅读 · 约 5 分钟
全文 2,099 字

苹果 Mac Studio M5 Ultra 与英伟达 DGX Spark 本地 AI

核心导读 苹果新款 Mac Studio 搭载 M5 Ultra,最高可选 512GB 统一内存。测试将其与英伟达 DGX Spark 类系统在智能体 AI 基准、任务能耗和能效上对比,并讨论大模型本地部署时的硬件成本与性能差异。

苹果更新后的 Mac Studio 搭载 M5 Ultra 片上系统,凭借 36 核 CPU 和 80 核 GPU 成为目前性能最强的系统之一;这些 GPU 配备用于驱动 AI 计算的矩阵运算神经加速器。除了强劲算力,最高 512GB 统一内存选项也吸引众多本地 AI 爱好者排队订购,目前苹果发货周期为 13 至 15 周。

在评测搭载英伟达 RTX Spark 芯片的微软 Surface Laptop Ultra 之后,我们还使用了一些新基准,以观察 Mac Studio 在 GPU 端智能体任务中的表现。因此,有不少内容值得深入探讨。

智能体 AI 性能与能效

我们从 Artificial Analysis 的 AgentPerf-Local 基准开始更详细的本地 AI 测试。该测试通过特定模型回放一系列智能体 AI 工作负载中记录的推理轨迹,以评估性能。Artificial Analysis 提供了该工作负载的完整拆解,但大部分工作发生在提示处理阶段,而非 token 生成。因此,它应更有利于拥有大量原始算力的系统,而 GB10 和 M5 Ultra 都具备这类算力。

从宏观规格看,M5 Ultra 的 80 核 GPU 远超 GB10 的 48 个 Blackwell SM。即使没有详细频率信息,GB10 也很难在这项测试中压过 M5 Ultra。此外,Mac 的 1.2TB/s 内存带宽使其解码带宽达到 GB10 273GB/s 的四倍以上。但过往测试表明,在 AI 领域,纸面规格并不如实际交付性能重要,实际性能可能与纸面规格存在很大差异。

与单台类 DGX Spark 系统相比,M5 Ultra Mac Studio 完成这项智能体测试所用时间不到一半,这一结果相当突出。考虑到两套系统在算力和内存带宽上的明显差距,有人可能认为这种对比并不合理;但我们测试的这台 4TB 戴尔 Pro Precision GB10 目前售价高达 1 万美元,因此将其与约 1.2 万美元的 Mac Studio 正面对比并非不合理。

由于 AgentPerf-Local 在每个系统上执行固定工作量,我们还可以通过记录单台 Spark 和 Mac Studio 的插座功耗,并将其转换为以千焦为单位的任务能耗,直接比较各平台能效。

至少在使用 llama.cpp 的情况下,Mac Studio 不仅完成 AgentPerf-Local 测试的速度远快于 DGX Spark,整体任务能耗也更低,约低 16%。换用其他推理引擎可能会让类 Spark 系统获得更有利结果,但在同等条件下,这项测试对 Mac Studio 非常有利。

我们可以将任务耗时与能耗(单位为千焦)相乘,得到每个系统的能量延迟积(EDP)。较低的 EDP 将更快完成时间和更低任务能耗合并为一个可比较的效率指标。

在该测试中,Mac Studio 的 EDP 不到 DGX Spark 的一半,再次显示其在这类稠密模型和工作负载下的效率和性能。

这时,英伟达平台的集群能力就派上用场。我们已经看到多台 Spark 配对可以扩展本地推理容量,而在与这样的 Mac Studio 对比评估时,这一能力至关重要。

无论怎么计算,即使只是配置两台搭载 4TB SSD 的 DGX Spark,最终成本也会明显高于这台单一 Mac Studio;即便双机戴尔集群 2 万美元处于市场高端,也是如此。1.5 万美元及以上是相对更合理的基准,但即便如此,仍比单台 M5 Ultra Studio 高出 25%。

我们目前还没有针对这些更大模型的端到端智能体测试,但从方向上看,仍可通过提示处理和解码性能判断哪套系统能带来更快的智能体响应。

结论

当各项条件都合适时,单台 M5 Ultra Mac Studio 相比单台 DGX Spark 可以提供很强的本地 AI 性能和能效。这一对比并不像表面看上去那样不合理。

统一内存系统的价格正在快速上涨,目前一台配备 4TB SSD 的戴尔 Pro Precision GB10 系统已超过 1 万美元,接近我们测试的 Mac Studio 配置约 1.2 万美元的价格。随着 RAM 和 NAND 供应紧张加剧,我们预计这一趋势还将持续。

但我们更广泛的测试经验表明,M5 Ultra 的出色性能并不能在每个模型和每个推理引擎上都得到保证,尤其是当用户希望在 256GB 内存中运行更大、更高智能水平的模型时。

阅读全文,请访问:https://www.tomshardware.com/tech-industry/artificial-intelligence/going-deep-on-local-ai-performance-with-apples-mac-studio-with-m5-ultra-inference-engine-recipes-mandatory-for-bigger-models-as-mlx-stack-matures

来源: 海外媒体

相关推荐
评论区

登录后即可参与技术讨论与同行交流

免费注册