核心要点
为嵌入式应用适配AI模型的第一步，是确定其用途，包括目标设备功能和产品特性。设计人员通常综合使用多种压缩技术，而不是单一方法。策略包括量化、蒸馏和剪枝。小语言模型和紧凑型边缘模型需要紧密的系统级集成，以确保最佳效率。
今天的AI行业面临两个截然不同的挑战。一方面，大型AI数据中心和AI工厂正在寻找更高效的方法来处理高参数大语言模型，带宽和内存是关键瓶颈。另一方面，较小的AI模型在边缘设备上本地运行，而这些设备没有足够的面积、功耗或内存来支持复杂的高参数大语言模型。
Imagination Technologies首席技术官Ed Plowman表示：“这引发了一场淘金热，人们筹集大量资金建设超大型数据中心，但同时也激发了边缘侧的创新。人们正在想办法把一整桶液体装进一个非常小的杯子里。之所以如此，是因为当前计算资源并不是主要问题，带宽才是，这也是RAM变得如此昂贵的原因。这促使大量研究人员去思考关键问题是什么，以及我们能做些什么。由此引发了围绕量化的创新，也就是同时减少激活值和权重，使模型变得更小，同时仍保持模型的输出能力。”
AI模型形态各异、规模不同，以适配从耳机、手机、家电，到工业物联网、机器人和汽车系统等广泛的边缘设备。设计人员需要选择参数数量合适的模型，因为模型过大可能使设备变慢或过热。反过来，如果模型太小，产品可能不够智能。
为嵌入式应用适配AI模型的第一步，是定义其用途。Plowman表示：“你必须从希望模型做什么出发，但随后我们可以用无数方法把它变小。量化和自压缩是非常有效的工具。蒸馏是另一种方法，而且它在Transformer上比在传统卷积神经网络上更有效。所有这些技术开始结合起来，使我们逐渐不再那么热衷于追逐越来越大的GPU。嵌入式系统中的使能技术，以及让相当智能的模型能够在真正嵌入式平台上运行，正变得更加现实。”
表格介绍了压缩AI模型的常见方式。蒸馏通过训练一个较小的学生模型来模仿较大的教师模型，其关键特征是将学习到的行为迁移到更小模型中。剪枝会移除影响较低的权重、神经元、头或层，其关键特征可以是结构化（整个单元）或非结构化（单个权重）。量化使用更少比特表示权重和激活值，其关键特征是保留网络结构，并通过校正限制精度损失。自压缩逐渐降低精度，甚至可能降至零比特，其关键特征是受控压缩，可以面向专有硬件。图1为压缩AI模型的常见方式。
模型尺寸必须与系统一并考虑。英飞凌旗下Imagimob首席技术官兼首席产品官Magnus Gedda表示：“难点在于设计一个既足够复杂、能够解决问题，又足够小、能够装进设备的模型。除此之外，模型通常还要与应用的其他部分共享内存和算力，因此可用资源比规格表上显示的更少。剪枝和量化等优化技术可以缩小模型，但它们是在设计之后、通常也在训练之后应用，并且会牺牲一定精度。你需要从一开始就选择尺寸合适的初始架构，使其优化后的版本仍然适合设备，并满足性能目标。让问题匹配、尺寸和优化后精度这三者保持一致，是大部分工作需要投入的地方。”
其他人也认为，系统级效率是核心挑战。Rambus杰出发明家兼研究员Steve Woo表示：“边缘AI正推动行业从“最大模型获胜”转向“每瓦体验”。压缩、剪枝和低精度运算等技术有助于缩小模型，以适配本地资源，但部署仍然困难，因为内存容量和带宽往往是限制因素。把模型装进设备只是开始。让它在紧张的功耗和延迟预算内高效运行，才是工程挑战的开始。”
选错AI模型可能导致部署后额外工作，或产品表现不达标。英飞凌的Gedda表示：“一旦有了优化后的模型，部署本身并不难。模型会被转换为C代码，针对目标平台编译，并烧录到设备中。挑战在于充分利用硬件潜力，使推理既节能又低延迟。边缘硬件种类极其多样，包括MCU、加速器、NPU、DSP，而标准又相对不足。因此，如果没有合适的工具，最终要么得到通用但低效的部署，要么需要针对每个目标平台进行大量手工工作。”
这些部署约束使模型选择成为一项与应用相关的工作。正确架构取决于设备必须执行的功能和必须支持的负载。
功能与负载决定正确模型
边缘设备和物理AI负载在不同行业之间差异很大，涵盖医疗、工业、汽车、家庭或个人等领域。所采集传感器数据的具体模态，是选择最佳AI模型类型和规模的主要驱动因素。
楷登电子小芯片业务高级产品营销集团总监Mick Posner在近期一篇博客中指出：“合适规模的物理AI推理至关重要。智能物理系统没有一刀切的计算画像。有些负载需要常开、低功耗推理；其他负载则需要跨摄像头、雷达、激光雷达、音频、环境传感器和系统状态数据的更高性能多模态处理。”
每一项硬件功能和终端设备特性都需要被考虑并定义。西门子EDA的EDA AI产品负责人Sathish Balasubramanian表示：“为边缘AI适配合适规模AI模型的最佳技术，是能够对你的功能进行分类，从而不需要一个大模型。传感器上的40亿参数模型已经很大，尽管我们现在在云端谈论的是1万亿参数。如果能够把该模型塑造成不到10亿参数，并放入每个传感器，这是可行的。我们需要定义最高优先级、必须具备的功能，并用小语言模型把它训练好。它甚至可以是机器学习模型或神经网络模型，不一定非得是大语言模型。”
在定义必备功能之后，设计人员可以开始构建AI核心，然后逐步增加更多特性，包括必备、关键或锦上添花的功能。
Balasubramanian表示：“从架构方式以及智能应放置在哪里来看，我看到人们正在定义这三类。一旦确定了这些类别，必备功能就应该非常靠近传感器。你不能把所有东西都设为必备。你真的需要确定优先级，并以一种方式设计，使系统能够形成一个自足的传感器闭环，具备本地计算、本地内存需求，有时甚至需要本地备份环境。一切都被切分。你还需要至少一到两小时的可用功耗预算，以避免设备变慢或关机。”
Plowman指出，在汽车领域，企业正越来越多地为某些任务和功能部署AI模型，尽管该行业仍有很大一部分在使用大约三四年前的卷积神经网络。他们尚未完全转向Transformer，也没有采用最新压缩技术。但某些外部机构已经推出了使用Transformer的图像分割和目标识别系统。
对于负责优化这些模型的IP供应商来说，一个挑战是他们可能无法看到客户实际使用的模型。Plowman表示：“汽车厂商训练自己的模型，并且出于安全、安保和专有IP原因，对这些模型非常保密。我们看不到这些模型。我们得到的往往是它们大致样子的代理信息，或者他们希望加速的代理功能，但很少能拿到完整模型来使用。”
图2：面向边缘AI和物理AI的IP模块。来源：新思科技。
在适配模型规模时，每个IP模块都需要与模型规模一起权衡。新思科技产品管理高级总监Licinio Sousa表示：“为边缘适配合适规模的模型是一个系统问题，而不是单点优化。量化等技术有助于模型适配，但实时延迟、功耗、成本和功能安全都必须一起平衡。由于AI模型演进速度快于芯片开发周期，系统还需要足够灵活，不仅支持今天的负载，也支持未来出现的模型。”
一旦模型和系统架构达成一致，设计人员必须确定哪些压缩技术能够在不牺牲关键精度或性能的情况下满足这些约束。
多种压缩技术带来的挑战
设计人员通常使用多种压缩技术来适配模型规模，每种技术都有优缺点。
例如，蒸馏可以大幅缩小模型，但可能带来更多损失。Imagination的Plowman表示：“你要检查模型，查看哪些部分会被激活。你会做类似练习，把一些东西裁剪掉，但教师模型和学生模型之间总会有损失。学生模型试图从大模型中提炼出教师模型所知内容的本质。因此，这可能带来更多固有损失，但你保留了更多推理能力。它能大幅缩小模型规模，但如果不转向量化，这种方法能做到的程度有限。”
量化会使模型走一条迂回路径到达目的地，而不是直达路径。Plowman表示：“当向网络输入一个输入时，导航有一个起点。然后，根据你给出的数值，你需要导航到一个终点。每经过一层，你都在把变换稍微推向不同方向。如果使用FP32或FP16这样的全宽度值，你会更直接地到达给定点。”
全宽度值像直线飞行，而量化更接近城市街区式导航。Plowman表示：“我们向上走一格，再横向走一格，再向上走一格，再横向走一格，但最终会到达完全相同的位置。量化的诀窍在于，让这些更小、更有角度的步骤表达与直接导航相同的含义，同时避免相关数学运算带来的功耗、内存和其他开销。它从模型中的所有权重开始，然后把它们放进与量化匹配的桶中。量化有很多不同做法。这是一种非常粗暴的做法。”
阅读全文，请访问：https://arxiv.org/abs/2603.02234
来源: 海外媒体
登录后即可参与技术讨论与同行交流
免费注册