边缘AI部署不仅涉及生成应用代码，还需完成模型量化、编译、运行时集成以及延迟、功耗和精度测试，Agentic AI正在把这些分散步骤连接起来。
-
高通AI与机器学习产品管理团队负责人Vinesh Sukumar表示，当前边缘AI开发流程仍按量化、编译、运行时选择等步骤逐步执行；高通AI Hub可用于准备、优化和评估模型，AI Runtime则通过优化的库和算子跨计算引擎执行模型。
-
高通正构建一个“代理层”，以自动化更多量化、编译、运行时选择和部署工作。代理工作流可接受“为目标设备预编译模型、优化性能”等指令，并协调所需软件工具完成搜索。
-
Torus公司固件工程师Rohini Ramegowda称，她已在固件开发中使用范围较窄的AI代理：读取需求、使用MathWorks MATLAB MCP服务器构建MATLAB/Simulink模型、基于现有模板生成单元测试并运行仿真。过去这项工作需要数周，现在生成仅需数小时，但人工审核工作不变。
-
代理跨产物工作的能力也有助于诊断。在一次设备报告大量故障时，Ramegowda向代理提供配置二进制文件、生成脚本和代码库，代理将二进制数据映射回固件结构，并在几分钟内识别出不一致之处。
-
边缘硬件约束是自动化的主要边界。内存、存储、带宽、算力、功耗以及处理器支持的数据格式和算子，都决定模型在不同系统上的量化、编译和运行时选择。例如从16位模型转到INT8、INT4或更低精度可减少内存和存储占用；专用NPU、内存架构和功耗管理决定工作负载能否达到性能要求。
-
在移植模型时，代理需要先识别目标SoC的内存、存储和带宽等特征，再获取相应配置并生成针对硬件的二进制文件；量化、图划分、编译和运行时配置都要随之改变。
-
Ramegowda在意法半导体STM32N6微控制器上的实践显示，代理可协助板级启动、配置嵌入式Rust工具链、解决启动和烧录问题，但即使实现一个可烧录的“Hello World”程序也需约一周调整。NPU推理与确定性控制环如何共享处理器，仍是人工架构决策。
-
生成速度提升后，瓶颈转向诊断与验证。AI生成代码需要工程师在审查时重建假设，检查是否访问正确内存区域，以及功能是否放在合适的确定性或非确定性层。安全关键软件还需符合MISRA等标准，并遵循所需工程过程。有时审查和修正代理输出比手写代码更耗时。
-
边缘AI部署也面临类似验证问题：模型成功编译并在目标上运行，并不代表硬件利用高效。Sukumar表示，开发者需要目标平台的预期性能范围，包括内存和能耗指标；若代理工作流结果超出范围，则需要调整部署或配置。
-
端到端自主取决于工程基础设施。Sukumar指出，编译器、剖析器、调试器、日志系统、文档和预期性能数据是代理工作流的基础。如果模型编译失败，仅报告失败无助于开发者，代理需要更多日志历史和诊断信息，才能定位原因、检索文档并决定下一步行动。
-
未来目标是在现有工程工具之上构建代理层，利用工具反馈诊断问题、检索信息并决定后续动作。Ramegowda愿意将测试生成、脚本、工具、文档、探索性分析及部分非安全关键应用代码交给代理，但硬件访问和系统级安全决策仍需更强验证。
-
Sukumar预计，随着工具成熟，人工参与会下降，但不会完全归零。进展方向是更高自主性，同时工程师保留对硬件、硬件行为和最终验证的控制。
来源: 海外媒体
登录后即可参与讨论
立即登录