当大模型塞进MCU，AIoT的算力密度谁定义？
当GPT-4级别的能力被压缩进几十MB的端侧存储，当百亿参数大模型在Cortex-M系列MCU上实现实时推理，当TinyML从"玩具Demo"变成"量产标配"——端侧AI不再是未来概念，而是当下每个硬件工程师必须面对的选型现实。 更紧迫的是"算力密度"的军备竞赛。联发科把端侧智能体能力做成可部署的工程体系，意法半导体的STM32N6加持AI手势识别并实时控制灵巧手，芯片厂商正在重新
标签专题 · 共 3 篇文章
# 模型量化
关于「模型量化」的技术文章、设计资料与工程师讨论，持续更新。
3
篇文章
10
人关注
180
次浏览
AI 公司最怕的不是训练贵，而是每次回答都在烧钱
AI产品越受欢迎，公司越焦虑——推理成本像屋顶漏水，持续消耗算力。vLLM、TensorRT-LLM、llama.cpp三个开源项目分别从云端调度、硬件优化和本地部署入手，试图把“每token成本”降下来，让AI从烧钱走向赚钱。 你有没有发现一个很奇怪的现象。 AI产品越受欢迎，公司反而越焦虑。 传统软件公司最喜欢的一种模式叫规模效应。 一个SaaS产品开发出来之后，新增用户的边际成本很低。用户越
周五开讲！智猩猩&黑芝麻智能技术公开课《华山A2000全新自研高效易用山海AI工具链技术解析与实操演示》
将庞大的AI模型直接部署于车端、实现本地化计算，已成为智驾时代的必然趋势——这不仅能降低对网络通信延迟的依赖，更能有效保障数据隐私与系统运行安全。 然而，算法从训练完成到车端部署落地，并非简单的“复制粘贴”。由于智驾芯片在算力、功耗及内存带宽上存在严格的物理约束，AI模型部署过程中面临着算力供给不足、异构计算单元（如NPU、CPU、ISP等）调度优化难度大等诸多现实挑战。 AI工具链作为连接算法模