智能边缘芯片和软件IP授权商Ceva公司 (纳斯达克股票代码：CEVA) 发布新一代NeuPro™ NPU产品系列，与第一代产品相比，功能更全面，而且每平方毫米的AI吞吐量最高提升至2倍，能效也提高50%。
这一全新产品组合基于一个共通架构和统一的软件栈，旨在支持日益繁重的多模态、生成式及代理式AI工作负载，涵盖从始终在线 (always-on) 传感到先进边缘系统的各类物理 AI应用。该架构也标志着 Ceva 进军 AI 基础设施领域，面向云和数据中心，涵盖智能存储、连接与数据处理芯片，以及定制化 AI 推理处理器。
物理AI系统日益依赖多个AI模型与智能代理协同工作；其中，感知和实时响应在靠近传感器端进行，而更复杂的推理与任务编排则分布在各类设备、边缘系统及云之中。这种向混合式AI的转型正在加速；然而，无论推理在何处进行，始终面临着同一挑战：即计算本身，以及数据在计算单元与其他组件之间传输时，所带来的功耗与性能开销。在传感器端，这种开销体现为微瓦级的功耗和平方毫米级的占用空间；而在数据中心，则体现为兆瓦级的功耗和内存带宽的消耗。尽管这一制约因素在不同场景下表现形式各异，但其核心需求是一致的——即针对特定工作负载进行优化的神经处理能力，并以共通的架构与软件环境作为支撑。
新一代 NeuPro 产品系列提供适用于系统不同位置的多种不同尺寸计算引擎，又采用一套共通于所有这些引擎的开发方案，兼顾了上述两大需求。整个产品系列使用统一的软件开发工具包 (SDK) ，使半导体设计人员能够为系统的各个部分匹配合适的计算引擎，或将多个引擎集成在同一片系统级芯片 (SoC) 中，同时确保既有的软件投入得到充分利用。
Ceva AI部门执行副总裁 Yaron Galitzky 表示：“我们与超过 15 家第一代 NeuPro的授权客户密切合作。”
面向新一代推理需求而打造
单纯的峰值算力已不足以定义 AI 系统的性能。半导体开发商还必须在严苛的功耗、占位面积和内存限制下，实现最优的推理吞吐量，同时确保其架构能够在整个产品生命周期内支持不断推陈出新的模型。新一代 NeuPro 架构正是为应对这两大挑战而设计。
该架构引入了多种能力，支持从感知与分类，到基于 Transformer 的多模态、生成式和代理式AI工作负载，其中包括物理AI应用：
与第一代产品相比，每平方毫米的 AI 吞吐量最高提升至 2 倍，并且能效提升 50%。
提供先进的 AI 数值和混合精度 (包括 FP4 和 FP8) ，在提高推理效率的同时，降低了对内存和数据传输的需求。
具备更高的内存带宽和先进的内存管理机制 (包括动态形状和分页 KV 缓存) ，能够应对更繁重的情景脉络以及内存密集型 Transformer 工作负载。
通过优化的Tensor重塑技术提高乘法累加运算 (MAC) 的利用率，从而有效发挥计算资源效能以提升推理性能。
支持包括专家混合 (Mixture-of-Experts) 和线性注意力机制 (Linear Attention) 在内的各类前沿网络架构，并具备高度的架构灵活性，能够适配未来出现的各类新型模型。
支持预量化模型，客户无需进行额外的量化和校准步骤，即可直接部署已发布的模型检查点 (Checkpoints) 。
采用先进的压缩、量化和剪枝技术，通过减少计算量和数据传输，提升瓦功耗及每单位面积的有效性能。
面向不同推理工作负载的产品组合
新一代 NeuPro 产品组合包含四款 NPU：
NeuPro Nano 旨在满足资源高度受限设备中始终在线传感及入门级感知任务的需求。
NeuPro Prime 针对主流的卷积神经网络 (CNN) 和 Transformer 工作负载而设计。
NeuPro Max 可扩展至高级边缘AI应用，涵盖高分辨率感知、多模态模型、端侧智能助手、机器人技术、物理AI以及代理式AI。
NeuPro Ultra 面向AI基础设施应用，既支持云端及数据中心内复杂大语言模型的推理，也涵盖了能够提升整体AI系统效率的智能存储、连接及数据处理芯片。
这四款NPU均基于共通核心架构，并由一套统一的软件开发工具包 (SDK) 提供支持；因此，工具、开发流程以及在软件方面的投入，均可在整个产品系列中共通。随着需求变化，设计人员既可以自由切换使用不同核心，也可以将多个核心集成至同一SoC中，并将各项工作负载分配给最适合处理该任务的引擎。对于半导体公司而言，这意味着只需使用单一开发基础，即可覆盖多个AI市场及不同的性能需求，从而降低集成复杂度，并缩短后续产品的开发周期。
将神经处理能力扩展至AI基础设施
随着大语言模型推理面临内存瓶颈，客户正在重新设计数据中心系统，把计算负载分布到不同模型，并将之集成到以往未曾涉及的环节中——例如内存和网络子系统内部。大规模推理需同时支持多种模型及海量用户，在此过程中，内存带宽以及内存、计算与网络之间的数据传输，已成为决定系统性能与能效的关键因素。据 ABI Research 预测，到 2035 年，云端AI推理能力的复合年增长率 (CAGR) 将达到 42% https://www.abiresearch.com/press/cloud-ai-inference-workload-capacity-consumption-to-surpass-training-by-2033-reaching-46-gw-by-2035。
NeuPro Ultra 专为此类数据中心系统的重新设计而打造。它支持云及数据中心环境的复杂大语言模型推理，具备多核处理、多用户操作、高内存带宽和先进的内存管理能力，并兼容各类部署所采用的软件框架。此外，它还能均等地集成至同一系统的内存与连接子系统中，将神经处理能力应用于数据传输过程 (而非仅限于模型本身)，从而减少不必要的数据搬移，并在更靠近数据存储端的位置缓解性能瓶颈。芯片开发人员可利用 Ceva 的可授权NPU 基础架构及其全线产品共通的软件栈，将上述功能集成到自己的产品中。
供货
多家半导体和系统公司已着手评估并集成新一代 NeuPro 技术，以用于其未来的 AI 产品。这些早期项目涵盖多个细分市场，有助于推动针对高级边缘计算、物理 AI以及 AI 基础设施应用的相关部署。新一代 NeuPro 架构现已向部分优先客户提供，并计划于 2027 年第二季度全面上市。
登录后即可参与讨论
立即登录