内存墙之痛:为什么AI加速不能只靠堆计算单元?
本文介绍了为什么AI加速不能只靠堆计算单元。 很多人一说起AI加速,第一反应就是堆算力、堆更多浮点计算单元。 错了, 现在的瓶颈根本不是计算本身,是数据搬运、通信和不规则算子,峰值算力再高也没用。 举个最直观的例子,大语言模型推理的时候,每个新生成的token都要读写一遍已经存起来的KV缓存,这玩意儿根本不怎么缺计算,缺的是内存带宽——你带宽不够,就算计算单元堆得再多,也得等着数据慢悠悠从内存运
纳米网更多频道频道 — 提供更多频道领域最新资讯、技术文章和行业动态。
本文介绍了为什么AI加速不能只靠堆计算单元。 很多人一说起AI加速,第一反应就是堆算力、堆更多浮点计算单元。 错了, 现在的瓶颈根本不是计算本身,是数据搬运、通信和不规则算子,峰值算力再高也没用。 举个最直观的例子,大语言模型推理的时候,每个新生成的token都要读写一遍已经存起来的KV缓存,这玩意儿根本不怎么缺计算,缺的是内存带宽——你带宽不够,就算计算单元堆得再多,也得等着数据慢悠悠从内存运
在电子工程专辑过去1年参加图形渲染、游戏技术相关的活动中,大部分市场参与者都在谈包括PC、移动设备、游戏主机等不同类型端侧设备游戏体验的“融合”或“走向趋同”。 这个命题的逻辑,在于玩家经常要在不同的游戏设备上玩游戏——而不同设备的游戏体验不能是割裂的。不过要实现这一点,硬件技术上的一个悖论在于:不同尺寸、不同功耗、不同散热能力的设备,不大可能达到相似的图形渲染水平——在任何情况下,一台10W功耗
自动驾驶、救灾无人机等高风险实时 AI 任务算力需求巨大,传统计算机受 “存储墙” 制约,算力与能耗难以平衡。文章剖析传统硬件瓶颈,借鉴人脑神经元特性,介绍存算一体、神经形态芯片等仿生硬件方案,为高效 AI 计算指明方向。 人工智能曾经在科幻电影中,负责给宇宙飞船导航,操纵火箭着陆。如今,它早就不是什么新鲜事,而是润物细无声地渗透到我们的日常生活中。你听歌、看视频,它给你推荐;你出国旅行,它帮你
机器人要走进真实世界,只有聪明还不够,它还必须可靠、可控、可验证、可托付。聪明,是机器人的上限;安全,是机器人的底线。 一、那一拳的警示:从隐忧到现实 2025年GeekCon安全极客大赛上,两名白帽黑客远程劫持人形机器人,仅用不到3分钟就让两台机器人“沦陷”。随后,被劫持的机器人径直走向舞台中央的假人,抬起机械臂,狠狠挥了一拳,将假人击倒在地。那看似普通的一拳,却击碎了整个行业对安全的幻想。当机
「人人都能做 App」时代真来了? 继蚂蚁灵光推出“闪应用”后,腾讯 Vibe Coding 产品「吐司」在自家应用宝商城上线,定位「应用生成及灵感共创平台」,简单来说,就是用户说需求,AI 拆解功能需求,最终输出成品应用。 (图源:应用宝) 在腾讯之前,蚂蚁灵光、百度秒哒这类 Vibe Coding 应用早已经在市场上流行。不过,它们生成的应用通常仅支持在内部平台分享,或者以在线的方式分享给其
这两年,小编的主力机一直在安卓旗舰之间切换,从小米、OPPO到vivo、荣耀,几乎每一代旗舰都摸过一遍,而最近一次用iPhone(不算体验的话)则是两年多前了。 或许是静极思动的原因,最近又决定用回iPhone,倒也不是对安卓旗舰有什么不满,而是iPhone Air的价格确实香(到手5099元),加上也快三年没有正经用过iPhone了,怪想念的。 说实话,当我重新把iPhone拿在手里的那一刻,我
地平线正式发布并开源HoloMotion-1,这是地平线机器人实验室面向人形机器人全身控制打造的4亿参数级机器人小脑大模型。相比以往常见的百万级、千万级机器人控制模型,HoloMotion-1将机器人“小脑”的模型规模提升到新的量级,并在端侧实现约300FPS实时推理,让大模型能力真正进入机器人运动控制闭环。通过本次开源,地平线希望降低人形机器人全身控制的研发门槛,帮助开发者更高效地构建、复现和部
近日,小米在 CVPR 2026 NTIRE 赛事中荣获三项奖项。其中,小米玄戒多媒体算法团队斩获高效超分辨率赛道冠军,小米大模型应用团队夺得人像修复赛道冠军与反光消除赛道亚军。 NTIRE(New Trends in Image Restoration and Enhancement)由 CVPR 组委会承办,是全球规模最大、水平最高的图像恢复与增强领域学术研讨会。小米在本次赛事中展现了从硬件优
大脑天生擅长多任务并行,启发出类脑计算这一颠覆性方向。从“天机”芯片到生物计算机CL1,类脑技术正从科幻走向现实。想成为类脑智能科学家,需打好数学与生物学基础,培养跨学科思维与动手能力。 人人都惊叹大脑有多神奇! 你骑车赶路时,大脑同时调控身体平衡、识别路况,还能和同伴闲聊。人脑为何擅长多任务并行?想要成为类脑人工智能科学家,又该做好哪些准备? 人脑VS传统计算机 从图中可以看出,我们的大脑和传
这两年,小雷的主力机一直在安卓旗舰之间切换,从小米、OPPO到vivo、荣耀,几乎每一代旗舰都摸过一遍,而最近一次用iPhone(不算体验的话)则是两年多前了。 或许是静极思动的原因,最近又决定用回iPhone,倒也不是对安卓旗舰有什么不满,而是iPhone Air的价格确实香(到手5099元),加上也快三年没有正经用过iPhone了,怪想念的。 说实话,当我重新把iPhone拿在手里的那一刻,我
AI产品越受欢迎,公司越焦虑——推理成本像屋顶漏水,持续消耗算力。vLLM、TensorRT-LLM、llama.cpp三个开源项目分别从云端调度、硬件优化和本地部署入手,试图把“每token成本”降下来,让AI从烧钱走向赚钱。 你有没有发现一个很奇怪的现象。 AI产品越受欢迎,公司反而越焦虑。 传统软件公司最喜欢的一种模式叫规模效应。 一个SaaS产品开发出来之后,新增用户的边际成本很低。用户越
空调行业长期以来,运行体验大多依赖用户手动调节、被动适应。小米没有沿用行业老路,选择了以 AI 贯穿安装、运行、维保全工程链路,把以往看不见、管不住的环节,变成可感知、可校验、可闭环的精细化管理。这份成果,来自大家电部与技术委跨团队的联合攻坚与工程实践沉淀。本文将分享小米空调从0到1的 AI 工程落地全过程。 01 安装识别:从0到1 空调是强安装产品,安装质量直接决定使用体验——装歪了漏水,
• 项目主页: https://zx-yin.github.io/3dfixer • 文章链接: https://arxiv.org/pdf/2604.04406 • GitHub代码**:** https://github.com/HorizonRobotics/3D-Fixer 现有挑战 基于单张图像生成3D场景,是构建物理世界数字孪生环境的关键技术问题。现有方法在泛化能力与生成效率之间存在显
从5亿条互联网视频中炼出全球最大的开源 GUI 操作数据集,让7B 模型在 ScreenSpot-Pro 上准确率提升38%;3B 参数的小模型做时序推理,干掉专用大模型还省了71%的 Token。这不是 PPT 愿景,而是小米 AI 团队研究成果的真实体现。 近日,ICML 2026(International Conference on Machine Learning)公布了论文录用结果。
谷歌刚给安卓画了一张很大的饼。 提前 I/O 大会一周,谷歌一早举办的 Android Show 可以说相当劲爆,更具体的介绍可以看雷科技第一时间发布的报道《安卓 17 更新:谷歌加速手机 AI 落地,还发了台高端 PC》,这里就不再赘述。 但需要说明的是,这次谷歌宣布的重大更新,其实不完全是 Android 17 的更新,它至少包含了三层内容: 第一层是 Android 17 本身的系统更新,包
基础模型与系统架构 精心设计 85%的受访企业指出,架构和部署是影响性能和成本的主要因素。 当今的AI体验离不开经过精心设计的平台,这些平台将大语言模型 (LLM) 与直观的用户界面相结合,帮助增强人类的能力。在考虑成本、硬件资源、延迟、安全性和可信度等限制因素的同时,工程师们正在塑造这些系统在现实环境中的运行方式和扩展能力。 ChatGPT(OpenAI)、Gemini(谷歌)、Copilot
很多人选空调只盯着“一级能效”标签,以为贴上这个标识就等于省电。但同样是一级能效机型,全天长时间使用时,不少空调仍会频繁启停、室内温度忽冷忽热,电费也在悄然上涨。真正决定空调长期省不省电的,除了一级能效标识,还要看APF 的具体数值——全年能源消耗效率。 按国标GB 21455-2019定义,APF 就像空调能效的全年综合成绩单:整合春夏秋冬、昼夜时段、制冷制热等全部真实居家使用场景,是全年冷暖总
本文主要讲述物理AI为什么离不开边缘计算。 过去两年,AI 给人的印象基本是一回事——一个对话框,一个输入框。你打字它打字,你上传它分析,AI 安静地待在屏幕里,处理着一切关于文字、图像、代码的事情。 行业的注意力也都跟着堆在那一头。云厂商抢算力,芯片厂卷训练卡,应用层抢入口,关于 AI 的大新闻几乎都和云端有关:模型又大了多少倍,集群又烧了多少钱,推理价格又降了几个点。但风向其实在悄悄变。 AI
• 项目主页: https://horizonrobotics.github.io/robot\_lab/uni3R • 文章链接: https://arxiv.org/pdf/2508.03643 • GitHub代码**:** https://github.com/HorizonRobotics/Uni3R 概述 在现实场景中,通常只能获取来自多个视角的RGB图像,而缺乏相机位姿、深度或点云等
最近几天,一个叫 DeepSeek-TUI 的开源项目突然在 GitHub 彻底火了,仅仅在过去一天,Star 数量直接从 8.7k 又涨到了 16.3k。 DeepSeek-TUI 不是 DeepSeek 官方产品,而是个人开发者基于 DeepSeek V4 开发的终端原生编程智能体。但它涨星的速度很快,吸引了国内外很多 AI 开发者的关注,短短几天时间就冲上了 GitHub Trending