在电子工程专辑过去1年参加图形渲染、游戏技术相关的活动中，大部分市场参与者都在谈包括PC、移动设备、游戏主机等不同类型端侧设备游戏体验的“融合”或“走向趋同”。
这个命题的逻辑，在于玩家经常要在不同的游戏设备上玩游戏——而不同设备的游戏体验不能是割裂的。不过要实现这一点，硬件技术上的一个悖论在于：不同尺寸、不同功耗、不同散热能力的设备，不大可能达到相似的图形渲染水平——在任何情况下，一台10W功耗的设备算力水平就是难以与一台同时代500W功耗的设备相提并论。但业界似乎正尝试通过各种奇技淫巧来拉近不同端侧设备的体验“距离”，尤其是视觉体验。
比如说Unreal Engine虚幻引擎在5.5版本中引入了MegaLights特性(2024年)。它是一种“随机直接光照技术(stochastic direct lighting technique)”，“通过对光源进行重要性取样来解决直接光照问题”...“艺术家因此可放置的动态和阴影区域光源比以往高出几个数量级”;“采用光线追踪来实现各类型区域光源产生真实柔和阴影”;还包括体积雾等特性...
从这项特性的官方介绍页面来看，它是面向次世代游戏机或同级设备的光照特性——虽然从描述也不难看出，它着眼于降低开销、提升效率，但其最初的目标场景应该不包含手机这类低功耗移动设备。
↑《光影新生》游戏截图
但最近Arm却发布了与游戏工作室Sumo Digital联合打造的手游《光影新生(Neural Dawn)》，称其为“全球首款采用虚幻引擎MegaLights的手游”，“证明了Arm技术可在保障电池续航的同时，为移动设备带来沉浸式桌面级视觉效果”。这自然是离不开基于AI的超分、帧生成等技术方案的，在Arm图形生态下叫“Arm神经技术(Arm Neural Technology)”。
Q4将至的《光影新生》和“电影级光照效果”
Arm开发者生态系统战略总监Peter Hodges在近期的图形技术分享会上预告了《光影新生》手游将在今年Q4上市——“恰逢Arm新一代GPU在手机设备上推向市场”。游戏总共4个关卡、总时长约120分钟。Peter称其具备“高质量3A”体验水准。
这款第三人称冒险游戏由Arm与Sumo Digital合作开发打造，17名Sumo团队成员参与，18个月开发完成;“独家登录搭载新一代Arm Mali GPU的安卓设备”。我们认为，作为“Arm首款完整可玩、制作精良的手游”，这款游戏更大程度可以算是Arm官方在自家图形生态下、针对自家图形渲染技术的打样。
除了后文会谈到的基于AI的超分、帧生成、降噪等技术，如前文所述，这款游戏用上了Unreal Engine虚幻引擎之中的MegaLights。Peter在主题演讲中说，这是个实时的全局照明技术方案——“要在大量光源的情况下，确保在移动设备上渲染的高性能、高能效，做到出色的图形和视觉呈现”。
↑《光影新生》游戏截图
介绍中提到，这款游戏甚至“以光影为核心叙事载体，开辟全新故事表达”，无疑是移动图形渲染技术的炫技之作了——毕竟连游戏名字都叫Neural Dawn，大概也表明了对Arm神经技术的展示。
Sumo Digital美术总监兼《光影新生》游戏总监Lukas Medek提到，最初和Arm合作时曾因为要求高、档期紧而担心项目是否能如期交付。“但在初期尝试、在设定了一些基准测试场景，确定好要做的东西之后，我们就意识到了我们有能力完成。”“我们对于最终结果也很满意，而且是在这么短的时间内完成。”
有关MegaLights，Lukas表示其中一些相当出色的工具和特性帮助了游戏的开发，“这原本应该不是面向移动设备的，但我们仍然做到了。MegaLights支持我们在每一帧都用上成百上千的光源。”所有这些光都能实时投射ray-cast shadows。
↑《光影新生》游戏截图
“在此基础上，采用光线追踪阴影(ray-traced shadows)”，“不像传统shadow map(阴影贴图)可能存在各种问题(如漏光、阴影断裂、远处阴影质量下降等)”，“光线追踪阴影采用基于物理的投影”，基于物理正确的半影模型，近处呈现锐利的阴影，远处自然过渡为柔和阴影，“就像我们在真实世界看到的那样”。
同时他还提到了，MegaLights与Arm神经技术对开发速度方面的价值：“不需要像移动游戏开发行业标准那样烘焙静态照明，也就不需要花时间设定光照贴图、不同的UV分辨率，避免漏光等光照错误，不需要长时间等待烘焙、调整、再烘焙等流程。因为一切都是动态的。”在视觉效果之外的部分，这应该说是对游戏开发者的巨大价值了。
Lukas还演示了MegaLights在游戏中的实现效果，包括玩家视角看到远处光影、场景的动态光照变化、与场景的光影交互等——还是能够突破一般人对移动游戏的想象的。
NSSD与NFRU的加成，模型可以下载了
受限于篇幅，我们无法展开谈MegaLights的实现原理——这也绝不是一两句话就能说清楚的。但“近似”和“大约”始终是当代图形学的主旋律。只不过即便是基于近似、即便有针对特定功能的加速器，移动平台的功耗、散热与体验限制，在应对现代部分图形新特性时仍然令硬件表现得力有不逮，比如光线追踪。
Peter在谈光线追踪时就说这项技术固然符合直觉、物理级精准，对游戏视觉效果帮助甚大，但开销也不低。“大量光线进入到场景中，找到相交的几何体”，流程上的“遍历”产生了两大挑战，分别是内存带宽和算力开销，“投射的光线越多，开销就越大。”“缓解方案当然就是投射更少的光线，那么画面就会变得充满噪点。”
NSSD(神经超级采样与降噪)就是基于这套缓解方案，并同时应用denoiser(降噪器)降噪的技术方法，最终在画面渲染所需的合理开销下，实现出色的画质。这个过程分成两步：“首先，我们节约所需的像素数量(economize on the number of pixels)——也就是以更小尺寸来做原生渲染”，本质和AI超分是类似的。
“然后，投射更少的光线。”Peter解释说，“再对图像做升格(upscale)并清理(clean it up，应该是指denoising降噪的过程)。”所以Arm官方对NSSD的解释是“神经降噪技术可在保留图像细节的同时，消除光线追踪产生的噪点。”
尔后就是NFRU(神经帧率提升)了，也就是我们常说的AI帧生成：比如将原生渲染的30fps画面，通过帧生成提升到60fps。“提取两组连续帧并生成中间帧，直接提升帧率”...这次Arm对NFRU技术的介绍依然篇幅较少——实际上去年8月，我们也撰文谈过NSSD和NFRU。
当时Arm提到过，针对NFRU，“我们在GPU中增加了运动矢量(motion vectors)生成加速的硬件，追踪像素在场景中的移动”。这显然是个和下一代Mali GPU IP强相关的技术方法，更多细节大概率会在新Mali GPU IP发布时公开——包括很多用户在意的，NFRU流程可能带来延迟增加，Arm是否有渲染管线层面降低延迟的技术方案;以及NFRU相比原生渲染具体降低了多少功耗等(Peter说，目前针对这些新技术，Arm自己也处在早期测试阶段)...
这也解释了至少NFRU需要下一代Mali GPU硬件支持(Peter也在答记者问环节提到NSSD和NFRU与即将在今年Q3/Q4发布的新技术更加适配，而“跑在上一代硬件上会比较有挑战性”)，以及《光影新生》为什么会在Q4“Arm新一代GPU在手机设备上推向市场”时才发布。
不过这次Peter在本次媒体会上还谈到了一个细节，NSSD神经超级采样算法所用的是个CNN卷积神经网络模型——和桌面端普遍开用Transformer还是不同，显然是为了降低移动端的功耗和开销，或许也令延迟增加更为可接受。
特别值得一提的是，Arm也选择了开放Arm神经技术，用Peter的话来说：“我们希望开发者参与到AI革新过程中来，让大家都有机会和空间来做差异化。”所以Arm的超分AI模型当前已经开放下载，“不仅是在SDK中提供，我们也把模型放在了Hugging Face上”(从Hugging Face页面来看，目前开放的是NSS模型)，“开发者因此可以了解它们是怎么工作的，甚至可以训练自己的内容，来进一步强化游戏体验。”
实则在NVIDIA的DLSS技术之后，大部分市场参与者普遍选择了对自家的AI超分与帧生成技术开源，以此期望游戏和图形渲染社区协力生态构建。Arm作为移动平台图形技术的重要参与者之一，自然也想壮大自家的图形和游戏生态，所以Peter也在接受采访时多番提到了面向游戏行业工具真正可用于生产流程，以及“合作”的重要性。
“我们提供SDK，我们提供对虚幻引擎的整合(基于插件形式)。”“我们需要持续学习、持续倾听，因为这些能帮助我们理解行业面临的挑战，以及如何提高我们自己。在此之外，我们需要对此做出响应，支持好开发者社区。不只是展示技术、令技术可用，还需要确保开发者有全部可用的资料，确保他们能够做好开发。”
手游的画质大幅提升，就在眼下了
从Arm展示的计划表来看，Arm还准备开源《光影新生》的美术资源和学习资料。很显然，《光影新生》是Arm联合游戏开发者为未来的手机游戏或视觉应用，基于自家图形生态的打样或参考设计;
这一打样强调的是：一方面要有出色的视觉体验——包括启用MegaLights和光线追踪特性;另一方面则是要确保达到出色视觉体验的开销不能过高，或者说效率必须足够出色——所以就需要包括NSSD、NFRU在内的AI神经技术做配合。
这两点本质上也算老生常谈，但要在移动平台上真正做好，在芯片和图形技术栈中间件层面的难度实际上是高于其他终端平台的。
另外对于游戏开发者而言，游戏开发引擎/图形API/中间件的更多现代化图形和AI特性，实则都在强调缩短游戏开发周期，让开发者能够更少关注出色画质的实现、代码效率的提升、硬件开销的降低这些技术问题，而将时间放在业务层面——包括怎么让游戏更好玩。
这也是我们始终认为，NSSD, NFRU这类技术是在推进游戏产业向前发展，而不是很多评论说“让开发者有了偷懒的机会”的逻辑所在。
“我们期望开发者能用好我们的SDK、插件、模型”，“但这只是接下来将持续旅程的一个组成部分而已。”Peter在总结中说，“我们会做持续的推进，包括硬件IP、模型等等——让AI智能变得更出色，更具高能效、更具高质量，我们也会持续在Hugging Face平台和社区发布更新。”
评论区
登录后即可参与讨论
立即登录