AI成为强大的像素绘图工具

JermaineOl

借助神经渲染技术，AI以高达530%的渲染加速击败像素图形处理。
2022年9月20日，英伟达的应用深度学习副总裁布莱恩•卡坦扎罗（Bryan Catanzaro）在推特大胆声称，在《传送门》RTX版等GPU密集的游戏中，屏幕上的8个像素中有7个是由一种新型机器学习算法生成的。他说，这足以将渲染速度提高530%。
目前，这种引人瞩目的进步还仅限于几十个3D游戏。不过，这也暗示着，一种名为神经渲染的人工智能（AI）计算机图形生成方法将很快取得收益。由于它的加速能力和高效性，这种技术将在日常消费电子产品中释放新的潜力。
这种新算法名为DLSS 3，是英伟达深度学习超级采样图像增强技术的最新迭代。它能够检查帧序列之间的变化，然后在传统渲染帧中插入唯一的、由AI生成的帧。
530%的加速是基于最佳情景得到的，引自3D图形出版物以及YouTube频道“数毛社”的测试。不过，其他测试也得出了骄人的结果。大多数结果显示，在4K分辨率下，DLSS 3的性能比传统渲染提高了2～3倍。虽然英伟达在这方面领先，但它也有竞争对手：英特尔的XeSS（Xe超级采样），这是一款具有AI功能的倍增工具；AMD的RDNA 3图形架构，其中每个芯片计算单元中都包括了一对AI加速器。不过，在AMD的技术中，该公司尚未明确如何使用这种AI硬件。
谷歌的高级研究员乔恩•巴伦（Jon Barron）表示，游戏引领了神经渲染浪潮，因为它们提出了正确的问题：“人们在观察图像中的一个个小块时，会尝试猜测缺少了什么。”帧之间的相似性，以及足够高的帧速率，足以掩盖运动中的微小错误，这充分发挥了机器学习的优势。
不过，这远非完美。DLSS 3在场景转换方面存在问题，而XeSS在某些场景下会产生闪烁。尽管如此，巴伦和卡坦扎罗都认为，这些障碍可以通过向神经渲染模型输入新增的训练数据来克服。新的一年，英伟达、英特尔和AMD将与软件伙伴合作，提升各自的神经渲染技术，我们有机会看到相关技术的进步。



这只是相关技术初露锋芒。巴伦看到了一个岔道口，“2D神经渲染”技术（如英伟达的DLSS 3）可提升传统图形流水线的效率，“3D神经渲染”则能够完全通过机器学习生成图像。巴伦与他人一起合著了一篇有关DreamFusion的论文，DreamFusion是一种能够根据纯文本输入生成3D对象的机器学习模型。这种生成的3D模型可以应用于渲染软件和游戏引擎。英伟达也展示了Magic3D同样令人印象深刻的结果，Magic3D是一种类似的3D生成技术，能够制作比DreamFusion更精细的3D模型。



英特尔的图形研究副总裁安东•卡普兰（Anton Kaplanyan）认为，神经渲染技术将让3D内容创作更易实现。他说：“现在的社交网络非常商品化。人们只需点击一个按钮，拍一张照片，就可以与亲戚朋友分享。如果我们想要将其提升为3D体验，就需要让那些不懂专业工具的人也成为3D内容创作者。”
早期的结果引人瞩目，但相关技术还必须证明自身的能力。“计算机图形很神奇，它的效果非常好，我们有非常好的方法，能够解决很多问题，也许我们永远可以利用这些方法。”巴伦说。他指出，内容创作者和开发人员已经熟悉了用于创建和优化传统图形流水线的工具。
问题在于，图形产业如何快速接受3D神经渲染作为经过检验且可靠方法的替代方案？也许会出现一个令人不安的过渡期，因为围绕它的激励机制相互冲突。机器学习模型通常在现代图形架构上运行良好，但对于如何将GPU、CPU和专用AI协处理器结合在消费产品中存在着冲突，这都与AI性能相关，具体取决于如何实施。如果选择了错误的技术或者错误的支持架构，可能会导致重大损失。
尽管如此，卡坦扎罗仍然相信3D神经渲染的诱惑是难以抗拒的，他说：“我认为我们将会看到很多更加激进的神经渲染技术。”他指的是文本到图形和文本到3D的生成技术。“有些完全由神经模型生成的图形质量非常出色。有些能够实现阴影、折射和反射效果，而我们通常只知道如何在图形中使用光线追踪……因此我会考虑那些比DLSS更激进的神经渲染方法，而且我认为未来的图像会同时使用这两种方法。”



神经渲染的魅力不仅在于潜在性能，还在于潜在效率。DLSS 3在《传送门》中将帧速率提升了530%，此外，还可以为了降低功耗，把帧速率限制在目标值。
这是一个很重要的问题，因为消费电子产品存在功耗问题。“如你所知，摩尔定律正在失去动力，而我个人认为，后摩尔图形会是神经图形。”卡坦扎罗说。对于英伟达，神经渲染代表了一种无需晶体管翻倍也可持续提高增益的方法。
虽然英特尔的卡普兰对摩尔定律的衰退表示异议——英特尔的首席执行官帕特里克•基辛格（Patrick Gelsinger）坚称摩尔定律仍然存在，但他同意神经渲染能够提高效率。他说：“有解决芯片尺寸的方法，比如帕特里克提到的芯片粒子。另一方面，我也同意采用机器学习算法将有很好的机会，更有效地利用这种能量和这一领域的方法，产生新的视觉效果。”
效率是AMD、英伟达和英特尔争夺的战场，这3家公司都在与设备制造商合作，为消费者设计新的笔记本电脑和平板电脑。对于设备制造商而言，提高效率可使设备更轻薄、电池更持久，同时增强用户使用设备的功能。
“能够实现商品化并带来沉浸式体验，我感到很激动。”卡普兰说，“利用该技术能够拥有原本只能在高端好莱坞电影或3A游戏中才能获得的体验，而且能够自己创造这种体验，并在笔记本电脑或其他功率受限的设备上实现这些体验。”
无论最终是哪个竞争者在这场竞赛中脱颖而出，2023年都会是整个消费电子产品行业的神经渲染基础之年。具备DLSS 3的英伟达RTX 40系列将广泛用于消费级台式机和笔记本电脑，英特尔预计会通过即将推出的Battlemage架构来扩展其Arc图形产品线，而AMD将推出更多基于RDNA 3架构的显卡。
这些新产品将为图形革命奠定基础。图形革命不会在一夜之间发生，也不会很轻松，但随着消费者视觉效果的要求越来越高，并期望使用更小、更薄的图形设备来创造更强大的内容，神经渲染可能是最好的方法。
作者：Matthew S. Smith
加入免费的「智慧城市之智慧交通」知识星球可了解更多行业资讯和资料。