通过 Unreal 使用 Chaos Vantage 进行实时光线追踪如何 ...

zt3ff3n

在过去的八年里，我们一直密切关注虚拟制作的发展。虚拟制作并不是指相机内的 VFX，例如 LED 墙。我们的意思是在动作捕捉体积内有或没有演员的虚拟摄像机的动作捕捉。尽管虚拟制作取得了突飞猛进的发展，但它一直缺少Chaos Labs自 2014 年以来一直在探索的关键要素：实时光线追踪。
启用实时光线追踪将做几件事：减少对不同渲染器进行冗余外观开发的需求，减少使用光栅化渲染来伪造现实所需的时间，它将使您能够看到更接近最终帧的东西，从而允许选择在生产中而不是后期制作。


这篇博文将说明 Chaos Labs 探索这些确切想法的过程。我们与获得 Epic MegaGrant 的创业工作室Voltaku以及 NVIDIA、Lenovo、KitBash3D 和 Foundry 合作。我们一起能够将Chaos Vantage与虚幻引擎实时链接，并提供完整的光线追踪体验以及具有高达每秒 30 帧 (FPS) 的变形几何形状的角色。这种技术被用来制作 Voltaku 的概念验证动画短片Killtopia。
虽然这仍然是一个技术理念，但我们认为它将为更多虚拟制作打开大门。我们相信这将使电影制作人能够毫不妥协地看到更接近最终画面的东西。
任务：最后一帧

在许多方面，这个项目是 Kevin Margo 的CONSTRUCT的精神继承者。早在 2014 年，最初是使用 V-Ray GPU 探索最终帧光线追踪，发展为使用 Autodesk MotionBuilder 中的 V-Ray 自定义构建来探索用于虚拟制作的实时光线追踪。


自CONSTRUCT推出以来，技术堆栈不断变化，使得虚拟制作中的实时全光线追踪变得更加容易实现。游戏引擎已经在很大程度上取代了 MotionBuilder 用于虚拟制作；艺术家现在可以使用 NVIDIA RTX GPU，从而大大加速光线追踪操作；联想等公司正在生产功能强大的工作站，您可以在其中做大事。
同样从那时起，我们推出了 Vantage，这是我们的实时全光线追踪器，可以利用所有这些硬件进步。例如，6 年前使用 4 个视觉计算设备 (VCA) 服务器和 32 个组合 GPU 现在可以使用单个移动工作站和由 NVIDIA RTX A5000 笔记本 GPU 驱动的联想 ThinkPad P1 来实现。对于那些寻求更高性能的人来说，联想 P620 ThinkStation 与双 RTX A6000 GPU 相结合可提供巨大的速度提升。


那么为什么要升级 Vantage 呢？

因为即使我们拥有所有这些强大的技术，仍然缺少链接。例如，电影制作人、节目制作人和艺术家喜欢使用游戏引擎获得的即时反馈，但游戏引擎的光栅化渲染与使用光线追踪渲染的最终帧不匹配。
我之前提到过这一点，但大多数人的问题是光栅化（又名游戏引擎）图形无法实现离线渲染的视觉保真度，这意味着如果你要获得最终帧，你要么编写一堆变通办法以实现与离线方法的平等，或者您正在报名参加在外观开发过程中无论您在哪里登陆的重做浪潮。从本质上讲，您是在迫使您的制作团队构建您的资产两次：一次用于虚拟制作，另一次用于最终制作。V-Ray 和 Vantage 可以充当桥梁，使我们能够使用相同的资产和外观开发，从前期制作到虚拟化和后期制作。

Killtopia 的大创意

Voltaku 的首席执行官 Charles Borland 对虚拟制作的实时光线追踪重新产生了兴趣，他来找我们并希望在CONSTRUCT管道上进行构建。Charles 刚刚选择了几个 IP，并想拿他们最著名的一个（Killtopia）来看看 Voltaku 是否可以使用虚拟制作创建一个端到端的项目。虚幻引擎将成为中心，但他也想要完整的光线追踪，并获得了 Epic MegaGrant 来帮助构建这个混合管道。他想看看我们是否可以建立一个允许端到端光线追踪解决方案的桥梁。
这个项目也很有趣！Killtopia有点像《银翼杀手》与《大逃杀》的相遇，是基于戴夫库克和克雷格佩顿创作的漫画小说系列。在这个世界上，人们跟随赏金猎人和他的机器人搭档穿越新东京，与黑帮、机甲和致命的纳米瘟疫打交道。所以你可以想象，有很多工作要做。
为了概念验证，团队想要突出Killtopia最生动的角色之一，Stiletto，因为她与一个喜欢可乐的机器人摄影师来回调皮。当我们开始时，Killtopia资产已经在开发中。Voltaku 与 Pitch Dev Studios 的 David Levy 合作完成了所有的概念艺术和资产开发，他的团队创建了一个总体位置布局。
我们还与 KitBash3D 的朋友合作，他们为我们提供了一些很棒的工具包（Aftermath、New Tokyo II、City Streets 和 Cyber Streets，如果您正在寻找）。所有的资产都是用 V-Ray 设计和制作的。从那里，我们能够将它们导出为 vrscene 文件，并通过V-Ray for Unreal 插件将我们所有的几何体、灯光和着色器导入 Unreal 。


主要障碍是弄清楚如何从虚幻引擎获取数据以使用 Vantage 进行实时渲染。我们开始使用 V-Ray for Unreal 的分布式渲染功能，重新路由它以使用 Vantage 的实时链接功能。这使我们能够从虚幻引擎获取数据，以使用 Vantage 进行实时渲染，而不会损失任何保真度。
这是我们遇到一些障碍的地方。
Vrscene 文件主要用于引入几何体、相机、灯光和着色器——而不是动画或绑定。不过，我们需要在虚幻引擎中使用装配好的 Stiletto 来进行动作捕捉，而实现它的唯一方法似乎就是使用虚幻骨架网格体。遗憾的是，当时 V-Ray 不支持骨架网格体。因此，开发团队开始工作，不仅添加了支持，还调试了一些会减慢速度的实时链接性能问题。结果可以说是迄今为止我们测试过的所有 DCC 应用程序中最好的实时链接性能。


我们必须应对的另一件事是确保变形几何形状保持不变。为了实时链接到工作，必须向 Vantage 提供识别状态之间变化的数据。例如，如果您只是移动相机，则发送的唯一数据是相机的位置。与CONSTRUCT的机器人不同，Stiletto 的整个身体会随着帧的变化而变化，这意味着她的几何图形的每个顶点都需要更新。因此，我们需要为 Stiletto 传输 300,000多个变换，而不是像我们在CONSTRUCT上享受的那样进行几十个变换。使用这种新方法，我们仍然可以获得每秒 20 到 30 帧的速度。


光线追踪虚拟制作的最佳实践

在完成了这个过程之后，这是一种对我们来说效果很好的方法。

• 一次构建您的资产：由于我们要从头到尾使用 V-Ray，因此从头构建最终资产是有意义的。我们能够携带包括着色器在内的资产，从最初的概念到虚拟制作和最终渲染。
  
• 使用 V-Ray for Unreal 作为您的桥梁：获取所有这些资产，一旦导入所有内容，您的制作就可以开始预照明。这意味着您可以开始四处移动灯光并按照您想要的方式设置您的场景。然后，我们可以启动所谓的虚拟艺术部门或 VAD 来设置服装和预照明场景。
  
• 开始动作捕捉：当你准备好捕捉动作时，使用虚幻引擎中的 Take Recorder。它可以捕捉表演和摄像机，而无需删除与 Vantage 的实时链接。借助更多视觉信息，您可以进行照明调整，使用 V-Ray 物理相机调整景深等。而且您不必设计任何技巧来克服光栅化 - 一切都是完全光线追踪的。
  
• 使用 Vantage 的离线模式：虽然 Vantage 非常快，但仍然只能通过去噪实时实现无噪声帧。正如你们中的一些人所知，去噪帧可能看起来有点褪色。但是，如果您给 Vantage 几秒钟而不是 1/30 秒来渲染一帧，您可以获得非常干净的图像而没有去噪。如果您想要更清晰的帧，您可以使用新的“离线”模式，它可以让您选择选定的镜头并让 Vantage 在背景中以更高质量渲染这些镜头。在 15 分钟的设置更改或中断过程中，可以拍摄 500 帧，然后直接发送给编辑部以添加到剪辑中。这里的另一个优点是，由于渲染基于已知序列，Vantage 可以添加运动模糊，这很难实时完成。
  
• Onto post：一旦你拥有了所有你想要的镜头，你就可以将它们设置为后期制作。如果您选择留在 Unreal，您可以将所有 V-Ray 渲染设置为在那里完成，或者您可以使用 FBX 将性能转移到另一个 DCC。此时，您还可以设置合成所需的所有 AOV。
  
• 渲染它：一切顺利吗？使用您在整个过程中使用的相同外观开发，您可以在 V-Ray 中渲染您的最终帧。
  

最后两点现在很重要。虽然有些人可能认为您应该（或可以）实时完成所有工作，但事实上很多事情仍在后期制作中完成 - 包括离线渲染和高质量模拟，如头发、布料和流体。这意味着，现在，我们主要专注于几件事：在当下开启更好的创意迭代，减少让你重新做事的冗余。越来越多，我认为我们都在努力达到这样一个点，即您在虚拟制作期间使用的照明和外观开发可以得到更多的使用。
您可能仍在使用离线渲染的另一个原因是您可能需要使用许多专业 AOV 来实现复杂的外观。Killtopia就是这种情况。我们与 Foundry 密切合作，并使用 NUKE 来恢复漫画书的味道。这意味着我们需要使用许多特殊的实用 AOV；对于实时渲染来说，这将是一个挑战。






技术——以其最好的形式——是关于开门的。当您消除约束时，艺术家可以探索新的奇思妙想并更快地交付。这一直很强大。但虚拟制作的惊人之处在于它为电影制作人提供了多少力量。当你能看到过去只能想象的东西时，导演的意图就毫无疑问了。他们可以在片场做出选择。他们可以从周围其他有创造力的人那里获得反馈。他们可以看到他们的决定的直接后果。
难怪虚拟制作会受到如此热烈的欢迎。人们喜欢看到墙壁倒塌，而且确实如此！从技术的角度来看，好的部分是我们知道我们需要去哪里。如果人们试图进行最终帧虚拟制作，则必须涉及光线追踪。所以这实际上是关于对路径进行逆向工程。
这个Killtopia项目的有趣之处在于，它让我们能够测试可以推动每个人前进的想法。这一直是目标。
重要提示：

Unreal虚幻引擎电脑配置的要求是比较高，特别是实时渲染，前期的硬件成本是比较高，这里有一个简单的节省硬件成本的方法，使用赞奇超高清云工作站，即使本地普通的电脑也能运行UE5软件，且普通电脑也能享受行业最高端的CPU和GPU，极大提高制作效率和使用体验，且使用方便快捷，全面支持3D应用软件插件运行，随时调用百余款软件插件，高效作业。
赞奇超高清云工作站可以为UNREAL 用户提供云端制作输出方案，提高工作效率。为Unity用户提供灵活、高效、低成本的云端烘焙服务，享受游戏制作的乐趣。用户在全国各地通过赞奇超高清云工作站直接连接服务器，共享一套资产， 可以直接在赞奇超高清云工作站上制作 / 修改工程文件，减少数据传输成本,高性能云办公选赞奇超高清云工作站！！