元宇宙里「虚拟老婆」会嘟嘴卖萌！Unity豪掷16亿美元收购 ...

JamesB

编辑：桃子 小咸鱼
【新智元导读】元宇宙这条路，又多了一个实力干将！近日，Unity斥资16.25亿美元收购了《阿凡达》、《复联4》背后的视觉特效公司Weta Digital。


还记得复仇者联盟4最终大战那个恢弘的场面吗？



又或是在阿凡达星球上的奇遇?



这些精彩的画面，总是让人非常好奇：如此叹为观止的震撼的视觉特效，究竟是出自谁之手呢？

答案揭晓！

这些经典电影背后强大的渲染技术正是来自曾6次获得奥斯卡最佳视觉效果奖，由著名导演Peter Jackson创建的Weta Digital（维塔数字）。



而就在11月9日，这家工作室被全球交互式实时3D（Real Time 3D，RT3D）内容创作和运营平台Unity出资16.25亿美元收购。

根据公告的说法，本次收购是为了将 Weta Digital 的独家视觉特效（VFX）工具集成到Unity平台，为实现新一代3D创意内容和塑造「元宇宙」的未来提供帮助。

那么就是说，未来Unity要在「元宇宙」这条路上大步流星。

，时长02:03

二次元！会生气卖萌的「真人老婆」

要建立元宇宙，打造数字人类化身是最重要的核心难点之一。

但是，或许你无法想象，数字化身的逼真度目前已经可以无限逼近人类。

下面这位真人小姐姐便是由 Unity 用时2个月打造。

她会嘟嘴卖萌，也会紧皱眉头生气，如果有了她你还需要再捏造二次元老婆么。



前段时间，Unity技术开放日上揭秘了数字人的部分制作流程，主要分为两个主题，一个是渲染，一个是流程。

上面这个虚拟小姐姐的制作用到的就是人脸扫描+FACS表情编码技术来进行实时高清渲染。

虚拟人头发渲染是通过机器扫描一位真人，之后再用Unity最近发布了全新的头发系统进行渲染。



在设置中可以将不同的配置进行分组，每个配置文件都可以调细节。



Unity团队介绍道，「关于数字人脸部动画的制作，我们是用手机苹果 ARKit 方法进行面部表情捕捉的。」

关于面部表情捕捉，这其实是另外一项技术，需要搭配苹果手机并使用 Face Cap 软件，面部表情捕捉可以提供更高精度和细节的面部表情。

通过使用 FBX 文件导件，可以用左边的白模把动作移动到角色上。



还有，数字人眼睑的几何形状这一部分的制作并非易事。

由于在捕获真人数据的过程中睫毛部分遮挡了眼睑，数据难免存在噪音。



结果就会导致眼睑的几何形状不准确，这意味着必须找到一种方法来重建这些区域的几何形状。

Unity 可以将这些数据输入系统，并使用差分网格处理技术（Differential Mesh Processing tech）进行了特定区域的降噪和重建。



那么，Unity 如何通过技术来抚平皱纹？

面部图像中的特征在输入序列中就存在遗漏的表面细节，比如皱纹和毛孔的拉伸。

为了处理这些细致的表面细节，Unity 将导入序列的几何图形与来自 Snappers Systems 的混合形状基于面部的特征映射结合起来。



前后额部皱纹贴合

眼镜着色部分是 Unity 通过眼睛着色器有效地将眼睛模拟为两层，其中第一层用于描述角膜和表面的液体，第二层用于描述巩膜和虹膜，通过第一层可见。

照明在两层之间被分开，镜面照明是专门为顶层评估的，而漫射照明只是为底层评估的。



包括泪线这么一个微小细节也不能放过。

就那下面两个对比图来说，左边没有泪线，右边添加了泪线，并且进行了阴影处理，哪个更真实也就不言而喻。



添加泪线前后对结果

Unity介绍自己的数字人生产全量流程包括了：4D真人扫描，高精度面部建模等等。

可能以后甚至不需要真人演员，用数字人就可以拍出一线大片，也不用考虑会有绯闻、合同等各种问题。

对于Unity来说，其自身还有一套HDRP高清渲染管线，这是专为高端硬件上的高画质渲染量身定制的工具，可以充分挖掘PC和主机的全部视觉保真度。

可以看到，用Unity HDRP可以打造出影视大片级的画面。



Unity的渲染能力已经可以傲视群雄了。

而这次收购更是强强联合，Unity将Weta Digital的技术整合到自己的平台后，或许未来我们会在更多的游戏和元宇宙场景中看到这两家公司带来的呈现效果。



那么，Weta Digital 能够为Unity带来什么样的技术呢？

Unity+Weta Digital，如虎添翼

Weta Digital成立于1993年，成立多年来一直是视觉特效（VFX）设计领域的前沿创新者之一。

截至2017年，Weta Digital 已经获得了6项奥斯卡最佳视觉效果奖，其中就包括《指环王：指环王：护戒使者》(2001)、《指环王：双塔》(2002)、《指环王：王者归来》(2003)、《金刚》(2005)、《阿凡达》(2009) 和《丛林王子》(2016)。



「Weta Digital的技术代表了有史以来最完整的三维创建、模拟和渲染工具链。Peter Jackson和Weta Digital整个团队的才华对Unity公司的所有人来说都是难以置信的鼓舞。」

Weta Digital 15年的深度研发，带来了数十种行业领先的工具，如Manuka、Gazebo、Barbershop、Lumberjack、Loki、Squid、Koru等，这些工具都无缝集成到了Weta Digital的生产流水线中。



这些工具是获奖电视和电影的基础，如《阿凡达》、《黑寡妇》、《权力的游戏》、《指环王》、《猩球崛起》、《神奇女侠》、《X特遣队》等等。



Weta Digital的视觉特效（VFX）工具在动作捕捉、表演捕捉和CGI技术上颇有建树。



为了完美捕捉演员面部细节，技术人员会先使用Koru，一个先进的木偶操纵系统，可以捕捉多角色的表演并且支持高性能动画、布料模拟和类似应用。

在创建好木偶后，需要用演员的牙齿和牙龈的模具建立面部肌肉系统，完成面部表情人偶（数字替身），用来建立表情库。



这时就用到了Facial Tech。Facial Tech提供了高级面部捕捉和操作工作流，并且使用机器学习来支持面部肌肉的直接操作，可以将演员面部捕捉转移到目标人偶模型上。



然后，还要再建立一个合适的脸部表面，包括肌肉上面的脂肪组织、表面的皮肤层等等。

Tissue工具可以让艺术家和动画师能够创建生物学上精确的解剖角色模型，精确地表示肌肉和皮肤的行为，并将生成的角色转移到模拟工具中。



精细的头发渲染也是一大难题。

Weta Digital的视觉特效（VFX）工具中有一套头发和毛皮工具：Barbershop，支持从生长到梳理的整个工作流程。



艺术家可以使用程序工具和艺术家指导工具的组合来生长头发和毛发，调整生长模式，并修饰最终模型，高级的程序工具甚至还支持编发之类的概念。而且生成的模型是实时模拟的，可以提供由运动和风产生的真实动态。

最终，通过这样一步一步的建模，就可以塑造一个有血有肉的人物形象。

值得一提的是，将面部捕捉投影到动作捕捉木偶上这一过程是可以实时观看的，计算机生成的内容和现场摄像机输入也支持现场混合进行现场观看。



除了这些工具外，Unity此次收购Weta Digital，还将从Weta Digital那里拿到成千上万的素材库库，其中包括城市和自然环境、动植物、人类、人造物体、材料、纹理等。



WetaFX团队将继续进行电影和电视的视觉特效制作，并在未来几年继续为这个资源库提供素材。



而Unity的目标是将这些工具变成云支持的，并确保它们能够轻松地集成在目前的工作流和Unity引擎中。这样就可以将世界级的视觉特效工具交到全球数百万创作者和艺术家的手中，让下一代实时3D（Real Time 3D，RT3D）发挥创造力，从而塑造元宇宙的未来。



「Weta Digital的工具为我们创造了无限的可能性，让原本生活在我们想象中的世界和生物栩栩如生，」仍然担任Weta Digital董事长的彼得·杰克逊说。

「Unity和Weta Digital可以共同为任何行业的任何艺术家创造一条道路，让他们能够利用这些极具创造力的工具，这无异于改变游戏规则，Unity正是将这一愿景变为现实的公司。」

参考资料：
https://blog.unity.com/technology/making-of-the-heretic-digital-human-tech-package
http://www.gamelook.com.cn/2021/09/455604
https://blog.unity.com/news/welcome-weta-digital
http://www.0478114.com/u19806/cc8c906235844b6990f863b492f3a542.html
https：//http://www.shacknews.com/article/127602/unity-u-to-acquire-weta-digital-for-1625-billion-in-cash-and-stock

KaaPexei

这颜值当女佣还差不多。