GTC2022：除了4090，NVIDIA的元宇宙与自动驾驶更值得关注

maltadirk

9月20日晚间，英伟达（NVIDIA）的GTC 2022大会在网上直播开幕。老黄介绍NVIDIA的新进展成了开场大戏。不过，还好，老黄终于不在厨房烤“面包”了，而换成了一个完全虚拟的背景。




完全虚拟的背景，看起来倒是更像是虚拟数字世界了

显卡、AI是NVIDIA必然少不了的话题，今年又增加了元宇宙，那就先一个个看吧。
显卡：基于Ada Lovelace架构的40系列

相信大家都已经或多或少看过一些新闻了，就不多说了，直接上图：


Ada Lovelace，公认为是世界上第一位计算机程序员，NV也算是向她致敬。Ada Lovelace采用针对GPU优化的4N工艺，集成了760亿个晶体管和超过18000个CUDA核心，比上一代Ampere多70%。在Ada上，三类处理器均有改进：

• 首先，90  TFLOPs的全新SM多单元流处理器，性能超过上一代2倍，Ada的SM多单元流处理器包含一个重要新技术：Shader Execitoon  Reordering（着色器执行重排序），该技术可实时重新调度任务，类似CPU的乱序执行，据称可将光线追踪性能提升2-3倍，老黄非常自豪称是一项重大创新。
  
• 其次，全新的RT  Core有着两倍的光线与三角形求交性能，以及两个全新的重要硬件单元。全新的Opacity  Micromap引擎将光线追踪的Alpha-Test几何性能提升2倍，全新的Micro-Mesh引擎可提升几何图形的丰富度，而不会带来更多的BVH构建和存储资源消耗。
  
• 最后，全新Tensor Core新增了Hopper FP8 Transformer Engine，可提供1.4 petaFLOPS的张量处理性能。
  

Shader Execitoon Reordering（着色器执行重排序，简称SER）技术原理示意图，类似CPU的乱序执行

在Ada Lovelace架构中，老黄讲了一大推，比如：

• RTXGI使用光线追踪来实现实时的、多次弹射的间接光照
  
• RTXDI使用光线追踪，通过百万计的光线计算直接照明并计算所有光线投射的阴影，用于广告牌、电视屏幕和霓虹灯管等自发光表面
  
• NVDIA Real-Time Denoiser（NRD）是一种空间时域降噪技术，可通过未全部完成的光线追踪图像，推理出最终结果，从而减少采样所需的光线数量
  
• 其中大书特书的是使用卷积自动编码器AI模型 DLSS 3，包含光流加速器、游戏引擎运动矢量、卷积自动编码AI帧生成器，以及Reflex超低延迟流水线等四个组件，让图形处理性能大幅提升，速度加快
  

由此，老黄还暗戳戳地讽刺了一把英特尔，在4年之类，性能提升了16倍，但晶体管的数量并没有增加16倍，号称性能提升超过了摩尔定律，看来老黄对大英怨念不是一般的深重。
然后秀了好几种经典游戏，你们感受下：


然后公布了显卡价格：

• GeForce RTX4090 1599刀，24GB显存
  
• GeForce RTX4080 899刀起，有12GB和16GB显存之分
  

价格非常感人。
NVIDIA之元宇宙：Omniverse平台，打造数字孪生世界

元宇宙是这两年的热门话题，就跟娱乐圈一样，总有人时不时的出来秀一把智商下限。不过老黄的元宇宙至少看起来还像那么回事儿。
Omniverse就是NVIDIA针对元宇宙推出的一个资源整合平台，包括用于协作的Create和View，用于合成数据生成的Replicator，以及用于数字孪生模拟的Isaac Sim和Drive Sim。此次更新包括：

• 支持Ada Lovelace GPU，在光线追踪和大型场景性能方面实现“巨大飞跃”
  
• 基于GAN和扩展模型的新型神经渲染工具
  
• OmniGraph图形执行引擎，可通过程序化的方式控制行为、动作和行动
  
• Omniverse Physics重大更新，用来处理复杂的多连接不见对象的运动情况
  
• 全新的Cloud XR，支持在VR中实现Ada强大的光线追踪功能
  
• 首个用于合成数据生成和数字孪生模拟器的SimReady素材库
  
• Replicator是备受青睐的Omniverse应用之一，用来生成合成数据，从而训练自动驾驶汽车、机器人和各种计算机视觉模型
  
• 新的Omniverse JT连接器， JT是Siemens（西门子）发明的、用于产品生命周期管理的行业标准语言，也是NX、Greo、Catia和Inventor等CAD系统的互操作格式。NVIDIA把JT搬到了Omniverse之上。
  

以DNEG公司为例，这是一家很著名的视觉特效和动画工作室，视觉特效制作流程可能会采用5到7种工具，每种工具都有专门的用途，比如建模、绑定、动画或模拟等。那么不同员工在协作中，必然要将各种工具制作的文件倒腾来倒腾去的，而NVIDIA的Omniverse平台就让各个工具制作的文件都放在Omniverse上，不用倒腾了。


在Omniverse上，不仅是视觉特效，包括工业设计，仓储规划等等需要用到3D软件的行业都可以使用。也就是说，Omniverse是一个虚拟世界，但是可用于设计、制造和运营物理世界中的事物。
其主要由三部分组成：

• RTX计算机（供创作者、设计师和工程师使用），
  
• OVX服务器（用来托管与Nucleus数据库的连接并运行虚拟世界模拟）
  
• NVIDIA GDN（进入Omniverse的门户）
  

为此，NVIDIA还构建了一个全球图形交互网络（即GDN），覆盖100个地区，能够把全球各地的3D模型传输到任何RTX计算上去。同时，还宣布推出NVIDIA  Omniverse  Cloud，一款IaaS产品，可连接在云上、本地或单个设备上，运行Omniverse应用。并且，还与AWS合作，用户可在AWS上使用Omniverse  Cloud Replicator和Farm容器。



与NVIDIA Omniverse合作的企业

据老黄说，Omniverse目前拥有150个连接器，覆盖零售、交通、电信、制造、媒体和娱乐、消费品和奢侈品、以及供应链和物流等大型行业领域。
AI自动驾驶的新进展：Thor与NVIDIA DRIVE

NVIDIA在AI领域的地位目前是暂时无人能够超越的。在GTC 2022上，老黄重点介绍了NVIDIA在AI领域的进展：数据中心的AI工厂，和AI机器人。
首先是发布了新一代的Thor处理器（SoC）：拥有2000 TOPS和2000 TFLOPS性能，是上一代Atlan的2倍。



新一代车载机器人处理器Thor

Thor由Grace、Hopper和Ada Lovelace三种不同的处理器组成：

• Hopper的Transformer引擎，以及Vision Transformer
  
• Ada中多实例GPU，有助于车载计算资源的集中化，可将成本降低数百美元。
  
• Grace拥有非常出色的单线程性能，除了并行处理算法由GPU卸载和加速，其余需要单线程的工作负载则由Grace负责
  

Thor可被配置为多种模式：

• Thor可以将其2000 TOPS和2000 TFLOPS全部用于自动驾驶工作流
  
• 也可以将其配置为将一部分用于驾驶舱AI和信息娱乐，一部分用于辅助驾驶
  
• Thor的多计算域隔离，允许并发的、对时间敏感的多进程无中断运行
  

也就是说，可以在一台计算机上同时运行Linux、QNX和Android。
然后是NVIDIA DRIVE，一个面向自动驾驶汽车开发和部署的端到端平台：
在开发方面：DRIVE包括Replicator合成数据生成，NVIDIA AI基础设施、Drive Sim和DRIVE Map；
在部署方面：DRIVE包括全栈驾驶和车内AI应用、AI计算机和Hyperion自动驾驶汽车参考架构
NVIDIA DRIVE平台上的一项被重点介绍的新功能是基于Neural  Reconstruction Engine的AI工作流。这是DRIVE  Sim的一项主要功能，可根据记录的传感器构建3D场景，在将3D场景导入DRIVE  Sim后，可通过人工创建的内容或AI生成的内容对其进行增强，这个视频到3D几何图形的工作流，可以在NVIDIA  OVX系统上运行，并能够在全球范围内创建模拟场景。
使用Neural Reconstruction Engine为DRIVE Sim提供支持，通过AI和车队采集的数据来增强仿真，只需几分钟，该引擎就可以根据传感器数据为驾驶记录重建完整的3D数字孪生。
通过AI技术，还可以对物体进行采集和重建，大型素材和场景库根据现实世界的驾驶数据创建，而重建的场景和素材会被加载到Omniverse中，并且随时可在DRIVE Sim中使用。
借助NVIDIA DRIVE Map，可以放置动态物体，例如车辆，以及行人。


录制的数据可以转换为完全反应式且可修改的仿真环境，以进行封闭测试，此外，还可以使用合成以及采集的场景和素材创作新场景。可以生产合成真值数据来训练感知网络。这些创作场景可用于端到端测试，包括诸如行人突然横穿马路的极端驾驶场景等。
此次GTC  2022，内容上很是干货满满，除了上述之外，NVIDIA还发布了第二代机器人计算机处理器Orin，作为自动驾驶汽车的计算引擎，据老黄称，已被40多家汽车、卡车、无人驾驶出租车和穿梭巴士的制造公司选择使用。以及新一代的Jetson  Orin Nano微型机器人计算机，速度比上一代Jetson Nano快80倍，Jetson Orin Nano运行NVIDIA  Isaac机器人堆栈，并具有ROS 2 GPU加速框架。
还发布了Metropolis边缘AI平台，据称下载量已经达到100万次，在全球拥有1000多家应用合作伙伴，Metropolis可以解读摄像头、激光雷达和其他物联网传感器的数据，提高仓库、工厂、零售商店和城市的安全性和效率。全球大型工业自动化公司Siemens将Metropolis和Orin  IGX用于其工业边缘计算平台。
篇幅所限，其他的就留作下篇再讲。
搜索“企业IT观察”，欢迎关注，接收最新IT资讯