Unity开发者联盟收藏本站
发帖教程新人必读切换到宽版

 找回密码
 立即注册
Unity开发者联盟»论坛 › 3D Answers 技术讨论 › 插件讨论 Plugs Answers › （渲染）（引擎）UE底层渲染架构
返回列表 发新帖
查看: 647|回复: 0

（渲染）（引擎）UE底层渲染架构

[复制链接]
发表于 2022-8-6 11:46 | 显示全部楼层 |阅读模式
首先，老规矩：

<font color=red>**未经允许禁止转载**</font>(防止某些人乱转，转着转着就到蛮牛之类的地方去了)

<font color=red>B站:Heskey0</font>

<hr/>
《Gpu Gems》《Gpu Pro》《Gpu Zen》系列读书笔记
为方便阅读（再次吐槽知乎），本文已搬运至： 【深入解析UE】渲染篇 - Heskey0 - 博客园 (cnblogs.com)
虚幻5渲染编程专栏概述及目录 - 知乎 (zhihu.com)
UE基础

架构

  • ULevel是UE的关卡，是场景中物体的集合，存储着一系列Actor
  • UWorld是ULevel的容器。每个UWorld实例必须包含一个主关卡（Persistent Level），还可能包含若干个流式关卡（Streaming Level，可选，非必需，可按需动态加载和卸载）
  • 常见的WorldType有游戏（Game）、编辑器（Editor）、编辑器播放（PIE）以及预览模式（EditorPreview、GamePreview）等。编辑器内的场景其实也是个World，类型为Editor。
内存
GC

  • UObject提供了GC
  • 标记清除法

    • 将可达对象标记为TRUE
    • 收集待清理对象（UE增加了一步）
    • 清理不可达对象



  • 原子性GC过程

    • 获取GC锁，防止GC被其它线程操作
    • 执行GC
    • 释放GC锁


多线程渲染

UGameEngine::Tick()

  • UWorld::Tick() : [LevelTick.cpp]
    *
单线程渲染：CPU和GPU可能相互等待
UE的线程（FRunnableThread）

  • 游戏线程（Game Thread）（也称作主线程）（UGameEngine::Tick）
  • 渲染线程（FRenderingThread）

    • 专门用于生成渲染指令 (FRenderCommand) 和渲染逻辑的独立线程



  • RHI线程（RHI Thread）

    • 转换渲染指令到指定图形API，创建、上传渲染资源到GPU
    • RHI全称是Render Hardware Interface（渲染硬件接口）, 封装了众多图形API（DirectX、OpenGL、Vulkan、Metal）之间的差异


线程同步

  • 渲染命令栅栏（FRendeLauchEngineLooprCommandFence）

    • 强制同步RHI和GPU交换链



  • 同步（FFrameEndSync）

    • 在引擎循环的帧末尾添加游戏线程和渲染线程的同步事件


渲染机制

剖析虚幻渲染体系（03）- 渲染机制 - 0向往0 - 博客园 (cnblogs.com)
Draw Call 的产生
UE5

  • RHI层的变动主要在于将各种顶点、索引Buffer统一成了FRHIBuffer。
  • Renderer层增强了光线追踪，特别是屏幕空间的光线追踪，加强了距离场的各种应用，同时删除了LPV。
  • Engine层主要围绕着RHI、Renderer层的变动做了相应修改和调整
Nanite

渲染特性：

  • 不支持：

    • Forward rendering
    • MSAA


Component：

  • 支持：

    • static mesh



  • 不支持：

    • skeletal animation
    • morph target / blend shape
    • spline mesh


Preview

1. VSM (Virtual Shadow Map)：一种新的阴影投射方法
UE5中VirtualShadowMap的简易实现原理（一） - 知乎 (zhihu.com)
UE5 虚拟阴影贴图 （VirtualShadowMaps）的优势和局限性 - 知乎 (zhihu.com)

  • 开启后，会替换传统阴影技术（CSM, SDF，......），GPU上实现
  • 开启后，SMRT (Shadow Map Ray Tracing) 可以利用VSM生成阴影
Algorithm Overview:

  • 假设有一张分辨率极高的 Virtual ShadowMap（16K）
  • 通过坐标转换，找到深度图中像素对应到 Virtual ShadowMap中的格子 (Virtual Tile)，然后标记为Used，每个标记的格子挨个(紧密)存放到一张UAV (Tile Padding)
  • 利用UAV走正常的shadowmap流程，没有标记的 Virtual Tile 用不到
Mipmap适配：

  • 生成不同分辨率的Virtual ShadowMap（Mipmap）
  • 根据深度算出当前屏幕对应的Mipmap Level级别
裁剪图（Clipmap）：

  • 单张虚拟阴影贴图无法提供足够的分辨率来覆盖大型区域
  • 定向光源使用裁剪图（Clipmap）结构来扩展摄像机周围的范围
  • 每个裁剪图级别都有其单独的16K VSM
2. SMRT (Shadow Map Ray Tracing)：利用VSM生成软阴影
PCF过于模糊
Algorithm Overview:

  • 沿光源发射一些光线
  • 用VSM作测试
3. TSR (Temporal Super Resolution)：替换传统TAA
Core

Cluster :

  • 一组相邻三角形的集合 （ 在早前已被育碧和寒霜引擎使用 ）
  • Cluster可以和相邻的Cluster动态合批
Lumen

Surface Cache

  • Lumen为场景表面附近生成Surface Cache
  • 用于快速查找射线命中点的光照
屏幕追踪

  • Lumen先对屏幕进行追踪
  • 追踪失败，则使用更可靠的方法
光线追踪

  • 软件光线追踪（ray marching）

    • 依赖于距离场，较大网格会有不良表现
    • Detail Tracing（默认）：前两米使用网格距离场，其它距离使用全局距离场
    • Global Tracing：利用全局距离场快速追踪，损失画质效果



  • 硬件光线追踪
补充（非Lumen）：DFAO

  • DFAO中网格距离场没有合并到全局距离场
  • 所有的网格距离场atlas到一张体贴图上（300M显存）
  • step1 : 光源出发Trace，剔除掉不会相交的距离场
  • step2 : 从场景出发沿光源做Trace
Shader

第一梯队的shader模块是最底层最基础的模块，这些模块不会引用其它模块，但会被其它很多模块引用。这些模块主要有：

  • BasePassCommon.ush
  • BRDF.ush
  • CapsuleLight.ush
  • Common.ush

    • 图形API或Feature Level相关的宏、类型、局部变量、静态变量、基础工具接口

      • FeatureLevel:  Feature levels in Direct3D - Wikipedia
      • // FEATURE_LEVEL的宏定义
        #define FEATURE_LEVEL_ES2_REMOVED    1
        #define FEATURE_LEVEL_ES3_1          2
        #define FEATURE_LEVEL_SM3            3
        #define FEATURE_LEVEL_SM4            4
        #define FEATURE_LEVEL_SM5            5
        #define FEATURE_LEVEL_MAX            6





  • CommonViewUniformBuffer.ush
  • Definitions.usf

    • 定义了一些常见的宏，防止其它模块引用时出现语法错误



  • FP16Math.ush
  • Platform.ush

    • 图形API（DirectX、OpenGL、Vulkan、Metal）和FEATURE_LEVEL相关的宏、变量及工具类接口



  • ShaderVersion.ush
  • LightGridCommon.ush
  • LocalVertexFactoryCommon.ush

    • Get/Set :
    • Color
    • LightMapCoordinates
    • Tangent
    • 图元id（PrimitiveId）



  • ShadingCommon.ush

    • 定义了材质所有着色模型ID，并提供了少量相关的工具类接口

      • // 材质着色模型, 每种类型都有对应的光照算法和流程.
        #define SHADINGMODELID_UNLIT                0
        #define SHADINGMODELID_DEFAULT_LIT            1
        #define SHADINGMODELID_SUBSURFACE            2
        #define SHADINGMODELID_PREINTEGRATED_SKIN    3
        #define SHADINGMODELID_CLEAR_COAT            4
        #define SHADINGMODELID_SUBSURFACE_PROFILE    5
        #define SHADINGMODELID_TWOSIDED_FOLIAGE        6
        #define SHADINGMODELID_HAIR                    7
        #define SHADINGMODELID_CLOTH                8
        #define SHADINGMODELID_EYE                    9
        #define SHADINGMODELID_SINGLELAYERWATER        10
        #define SHADINGMODELID_THIN_TRANSLUCENT        11
        #define SHADINGMODELID_NUM                    12
        #define SHADINGMODELID_MASK                    0xF        // ShadingModelID只占用了GBuffer的4bit.





  • ShadowDepthCommon.ush
  • ShadowProjectionCommon.ush
  • SHCommon.ush
  • (......)
第二梯队的重要或基础模块会引用第一梯队的基础模块，但也会被其它梯队或模块引用：

  • BasePassVertexCommon.ush

    • 从VS传到PS/DS的结构体



  • CapsuleLightIntegrate.ush
  • DeferredLightingCommon.ush

    • 光源数据 struct FDeferredLightData
    • 阴影射线检测ShadowRayCast
    • 光照计算接口



  • DeferredShadingCommon.ush

    • 颜色空间转换

      • RGBToYCoCg
      • YCoCgToRGB





    • 颜色，法线，GBuffer数据的编码解码
    • GBuffer数据集合：struct FGBufferData
    • 屏幕空间数据：
      //包含了GBuffer和AO.
      struct FScreenSpaceData
      {
          // GBuffer (material attributes from forward rendering pass)
          FGBufferData GBuffer;
          float AmbientOcclusion;
      };



  • LocalVertexFactory.ush

    • // 从绑定的顶点Buffer中获取的顶点输入数据.
      struct FVertexFactoryInput{}



  • MaterialTemplate.ush
  • RectLight.ush
  • RectLightIntegrate.ush
  • ShadingModels.ush

    • 着色模型以及光照计算相关的类型和辅助接口
    • Light结构体

      • struct FAreaLight区域光
      • struct FDirectLighting直接光
      • struct FShadowTerms阴影数据





    • 光照接口

      • 能量归一化EnergyNormalization
      • DualSpecularGGX
      • RefractBlend





    • ShadingModel光照

      • SimpleShading
      • DefaultLitBxDF
      • HairBxDF
      • ClearCoatBxDF
      • SubsurfaceProfileBxDF
      • ClothBxDF
      • SubsurfaceBxDF
      • (......)
      • //会根据ShadingModelID调用上面不同的接口
      • IntegrateBxDF
      • EvaluateBxDF





  • ShadingModelsMaterial.ush

    • 提供了根据材质和指定参数设置GBuffe的接口



  • VertexFactoryCommon.ush

    • 顶点变换接口

      • TransformLocalToWorld
      • TransformLocalToTranslatedWorld
      • RotateLocalToWorld
      • RotateWorldToLocal
      • UnitToOct





  • (......)
最后是第三梯队的模块，重要模块的实现，会引用第一、第二梯队的模块：

  • BasePassPixelShader.usf
  • BasePassVertexShader.usf
  • CapsuleShadowShaders.usf
  • DeferredLightPixelShaders.usf
  • DeferredLightVertexShaders.usf
  • ShadowProjectionPixelShader.usf
  • ShadowProjectionVertexShader.usf
  • (......)
FShader

继承
graph BT
        FGlobalShader-->FShader;
        FMaterialShader-->FShader;
基础概念

Shader :

  • FGlobalShader

    • 子类在内存中只有唯一实例



  • FMaterialShader

    • 由FMaterialShaderType指定的材质引用的Shader
    • 材质蓝图实例化后的shader子集


ShaderType :

  • FShaderType

    • FGlobelShaderType

      • 最简单的Shader
      • 每个ShaderType只有一个实例





    • FMaterialShaderType

      • 与材质链接





    • FMeshMaterialShaderType

      • 与材质链接
      • 使用Vertex Factory




ShaderParameter

  • 由CPU的C++层传入GPU Shader并存储于GPU寄存器或显存的数据，提供Bind()进行数据绑定。着色器参数可以绑定任何GPU类型的资源或数据 ，但不同的类只能绑定特定的着色器类型
  • FShaderParameter

    • float1/2/3/4，数组，UAV



  • FShaderResourceParameter

    • 纹理，采样器



  • FRWShaderParameter

    • 绑定了UAV或SRV资源


Vertex Factory

  • 支持网格类型（ 静态网格、蒙皮骨骼、程序化网格以及地形等等）
  • 渲染线程包含了Vertex Factory对象，横跨CPU和GPU两端
  • FVertexFactory封装了可以链接到顶点着色器的顶点数据资源
编译机制

usf文件编译成对应目标平台的shader代码【Shader: 一段文本，GPU硬件上执行】
Shader Map

  • 存储编译后的Shader代码（Shader Permuation）
  • FGlobalShaderMap
  • FMaterialShaderMap
  • FMeshMaterialShaderMap
  • 可以把它理解成一个三维矩阵，长度为每个材质类型，宽度为每个渲染阶段Pass，高度为每个顶点工厂类型，矩阵的每一个方格都对应了一组着色器组合(顶点着色器，像素着色器)，材质也不一定参与全部阶段，所以这个三维矩阵中是存在有很多空缺的
Uber Shader设计：Shader Permutation
编译与跨平台

1. 编译2. Shader跨平台
UE造了个轮子HLSLCC (HLSL Cross Compiler)
HLSLCC (以GLSL为例):

  • Preprocessing，预处理阶段。通过类似C风格的预处理器运行，在编译之前，UE使用MCPP进行预处理，因此跳过了这一步。
  • Parsing，语法分析阶段。通过Mesa的**_mesa_hlsl_parse**接口，HLSL将被分析成抽象语法树，Lexer（语法分析）和Parser分别由flex和bison生成。
  • Compilation，编译阶段。利用 _mesa_ast_to_hir，将AST（抽象语法树）编译为Mesa IR。在此阶段，编译器执行隐式转换、函数重载解析、生成内部函数的指令等功能，也将生成 GLSL 主入口点，会将输入及输出变量的全局声明添加到IR，同时计算HLSL入口点的输入，调用HLSL入口点，并将输出写入全局输出变量。
  • Optimization，优化阶段。主要通过do_optimization_pass对IR执行多遍优化，包括直接插入函数、消除无用代码、传播常量、消除公共的子表达式等等。
  • Uniform packing，全局变量打包。将全局统一变量打包成数组并保留映射信息，以便引擎可将参数与一致变量数组的相关部分绑定。
  • Final optimization，最终优化阶段。打包统一变量之后，将对IR运行第二遍优化，以简化打包统一变量时生成的代码。
  • Generate GLSL，生成GLSL。最后步骤，将已经优化的IR转换为GLSL源代码。除了生成所有构造及统一变量缓冲区的定义以及源代码本身以外，还会在文件开头的注释中写入一个映射表。
在UE4.25，Shader的跨平台示意图如下：



img

注：
Direct3D和OpenGL虽然在标准化设备坐标一致，但在UV空间的坐标是不一致的：

UE为了不让shader的开发人员察觉到这一差异，采用了翻转的图片，强制使得UV坐标用统一的范式：

这样做的后果就是OpenGL的纹理实际上是垂直翻转的（从RenderDoc截取的UE在OpenGL平台下的应用也可佐证），不过渲染后期可以再次翻转就行了。但是，UE采用颠倒（Upside down）的渲染方式，并且将颠倒的参数集成到投影矩阵：

因此，看起来标准化设备坐标和D3D下的纹理都是垂直翻转的。
调试

虚幻5渲染编程专栏概述及目录 - 知乎 (zhihu.com)
step1: 开启指令，方便RenderDoc调试
Engine\Config\ConsoleVariables.ini
命令行解析
r.ShaderDevelopmentMode=1获得关于着色器编译的详细日志和错误重试的机会。
r.DumpShaderDebugInfo=1将编译的所有着色器的文件保存到磁盘ProjectName/Saved/ShaderDebugInfo的目录。包含源文件、预处理后的版本、一个批处理文件（用于使用编译器等效的命令行选项来编译预处理版本）。
r.DumpShaderDebugShortNames=1保存的Shader路径将被精简。
r.Shaders.Optimize=0禁用着色器优化，使得shader的调试信息被保留。
r.Shaders.KeepDebugInfo=1保留调试信息，配合RenderDoc等截帧工具时特别有用。
r.Shaders.SkipCompression=1忽略shader压缩，可以节省调试shader的时间。
修改了某些Shader文件， 控制台输入RecompileShaders即可重新编译
Material

FMaterialRenderProxy负责接收游戏线程的数据，然后传递给渲染器去处理和渲染
FMaterial有3个功能：

  • 表示材质到材质的编译过程，并提供可扩展性钩子(CompileProperty等) 。
  • 将材质数据传递到渲染器，并使用函数访问材质属性。
  • 存储缓存的shader map，和其他来自编译的瞬态输出，这对异步着色器编译是必要的。
渲染

UE4渲染模块分析 - 简书 (jianshu.com)
类型解析
UPrimitiveComponent图元组件，是所有可渲染或拥有物理模拟的物体父类。是CPU层裁剪的最小粒度单位。
FPrimitiveSceneProxy图元场景代理，是UPrimitiveComponent在渲染器的代表，镜像了UPrimitiveComponent在渲染线程的状态。
FPrimitiveSceneInfo渲染器内部状态（描述了FRendererModule的实现），相当于融合了UPrimitiveComponent and FPrimitiveSceneProxy。只存在渲染器模块，所以引擎模块无法感知到它的存在。
FScene是UWorld在渲染模块的代表。只有加入到FScene的物体才会被渲染器感知到。渲染线程拥有FScene的所有状态（游戏线程不可直接修改）。
FSceneView描述了FScene内的单个视图（view），同个FScene允许有多个view，换言之，一个场景可以被多个view绘制，或者多个view同时被绘制。每一帧都会创建新的view实例。
FViewInfoview在渲染器的内部代表，只存在渲染器模块，引擎模块不可见。
FSceneRenderer每帧都会被创建，封装帧间临时数据。下派生FDeferredShadingSceneRenderer（延迟着色场景渲染器）和FMobileSceneRenderer（移动端场景渲染器），分别代表PC和移动端的默认渲染器。
FMeshBatchElement单个网格模型的数据，包含网格渲染中所需的部分数据，如顶点、索引、UniformBuffer及各种标识等。
FMeshBatch存着一组FMeshBatchElement的数据，这组FMeshBatchElement的数据拥有相同的材质和顶点缓冲。
FMeshDrawCommand完整地描述了一个Pass Draw Call的所有状态和数据，如shader绑定、顶点数据、索引数据、PSO缓存等。
FMeshPassProcessor网格渲染Pass处理器，负责将场景中感兴趣的网格对象执行处理，将其由FMeshBatch对象转成一个或多个FMeshDrawCommand。
渲染模块由如下几个部分组成:

  • 场景的描述
  • 场景遍历和拣选
  • 渲染的执行
1. 场景的描述

UE4场景管理相关的数据结构如下:

  • FScene 场景类
  • FPrimitiveSceneProxy 场景里的几何体类
  • FPrimitiveSceneInfo 场景里的结点(拥有几何体和状态信息)
每个几何体具有材质属性，相关的数据结构如下：

  • FMaterial 材质接口类，提供材质属性的查询(eg. blend mode)和shader查找。
  • FMaterialResoruce  UMaterial实现的具体的FMaterial
  • FMaterialRenderProxy 渲染线程用的Material对象，提供FMaterial的访问和材质参数的访问(eg. scaler, vector, texture parameter等参数)。
2. 场景的遍历和拣选

可见性判断
2.1 从FPrimitiveSceneProxy到FMeshBatch

基本概念：

  • UPrimitiveComponent是图元组件，是所有可渲染或拥有物理模拟的物体父类。是CPU层裁剪的最小粒度单位。
  • FPrimitiveSceneProxy是游戏线程UPrimitiveComponent在渲染线程的镜像数据
  • FMeshBatch包含了绘制Pass所需的所有信息，解耦了网格Pass和FPrimitiveSceneProxy（FMeshBatch作为中间层），所以FPrimitiveSceneProxy并不知道会被哪些Pass绘制
  • FMeshBatch存着一组FMeshBatchElement，这组FMeshBatchElement的数据拥有相同的材质和顶点缓冲
FMeshBatch记录了一组拥有相同材质和顶点工厂的FMeshBatchElement数据. 一个FMeshBatch拥有一组FMeshBatchElement、一个顶点工厂和一个材质实例，同一个FMeshBatch的所有FMeshBatchElement共享着相同的材质和顶点缓冲 （大部分情况一个FMeshBatch只有一个FMeshBatchElement）
FMeshElementCollector和FSceneRenderer是一一对应关系，每个FSceneRenderer拥有一个收集器。
2.2 从FMeshBatch到FMeshDrawCommand

【MeshPassProcessor.h】

  • 收集完动态的MeshElement，紧接着会调用SetupMeshPass来创建FMeshPassProcessor ， FMeshPassProcessor充当了将FMeshBatch转换成FMeshDrawCommands的角色。
  • FMeshBatch转换成FMeshDrawCommand后，每个Pass都对应了一个FMeshPassProcessor，每个FMeshPassProcessor保存了该Pass需要绘制的所有FMeshDrawCommand，以便渲染器在合适的时间触发并渲染。
FMeshPassProcessor的主要作用是：

  • Pass过滤。将该Pass无关的MeshBatch给过滤掉，比如深度Pass过滤掉透明物体。（ 不同的MeshPass处理FMeshBatch会有所不同 ）
  • 选择绘制命令所需的Shader及渲染状态（深度、模板、混合状态、光栅化状态等）。
  • 收集绘制命令涉及的Shader资源绑定。

    • Pass的Uniform Buffer，如ViewUniformBuffer、DepthPassUniformBuffer。
    • 顶点工厂绑定（顶点数据和索引）。
    • 材质绑定。
    • Pass的与绘制指令相关的绑定。



  • 收集Draw Call相关的参数。




img

最终，FMeshDrawCommand接入RHI层
2.3 静态与动态绘制路径





img

UE存在3种网格绘制路径（橙色为每帧动态生成，蓝色为只生成一次后缓存）

  • 第1种是动态绘制路径，从FPrimitiveSceneProxy到RHICommandList每帧都会动态创建，效率最低，但可控性最强
  • 第2种是需要View的静态路径，可以缓存FMeshBatch数据，效率中，可控性中
  • 第3种是不需要view的静态绘制路径，可以缓存FMeshBatch和FMeshDrawCommand，效率最高，但可控性差，需满足的条件多。
(1) 动态
通过GetDynamicMeshElements接口来收集FMeshBatch
3. 渲染的执行

1）多Pass绘制
Pass_0: PrePass/Depth Only Pass
Pass_1: BassPass
Pass_2: Issue Occlusion Queries / BeginOcclusionTests

  • 深度测试
Pass_3: ShadowMap

  • 每个光源渲染相应的Shadowmap
Pass_4: Lighting

  • 预处理组合型光照（SSAO）
  • 光照计算
Pass_5: Draw atmosphere

  • 对非透明表面绘制大气
Pass_6: Draw Fog

  • 对非透明表面逐像素计算Fog
Pass_7: Draw translucency
Pass_8: Post Processing
延迟渲染

简介


  • 1988年提出
  • 基于屏幕空间
1. Overview：
两个Pass

  • Geometry Pass (UE称为Base Pass)：生成 GBuffer

    • 所有的不透明物体（Opaque）和Masked物体 使用Unlit材质进行渲染
    • 将几何信息写入RT中

      • Depth
      • Normal
      • 材质参数（Diffuse Color, Emissive Color, Roughness, , Shading Model, AO, ......）





  • Lighting Pass：使用 GBuffer
Coding in Unreal Engine:
void RenderBasePass()
{
    SetupGBuffer(); // 设置几何数据缓冲区。
   
    // 遍历场景的非半透明物体
    for each(Object in OpaqueAndMaskedObjectsInScene)
    {
        SetUnlitMaterial(Object);    // 设置无光照的材质
        DrawObjectToGBuffer(Object); // 渲染Object的几何信息到GBuffer，通常在GPU光栅化中完成。
    }
}

void RenderLightingPass()
{
    BindGBuffer(); // 绑定几何数据缓冲区。
    SetupRenderTarget(); // 设置渲染纹理。
   
    // 遍历RT所有的像素
    for each(pixel in RenderTargetPixels)
    {
        // 获取GBuffer数据。
        pixelData = GetPixelDataFromGBuffer(pixel.uv);
        // 清空累计颜色
        color = 0;   
        // 遍历所有灯光，将每个灯光的光照计算结果累加到颜色中。
        for each(light in Lights)
        {
            color += CalculateLightColor(light, pixelData);
        }
        // 写入颜色到RT。
        WriteColorToRenderTarget(color);
    }
}
2. 优劣：
优

  • 复杂度 O(N_{light}\times W_{RT}\times H_{RT}) ，跟场景的物体数量解耦，只跟Render Targe尺寸相关
  • 避免了很多本被遮挡的物体光照计算
劣

  • 多一个通道来绘制几何信息，需要多渲染纹理（MRT）的支持，更多的CPU和GPU显存占用，更高的带宽要求
  • 有限的材质呈现类型
  • 难以使用MSAA等硬件抗锯齿，存在画面较糊的情况等等
  • 应对简单场景时，可能反而得不到渲染性能方面的提升
Unreal Engine Implementation

graph BT
        FMobileSceneRenderer-->FSceneRenderer
        FDeferredShadingSceneRenderer-->FSceneRenderer

  • FMobileSceneRenderer是用于移动平台的场景渲染器，默认采用了前向渲染的流程。
  • FDeferredShadingSceneRenderer虽然名字叫做延迟着色场景渲染器，但其实集成了包含前向渲染和延迟渲染的两种渲染路径，是PC和主机平台的默认场景渲染器。
1. FSceneRenderer创建
FSceneRenderer

  • 处理和渲染场景，生成RHI层的渲染指令
  • 由游戏线程的 FRendererModule::BeginRenderingViewFamily负责创建和初始化，然后传递给渲染线程。
  • 渲染线程会调用FSceneRenderer::Render()，渲染完返回后，会删除FSceneRenderer的实例。也就是说，FSceneRenderer会被每帧创建和销毁。
class UGameEngine : public UEngine
UGameEngine::Tick()

  • called  UGameEngine::RedrawViewports()

    • called UGameViewportClient::Draw()

      • called FRendererModule::BeginRenderingViewFamily()




FRendererModule::BeginRenderingViewFamily(..., FSceneViewFamily* ViewFamily)
{
FScene* const Scene = ViewFamily->Scene->GetRenderScene();
FSceneRenderer* SceneRenderer = FSceneRenderer::CreateSceneRenderer(ViewFamily, ...);
}
创建FSceneRenderer之后发送指令给渲染线程

  • 调用FSceneRenderer->Render(RHICmdList);
  • 等待SceneRenderer的任务完成然后清理并删除实例
2. FDeferredShadingSceneRenderer
In deferred shader, the SSAO uses the GBuffer and must be executed after base pass. Otherwise, async compute runs the shader in RenderHzb()
3. PrePass
浅谈HiZ-buffer - DeepDream
PrePass又被称为提前深度Pass、Depth Only Pass、Early-Z Pass，用来渲染不透明物体的深度。
此Pass只会写入深度而不会写入颜色，写入深度时有disabled、occlusion only、complete depths三种模式，视不同的平台和Feature Level决定。
通常用来建立Hierarchical-Z，以便能够开启硬件的Early-Z技术，还可被用于遮挡剔除，提升Base Pass的渲染效率
绘制深度时，由于不需要写入颜色，那么渲染物体时使用的材质肯定不应该是物体本身的材质，而是某种简单的材质 UMaterial::GetDefaultMaterial(MD_Surface)( 在engine.ini配置文件中指定 )
ResolvedPath = L"/Engine/EngineMaterials/WorldGridMaterial.WorldGridMaterial"
非常值得一提的是：WorldGridMaterial使用的Shading Model是Default Lit，材质中也存在冗余的节点。如果想要做极致的优化，建议在配置文件中更改此材质，删除冗余的材质节点，改成Unlit模式更佳，以最大化地缩减shader指令，提升渲染效率。
4. BasePass

  • 用来渲染不透明物体的几何信息，包含法线、深度、颜色、AO、粗糙度、金属度等等，这些几何信息会写入若干张GBuffer中
  • Base Pass正常情况下使用的是FMeshBatch收集到的材质，也就是网格自身的材质，唯一不同的是shader中不会启用光照计算，类似于Unlit模式。
  • 遍历所有view, 每个view渲染一次Base Pass.
OverView : O(n^3)
foreach(dscene in scenes)
{
    foreach(view in views)
    {
        foreach(mesh in meshes)
        {
            DrawMesh(...) // 每次调用渲染就执行一次BasePassVertexShader和BasePassPixelShader的代码.
        }
    }
}
RenderBasePass

  • RenderBasePassInternal

    • SetupBasePassState: 初始化BassPass所用的渲染状态(渲染设置)


执行Shader
BasePass绘制时使用的VS和PS分别是TBasePassVS和TBasePassPS （BasePassRendering.h）
template <typename LightMapPolicyType>
void GetBasePassShaders(const FMaterial& Material, ...)
{
    (......)

    VertexShader = Material.GetShader<TBasePassVS<LightMapPolicyType, false> >(VertexFactoryType);
    PixelShader = Material.GetShader<TBasePassPS<LightMapPolicyType, false> >(VertexFactoryType);
   
    (......)
}

  • TBasePassVS和TBasePassPS 提供了获取Shader绑定、更改编译环境和只编译指定的排列组合shader等接口，此外还拥有反射球、光照图类型等属性
执行Shader文件：BasePassVertexShader.usf ，BasePassPixelShader.usf
BasePassPixelShader的主要步骤：

  • 初始化ResolvedView、GBuffer等数据。
  • GetMaterialPixelParameters：获取材质的参数，从材质编辑器编辑的材质节点和插值数据而来。详细数据由FMaterialPixelParameters定义
// Engine\Shaders\Private\MaterialTemplate.ush
struct FMaterialPixelParameters{}

  • CalcMaterialParametersEx：根据FMaterialPixelParameters计算额外的材质参数。
  • 根据FMaterialPixelParameters的数据和从顶点插值而来的数据计算GBuffer数据。
  • 计算次表面散射、贴花、体积光照图等数据。
  • SetGBufferForShadingModel：设置前面步骤收集到的参数到GBuffer。
  • 计算或处理速度缓冲、高光颜色、漫反射颜色、环境法线、AO，叠加次表面散射颜色到漫反射中。
  • 处理预计算的非直接光照和天空光、非直接AO，计算最终的漫反射项。
  • 处理前向渲染光照或平行光，处理透明物体光照。
  • 计算雾效果，包含高度雾、指数雾、体积雾、逐像素雾、云体雾，以及天空大气效果。
  • 处理自发光。
  • EncodeGBuffer：将GBuffer基础数据编码到MRT中。
  • 将GBuffer的非基础数据写入到后面几个RT，如速度缓冲、逐物体阴影等。
  • 处理预曝光。
即：
5. LightingPass
负责间接阴影、AO、透明体积光照、光源计算、LPV、天空光、SSS等
FDeferredShadingSceneRenderer::RenderLights
graph TB
        FinalColor-->LightAccumnulator;
        FinalColor-->View.PreExposure;
        LightAccumnulator-->Color;
        Color-->Fogging.a;
        Color-->+;
        +-->Fogging.rgb;
        +-->DiffuseColor;
        +-->Emissive;
        DiffuseColor-->AOMultiBounce;
        AOMultiBounce-->GBuffer.BaseColor;
        AOMultiBounce-->DiffOcclusion;
        DiffuseColor-->\(+);
        \(+)-->*;
        *-->DiffuseIndirectLighting;
        *-->GBuffer.DiffuseColor;
        \(+)-->**;
        **-->SubsurfaceIndirectLighting;
        **-->SubsurfaceColor;
RHI

RDG

RDG的理念不在GPU上立即执行Pass，而是先收集所有需要渲染的Pass，然后按照依赖的顺序对图表进行编译和执行，期间会执行各类裁剪和优化。（Pass的管理者）
UE5


  • 增加实例化裁剪模块：InstanceCulling、InstanceCullingManager等，包含FInstanceCullingRdgParams、EInstanceCullingMode、FInstanceCullingContext、FInstanceCullingManager等类型，主要用于Nanite技术。
  • 虚拟纹理增加或完善了数据读写和FVirtualTextureFeedbackBuffer、RenderPages、RenderPagesStandAlone等接口。
  • 全局距离场数据（FGlobalDistanceFieldParameterData）增加了Mipmap和VT数据和接口。
  • HairStrand增加EHairBindingType、EHairInterpolationType、FHairStrandsInstance等类型。
  • 增加或完善FVertexFactoryShaderPermutationParameters的类型。
  • MeshPassProcessor：

    • EMeshPass增加VSMShadowDepth、LumenCardCapture、EditorLevelInstance等专用通道。
    • 增加EFVisibleMeshDrawCommandFlags、FCompareFMeshDrawCommands、FMeshPassProcessorRenderState等类型。
    • 增加FSimpleMeshDrawCommandPass类型，用于处理不需要并行处理绘制命令的地方，减少开销。
    • FVisibleMeshDrawCommand增加EFVisibleMeshDrawCommandFlags以及用于GPUCull的FMeshDrawCommandSortKey、InRunArray等。



  • FDynamicPassMeshDrawListContext的FinalizeCommand阶段增加了NewVisibleMeshDrawCommand.Setup阶段。
  • 摒弃SetInstancedViewUniformBuffer、SetPassUniformBuffer、GetInstancedViewUniformBuffer等UniformBuffer接口。
  • 新增Nanite模块：

    • 新增NaniteRender：FNaniteCommandInfo、ENaniteMeshPass、FNaniteDrawListContext、FCullingContext、FRasterContext、FRasterResults、FNaniteShader、FNaniteMaterialVS、FNaniteMeshProcessor、FNaniteMaterialTables、ERasterTechnique、ERasterScheduling、EOutputBufferMode、FPackedView等等类型及处理接口。
    • FPrimitiveFlagsCompact增加bIsNaniteMesh标记。
    • FPrimitiveSceneInfo增加NaniteCommandInfos、NaniteMaterialIds、LumenPrimitiveIndex以及CachedRayTracingMeshCommandsHashPerLOD、bRegisteredWithVelocityData、InstanceDataOffset、NumInstanceDataEntries实例化和光追相关的等数据和处理接口。



  • 新增Lumen模块：

    • 涉及的模块非常多，总结起来有DiffuseIndirect、Scene、HardwareRayTracing、Mesh、Probe、Radiance、Radiosity、TranslucencyVolume、Voxel以及数据结构、工具箱等。



  • 替换传统Shader绑定接口到RDG，如SHADER_PARAMETER_TEXTURE改成SHADER_PARAMETER_RDG_TEXTURE。
  • 增加或完善RuntimeVirtualTextureProducer、FSceneTextureExtracts、EMobileSceneTextureSetupMode、Strata地层。
  • 增强后处理效果，如增加了Temporal Super Resolution（TSR）。
  • 增强了光照追踪模块，如RTGI、RTAO、RTR、RTShadow、RTSkyLight等。
  • DeferredShadingRenderer：

    • 增加Lumen、IndirectLightRender、SSRT、TranslucencyLightingVolume等相关的模块、类型和步骤。
    • 增加FLumenCardRenderer、TPipelineState、EDiffuseIndirectMethod、EAmbientOcclusionMethod、EReflectionsMethod、FPerViewPipelineState、FFamilyPipelineState等类型。



  • 增加或增强了BasePass、DepthPass、SDF、GPUScene、GlobalDistanceField、BVH、GenerateConservativeDepthBuffer、LightRendering、InrectLightRendering、MeshDrawCommands、Shader、ScreenSpace、Shadow、MobileRender等等渲染模块。
从UE4.26到5.0EA，重要和基础的渲染模块都做了大大小小的修改。
Appendix

Compute Shader

Compute Shader : Optimize your game using compute - 知乎
为了执行通用计算，NV推出了CUDA，Khronos推出了OpenCL，Microsoft推出了DirectCompute，也就是后来的Compute Shader，然后，各种图形API也相继推出了CS
        DX虽然从10开始支持Compute Shader/Direct Compute，但是限制比较大。DX11的Compute Shader拥有更强大的功能（当然肯定还有DX12）[6]。所以我们一般在Unity中使用CS，还是要求shader target4.5（也就是shader model 5）

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

×
回复

使用道具 举报

返回列表 发新帖
懒得打字嘛，点击右侧快捷回复 【右侧内容，后台自定义】
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Unity开发者联盟 ( 粤ICP备20003399号 )

GMT+8, 2024-12-23 03:20 , Processed in 0.152235 second(s), 26 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表