图形渲染管线 (chapter 2 graphics rendering pipeline)

在深入探讨渲染管线时我们先要对渲染管线有一个大概的认识。渲染管线的主要功能是决定在给定虚拟相机、三维物体、光源、照明模式，以及纹理等诸多条件的情况下，生成或绘制一幅二维图像的过程。对于实时渲染来说，渲染管线就是基础。因此，我们可以说，渲染管线是实时渲染的底层工具。

在物理世界中，管线的概念有许多不同的形式表现出来，广义上来说工厂装配线到快餐厨房，又或者是图形渲染都试用管线的概念。

理想情况下，一个非流水线系统然后被分成 n 个步骤并按照流水线模式执行可以提供 n 倍的加速。渲染管线正如其名他的的执行过程是线性进行，每一个阶段的输入都依赖于上的输出。

渲染管线的基本构建，由四个阶段组成：应用阶段，几何阶段、光栅化阶段和像素处理阶段。 这些阶段中的每一个阶段都可以是一个流水线本身，如几何阶段下面的小插图所示，或者一个阶段可以（部分）并行化，在像素处理阶段下方。 在此图中，应用程序阶段是单个进程，但是这个阶段也可以流水线化或并行化。

渲染速度可以用每秒帧数 (FPS) 来表示，即每秒渲染的图像数。 也可以用赫兹（Hz）来表示，这只是 1/秒的表示法，即更新频率。 也是通常只说明渲染图像所需的时间，以毫秒 (ms) 为单位。生成图像的时间通常会有所不同，具体取决于图像的复杂程度在每一帧期间执行的计算。 每秒帧数用来表示特定帧的速率，或一段时间内的平均性能使用。 赫兹用于设置为固定速率的硬件，例如显示器。

顾名思义，应用程序阶段由应用程序驱动，因此通常在运行于cpu 上的软件中实现。由于cpu多核架构，使 cpu 能够有效地运行应用程序阶段所负责的各种各样的任务。传统上在 CPU 上执行的一些任务包括碰撞侦测、全局加速算法、动画、物理模拟等等， 这取决于应用程序的类型。

下一个主要阶段是几何处理阶段，变换、投影和所有其他类型的几何处理。这个阶段计算要绘制什么，应该如何绘制，以及应该在哪里绘制。几何级通常在一个包含许多可编程内核和固定操作硬件的图形处理器处理器(GPU)上执行。

光栅化阶段通常将三个顶点作为输入，形成一个三角形，并找到三角形内的所有像素，然后将这些像素转发到下一个阶段。

最后，像素处理阶段按每个像素执行程序以确定其颜色，并可执行深度测试以查看其是否可见。它还可以执行逐像素操作，例如将新计算的颜色与以前的颜色混合。光栅化和像素处理阶段也完全在 GPU 上处理。

所有这些阶段及其内部管道将在接下来的四个部分中讨论。图形处理器如何处理这些阶段的更多细节在。

顶点着色有两个主要任务，即计算顶点位置并评估编程人员可能希望作为顶点输出的数据内容，例如法线坐标和纹理坐标。（局部光照模型）传统上大部分的阴影通过将灯光与每个顶点的位置和顶点法线来计算。仅在顶点存储结果颜色。 然后对三个顶点所形成的三角形内部进行插值。出于这个原因，这个可编程的顶点处理单元是命名顶点着色器。

随着现代 GPU 的出现，以及一些或者全部像素发生的所有着色，程序员将决定这个阶段是否完成着色，又或者是放到片元着色器中。顶点着色器现在是一个更通用的单元，专门用于设置数据与每个顶点的联系。 例如，顶点着色器可以为一个对象设置动画（顶点动画使用第 4.4 和 4.5 节中的方法）。

在模型到达屏幕的过程中，模型被转换成几个不同的空间或坐标系。最初，模型驻留在它自己的模型空间中，这仅仅意味着它根本没有被转换。每个模型都可以与一个model transform相关联，这样它就可以被定位和定向。可以将多个模型转换与单个模型关联起来。这允许同一模型的多个副本(称为实例)在同一场景中具有不同的位置、方向和大小，而不需要复制基本的几何图形。

通过模型变换转换的是模型的顶点和法线。一个物体的坐标称为模型坐标， 在将模型变换应用于这些坐标之后，模型被称为位于世界坐标或世界空间中。 世界空间是独一无二的，在模型经过各自的模型变换后，所有的模型都存在于同一空间中。

如前所述，只有相机（或观察者）看到的模型是呈现并最终渲染在屏幕上。相机在世界空间中有一个位置和一个方向，用于放置并瞄准相机。为了便于投影和剪辑，相机和所有模型通过视图变换进行变换。视图转换（2.4图中的view transform）的目的就是把相机放在原点对准它，让它看向目标的方向负 z 轴，y 轴指向上方，x 轴指向右侧。我们使用 -z 轴约定；有些文本更喜欢向下看 +z 轴。这差异主要是语义上的，因为两者之间的转换很简单。这应用视图变换后的实际位置和方向是相关的,在底层应用程序编程接口 (API) 上。如此划定的空间称为相机空间，或更常见的是，视图空间或眼睛空间。一个例子视图变换影响相机和模型的方式显示在图 2.4。模型变换和视图变换都可以实现为4×4 矩阵，这是第 4 章的主题。然而，重要的是要认识到程序员可以用任何方式计算顶点的位置和法线.

第一个任选阶段是曲面细分。想象你有一个球对象。无论您使用多少三角形来表示它，都会遇到质量或性能方面的问题。你的球在 5 米远的地方看起来可能很好看，但是靠近一些单独的三角形，特是沿着轮廓，就可以明显的看到菱角。如果你使用更多的三角形来提高画面质量，你可能会浪费大量的处理时间和内存，因为球离得很远，而且只覆盖了屏幕上的几个像素。通过曲面细分，一个曲面可以生成适当数量的三角形。

我们已经谈了一些关于三角形的内容，但到目前为止，我们只是处理了顶点。顶点可以用来表示点、线、三角形或其他对象。 顶点可用于描述曲面，例如球。这样的曲面可以通过一组patches来指定，每个patches由一组顶点组成。曲面细分阶段由一系列阶段组成，包括hull shader、tessellator和domain shader，这些阶段通常会将这些顶点集转换成更大的顶点集，然后用这些顶点集生成新的三角形集。场景的摄像头可以用来确定生成了多少个三角形:patch关闭时生成了很多个三角形（不理解），远离时生成了很少的三角形。

每个火球都可以用一个点来表示，一个顶点。几何着色器可以将每个点转换成一个正方形（由两个三角形组成），面向查看者并覆盖几个像素 所以为我们提供了一个更有说服力的原始阴影。

下一个可选阶段是几何着色器。该着色器早于曲面细分着色器出现，因此在 GPU 上更常见。它就像曲面细分着色器一样可以接受各种类型的图元并可以产生新的顶点。这是一个简单得多的阶段，因为这个创建的范围非常有限，而且输出原语的类型也非常有限。几何着色器有几种用途，其中最流行的是粒子生成，模拟一场烟花爆炸。每个火球都可以用一个点，一个顶点来表示。几何着色器可以将每个点变成一个正方形（由两个三角形组成），面向观察者并覆盖多个像素，从而为我们提供更有说服力的图元进行着色。

最后一个可选的阶段被称为流输出。这个阶段让我们使用GPU作为一个几何引擎。而不是将我们处理过的顶点发送到管道的其余部分，以呈现到scr 甚至，在这一点上，我们可以选择性地输出这些到一个数组，以进行进一步的处理。这些数据可以被CPU或GPU本身在稍后过程中使用。这个阶段通常用于粒子模拟，比如我们的烟花的例子。这三个阶段按照这个顺序执行：tessellation, geometry shading,and stream output，每个阶段都是可选的。如果我们继续沿着管道前进，我们将有一组具有齐次坐标的顶点，我们将检查摄像机是否查看它们。

只有全部或部分在视锥体内的物体的图元数据需要传递到光栅化阶段(以及后续的像素 处理阶段)，然后在屏幕上绘制它们。完全位于视锥体中的图元数据将按原样传递到下一个阶段。因为完全在视锥体之外的物体不会呈现。所提它们的图元数据不会进一步传递，需要裁剪的是部分位于视锥体内的图元。例如，有一个顶点在外面，一 个在视图体积内的直线应该根据视图体积来裁剪，这样外面的顶点就会被位 于直线和视图体积之间的交点上的新顶点所替换。使用投影矩阵意味着将变 换后的primitives裁剪到单位立方体上。在裁剪之前执行视图转换和投影的优点是 它使裁剪问题保持一致;总是将图元裁剪到单位立方体上。

只有视锥体积中的图元数据才被传递到屏幕映射阶段，（换句话说就是只有在）进入这个阶段时坐标仍然是三维的（在数据表示中其实是四维的齐次坐标）。每个基元的 x 坐标和 y 坐标被转换为屏幕坐标。屏幕坐标和 z 坐标也称为窗口坐标。假设场景应该呈现在一个窗口中，最小角位于 (x1，y1)，最大角位于(x2，y2)，其中 x1 < x2 和 y1 < y2。然后，屏幕映射是一个平移，接着是一个缩放操作。新的 x 坐标和 y 坐标称为屏幕坐标。Z-coordinate([-1，+1]forOpenGLand [0,1]forDirectX)也映射到[z1，z2]。这步构造的坐标也就是NDC，这些都可以通过 API 进行修改。窗口坐标和重新绘制 的 z 值一起传递到光栅化阶段。屏幕映射过程见下图。

我们将描述整数和浮点值与像素(和纹理坐标)之间的关系。给定一个像素水平排列使用笛卡尔坐标表示，最左边缘的像素在浮点坐标中为 0.0。 Opengl 一直使用这种方案（而directx虽然最左边缘的像素在浮点坐标中为 0.0，但与opengl有略微不同）。这个像素的中心位于 0.5。因此，一个像素范围[0,9]覆盖了从[0.0,10.0]的范围。这个转换过程 很简单

虽然所有 api 都有从左向右增加的像素位置值，但是在某些情况下， OpenGL 和 DirectX 之间的顶部和底部边缘的零位置是不一致的。OpenGL支持笛卡尔坐标系统，将左下角视为最低值元素，而 DirectX 将左上角定义为最低值元素。每个问题都有其逻辑性，不同的问题没有正确的答案。 例如，(0,0)在 OpenGL 中位于图像的左下角，而在 DirectX 中位于左上角。在 从一个 API 转移到另一个 API 时，必须考虑到这种差异。

在此阶段使用插值的着色数据作为输入，执行逐像素的着色。将检查三角形覆盖其中心(或样本)的每个像素，最终的结果是一个或多个颜色被传递到下一个阶段。不像三角形设置和遍历阶段，通常是硬件执行（不可编程），像素着色阶段是执行可编程的 GPU 核心。为此，程序员为像素着色器(在 OpenGL 中称为fragment shader)提供一个程序，它可以包含任何想要的计算。这里可以采用各种各样的技术，其中最重要的是纹理技术。纹理是在更详细的处理在Chapter 6。 图像可以是一维、二维或三维的，最常见的是二维图像。最简单地说，最终结果是每个片段的颜色值，这些颜色值被传递到下一个子阶段。

每个像素的信息存储在颜色缓冲区中，该缓冲区是一个颜色矩形数组(对于每种颜色，一个红色值、一个绿色值和一个蓝色值)。合并阶段的职责是将由像素着色阶段产生的片段颜色与当前存储在缓冲区中的颜色结合起来。这个阶段也称为 ROP，代表“光栅操作(管道)”或“渲染输出单元”，这取决于您询问的对象。与shading阶段不同，执行这一阶段的 GPU 子单元通常不是完全可编程的。但是，它是高度可配置的，能够实现各种效果。

这个阶段还负责解决可见性问题。这意味着，当整个场景已经被渲染时，颜色缓冲区应该包含从照相机的角度来看场景中全部可见的图元数据，这是可行的。对于大多数甚至所有的图形硬件，这是通过z缓冲区（也称为深度缓冲区）算法来完成的。详细的z-buffer算法我就不再赘述了（可以参考games101中的知识）。

我们已经提到过，颜色缓冲区用于存储颜色，而深度缓冲区存储每个像素的 z 值。但是，还可以使用其他通道和缓冲区来过滤和捕获片段信息。Alpha 通道与颜色缓冲区相关联，并为每个像素存储相关的不透明度值。在旧的 api 中，alpha 通道也被用来通过 alpha 测试特性有选择地丢弃像素。现在，丢弃操作可以插入到像素着色程序中，任何类型的计算都可以用来触发丢弃。这 种类型的测试可以用来确保完全透明的片段不会影响 z 缓冲区。

模板缓冲区是一个离屏缓冲区，用于记录呈现primitives的位置。它通常每像素 包含 8 位。可以使用各种函数将primitives呈现到模板缓冲区中，然后可以使用缓冲区的内容控制渲染到颜色缓冲区和 z 缓冲区。例如，假设一个已填充的圆已经被绘制 到模具缓冲区中。这可以与一个操作符相结合，该操作符只允许将后续的primitives呈现到存在圆的颜色缓冲区中。模具缓冲区可以是一个强大的工具，生成 一些特殊的效果。管道末端的所有这些功能称为光栅操作(ROP)或混合操作。 可以将当前在颜色缓冲区中的颜色与正在三角形中处理的像素的颜色混合。 这可以使效果，如透明度或积累的颜色样本。如前所述，混合通常可以使用 API 进行配置，但不能完全编程。然而，有些 api 支持光栅顺序视图，也称为像素着色器顺序，它支持可编程混合功能

framebuffer通常由系统上的所有缓冲区组成。

当图元数据已经达到并通过光栅化阶段，那么他会直接被呈现在屏幕上吗？不会，如果直接呈现会有画面的撕裂感。为了避免让像素出现单个单个变化，通常会将一张画面的全部像素都渲染完成后再发送给屏幕。这个过程使用了双缓冲区（我不知道这个词翻译的对不对）（double buffer）。这意味着场景的渲染是在屏幕之外的back buffer中进行的。一旦场景在back buffer中渲染完毕，back buffer的内容就会与之前显示在屏幕上的front buffer的内容进行交换。交换通常发 生在vertical retrace期间,这个时间段是安全的。

本文使用 Zhihu On VSCode 创作并发布