非真实感渲染: 从哪里来, 到何处去?
引言这篇文章里, 我想理一下NPR R&D的历史脉络与症结, 顺便谈谈自己的一点点看法.
做了这么久的NPR研究, 相关的论文我也读了很多; 可以毫不夸张地说, 这个日渐无人问津, 并已经被水文灌满的领域, 它各个方面的重要文献, 我都至少有些印象了.
现在国内借着二次元风手游的兴盛, 国外则借着Blender的发展, 这方面的知识似乎开始从几丈草高的坟头下面慢慢挣扎着爬起来了. 一些美术, 程序或者TA也开始系统的探索这方面的知识; 但是学术界似乎还在自顾自的, 做一些不那么有意义的事情.
在NPR领域, 学术界与工业界(游戏影视)实际应用是严重脱节的. 业界那几个有名的例子(Guilty Gears, Zelda, etc)读者应该都比较熟悉了, 这里我着重谈谈NPR在学术界的情况, 最后也做一点前沿的技术展望.
客从何处来
NPR与和PBR(物理真实渲染)历史几乎同样长; 从上世纪8, 90年代始, 便陆陆续续有许多NPR的研究问世; 在2000到2010年期间是非真实感渲染相关研究与开发的活跃时期, 其间有许多优秀经典的论文; 利用这些研究和技术开发的游戏"大神", 其视觉效果放到现在也是很亮眼的.
当时的那些成果如同上古的宝贵遗物, 现在仍在被大量使用着. 比如, 现在常用的法线/深度描边, 或是法线外扩, 就是早在2000年前后就已经在两篇论文里被分别提出了. 而现在市场上标杆级别的离线自动描边系统"FreeStyle"也已经是十多年前的产物; 像Pencil+这类的插件因为不开源, 所以具体技术我也不好说, 但是从效果来看, 也可以推断出来是十多年前就有的技术了; Toon-Shading的基本框架亦然... ... 其余的我就不再累述.
现在游戏业界用到的描边技术, 都包在这边文章里了, 猜猜是什么年份发表的? 2003!
可是在2010之后, 比较有价值的NPR研究就基本没有了, 这是为什么呢? 下面我就来聊聊这个问题.
日落西山
从2000年的兴盛到现在的无人问津, NPR似乎已经是计算机图形学中的一枚弃子; 尤其在2008年开始, 各种GPU驱动加速PBR的结构和框架(如, KD-Tree, LBVH-Tree)开始狂飙突进, 使得本来就占优势的PBR占据了所有地盘. 现在图形学凡说到渲染, 基本已经默认是PBR; 相比之下, NPR十几年前的兴盛, 和现在的一地鸡毛相比, 令人唏嘘.
那么, NPR R&D的难点在哪里, 它的发展到底出了什么问题? 我相信不同的人肯定有不同的见解, 国内外那些科研大佬, 和业界的前辈们肯定有比我这个学生更深刻的了解; 我拜读了祖师爷Hertzmann和其他几位大佬最近写的几篇相关评论文章. 最后总结和发展了一下, 与大家分享:
蜀道难
技术
从技术的角度, NPR的难度是显而易见的; GPU的图形管线和现在的3D美术工作流程, 很明显就是为了PBR而量身打造, 而NPR只有用各种Trick来勉强应付, 而且费心费力. 不那么重要的地方可以直接用PBR敷衍了事.
理论
从理论的角度来看, PBR可以用物理光学和微分几何为理论基础; 而不管是渲染的光影规律, 还是模型的形变和透视模型, NPR只能用美学的一些经验原则来做各种实验, 最后挑出好的方案, 再总结成系统的理论框架.
两个问题再加上理工研究者的思维范式, 就造成了NPR现在的惨状. 作为研究者, 我们往往希望有个算法, 有个评分标准, 然后有个测试集, 然后就解决一切问题了; 然而事实上, 即使像Houdini, Substance Designer这样的参数化设计软件, 也高度依赖创作者的经验和审美能力;
所以, 我认为症结在于,
研究者过于自大地, 希望用计算机, 完全自动生成风格化的内容, 而忽视了艺术家的参与和反馈.
无论是多么海量的数据驱动, 还是精密复杂的算法设计, 这样的想法都注定是行不通的.
而之前的年月里, 这个领域的研究者似乎很多都在圈地自萌, 很大程度上忽略了实际的情况---离开了创作者, 就没有所谓的"Stylization"和"Non-Photorealistic". 更糟糕的是, 他们往往为了算法的精确不惜一切性能上的开销, 这就更加导致这些"漂亮"的成果变成实验室里面的玩具了. 真可谓是, "尔来四万八千岁，不与秦塞通人烟".
NPR的理论和技术, 需要调整思路, 做一些开创性的东西, 否则待到这阵风刮完, 也许就又得爬回坟墓躺尸了.
路在何方
这些问题有解吗? 我这种菜鸟说老实话, 不知道; 下面也仅是我的一点拙见.
以Blender目前的发展情况为例, 下图展示了Blender在NPR领域深耕多年到现在积攒出来的强大实力 (全3D场景, 使用了Grease Pencil, Free Style和自定义的Toon Shader):
Pomidori工作室的作品
别的不说, 单从中挑出最近很火的, Blender的王牌插件 Grease Pencil:
在Grease Pencil的论文刚发表出来时, 它还只是一个用于做给动画师做故事板的小工具, 可是随着开发者和艺术家们的共同努力, 这个插件现在已经迭代成为一个极其强大的2D-3D绘画插件.现在的Grease Pencil可以让美术师直接在3D模型上绘制任意笔刷风格的线条, 这让那些"自动提取内描边"(Crease, Ridge, Valley)的水逼论文瞬间失去了意义 --- 为啥要自动提取内描边? 直接画上去岂不更好? Blender社区良好的反馈沟通环境, 也为工具的不断升级改善提供了肥沃的土壤, 这一点也值得借鉴.
因此, 我认为Grease Pencil一定程度上代表了NPR的正确发展方向: 给艺术家做工具, 而不是做工具来替代艺术家. 该做的做, 别瞎折腾一些没有意义的功能. (当然, 如果只是要水论文, 那请便, 研究生混个毕业也不容易hhh.) 但是我希望这方面有能力和兴趣的同学呢, 不要被一些论文给带弯路了.
上面讲了思路方面, 接下来聊聊我对理论 & 技术方面的看法;
理论上来说, 我个人觉得最基本的有下面几点值得讨论一哈
NPR缺乏属于自己的一系列光照模型, 谈到Toon Shader, 我觉得其实是个残次品, 不得不承认, 我们需要大量的trick和调试来达到勉强的效果. 搞到最后, 那些"Trick"倒是变成了一套奇奇怪怪的"人肉光照模型", 就像当年Vray里面玄学调参一样. 其次, NPR缺少自己的相机模型, 与这相关的论文我只看到过一两篇, 几乎没什么实际中应用; 然后, 虽然目前描边的技术已经比较成熟, 但是在实时渲染中使用的技术仍然也只称为是Trick, 而那些比较先进而系统的技术要么就是太耗性能, 太奇形怪状, 就是零零散散, 没有一个集大成者. 最后, 关于特效, 动画这些, 想要有系统的框架, 就更是痴心妄想了(虽然也零星有人在做)...
就技术而言, 目前GPU技术的发展趋势对NPR是有一定帮助的, GPGPU的领域越来越广; 可能过几年, 手机上也能比较广泛的使用Compute技术了. 通过高性能, 高度特化的软光栅器, 也许可以实现高效的风格化渲染管线, 而这也是我现在在做的事情. 如果能达到像最近Unreal5演示中的Nanite系统那样, 也许能离实现真正"画一样"渲染效果的目标更进一步了.
锦城虽云乐, 不如早还家
自己的研究项目也已经做了大半, 也取得了一些技术上的突破, 但是实感心累. 也许干完这一票, 我就要转真实感渲染, 或者更接近TA的方向了, 毕竟家里没矿, 将来毕业出来, 还是要找工作混口饭吃的嘛. 看现在国内局势的发展方向, 说不定将来还得转行去干热门的芯片或者军工...
但是转念一想, 在PBR已经到瓶颈的今后, 也许NPR是渲染领域一个有趣的突破口呢? 如果我的想法能给相关的爱好者&研究者带来一点帮助, 也是值得. 故还是花了些时间, 将自己的一些想法或是牢骚, 写在此处, 或可供诸君一哂罢!
(希望大家持续关注这个专栏, 之后我会陆续把整理的论文集发上来...)
计算机图形学中的描边算法 持续关注npr，欢迎继续分享
[干杯] 想纠正一点，blender的grease pencil并不是插件，而是已经集进本体去的功能哦 谢谢大佬总结，已关注~。
我也是个想搞npr的大学生。拿到了推免的资格，准备博士期间好好搞搞这个。
之前我也阅读了很多npr的文章，我的一个看法是npr做不下去，还是源于美术与技术的脱节。
现在天天泡在画室，尝试去理解画画的思路，美术生的想法，不知道能不能对以后的研究起到帮助。 NPR搞不下去的原因是，算法就到头了，毕竟依靠归纳的启发式算法，是很难覆盖人类绘画的风格范围的。一些文章甚至还为水而水，完全忽略非真实渲染里的绘画出发的因素，的确不好。比如，拿所谓物理的BRDF去套就是很无理的搞法，实际上不如怎么好看怎么像来套，毕竟NPR的light transport就是更人性的，为好看服务的。有时候胡搞瞎搞一通，不如画贴图。不过，最近NPR是又有机会了，毕竟数据驱动的时代重新来临，而解决人的东西，靠数据堆是最方便的了。 卡通渲染的技术关键在于对人视觉机制的认识,不仅要了解艺术家是如何做到的,还要把这些知识的数学形式找出来.
绘画相比摄像的优势在于提取主观而关键的信息来表达,NPR亦如是. 所以NPR需要的不是光照模型这些,而是不同绘画方式的插值和变形规律 好文章。
关于Grease Pencil和描边有点想不明白。
“为啥要自动提取内描边? 直接画上去岂不更好?”这个是不是只适合静态镜头的情况，如果摄像机是动态的，比如360旋转绕着主角的脸之类的情况，应该就不合适直接画上去了吧？ 人物面部渲染用得上 crease 的情况不多，更重要的是轮廓（profile / outline），而现有的一些方法的效果跟性能都不错。 自动生成线稿对于建筑设计 / 工业设计表现的作用还是相当重要的，毕竟这些专业的模型，全靠设计师手动绘制 crease 很不现实。Blender 目前的 Freestyle 的性能跟便利性都有些欠缺，尤其是无法在 viewport 实时预览这一点。不过 Lineart（前称 LANPR）应该也会在今年内集成到主分支了，这块会有很大提高
页:
[1]