|
|
引言
这篇文章里, 我想理一下NPR R&D的历史脉络与症结, 顺便谈谈自己的一点点看法.
做了这么久的NPR研究, 相关的论文我也读了很多; 可以毫不夸张地说, 这个日渐无人问津, 并已经被水文灌满的领域, 它各个方面的重要文献, 我都至少有些印象了.
现在国内借着二次元风手游的兴盛, 国外则借着Blender的发展, 这方面的知识似乎开始从几丈草高的坟头下面慢慢挣扎着爬起来了. 一些美术, 程序或者TA也开始系统的探索这方面的知识; 但是学术界似乎还在自顾自的, 做一些不那么有意义的事情.
在NPR领域, 学术界与工业界(游戏影视)实际应用是严重脱节的. 业界那几个有名的例子(Guilty Gears, Zelda, etc)读者应该都比较熟悉了, 这里我着重谈谈NPR在学术界的情况, 最后也做一点前沿的技术展望.
客从何处来
NPR与和PBR(物理真实渲染)历史几乎同样长; 从上世纪8, 90年代始, 便陆陆续续有许多NPR的研究问世; 在2000到2010年期间是非真实感渲染相关研究与开发的活跃时期, 其间有许多优秀经典的论文; 利用这些研究和技术开发的游戏"大神", 其视觉效果放到现在也是很亮眼的.
当时的那些成果如同上古的宝贵遗物, 现在仍在被大量使用着. 比如, 现在常用的法线/深度描边, 或是法线外扩, 就是早在2000年前后就已经在两篇论文里被分别提出了. 而现在市场上标杆级别的离线自动描边系统"FreeStyle"也已经是十多年前的产物; 像Pencil+这类的插件因为不开源, 所以具体技术我也不好说, 但是从效果来看, 也可以推断出来是十多年前就有的技术了; Toon-Shading的基本框架亦然... ... 其余的我就不再累述.
现在游戏业界用到的描边技术, 都包在这边文章里了, 猜猜是什么年份发表的? 2003!
可是在2010之后, 比较有价值的NPR研究就基本没有了, 这是为什么呢? 下面我就来聊聊这个问题.
日落西山
从2000年的兴盛到现在的无人问津, NPR似乎已经是计算机图形学中的一枚弃子; 尤其在2008年开始, 各种GPU驱动加速PBR的结构和框架(如, KD-Tree, LBVH-Tree)开始狂飙突进, 使得本来就占优势的PBR占据了所有地盘. 现在图形学凡说到渲染, 基本已经默认是PBR; 相比之下, NPR十几年前的兴盛, 和现在的一地鸡毛相比, 令人唏嘘.
那么, NPR R&D的难点在哪里, 它的发展到底出了什么问题? 我相信不同的人肯定有不同的见解, 国内外那些科研大佬, 和业界的前辈们肯定有比我这个学生更深刻的了解; 我拜读了祖师爷Hertzmann和其他几位大佬最近写的几篇相关评论文章. 最后总结和发展了一下, 与大家分享:
蜀道难
技术
从技术的角度, NPR的难度是显而易见的; GPU的图形管线和现在的3D美术工作流程, 很明显就是为了PBR而量身打造, 而NPR只有用各种Trick来勉强应付, 而且费心费力. 不那么重要的地方可以直接用PBR敷衍了事.
理论
从理论的角度来看, PBR可以用物理光学和微分几何为理论基础; 而不管是渲染的光影规律, 还是模型的形变和透视模型, NPR只能用美学的一些经验原则来做各种实验, 最后挑出好的方案, 再总结成系统的理论框架.
两个问题再加上理工研究者的思维范式, 就造成了NPR现在的惨状. 作为研究者, 我们往往希望有个算法, 有个评分标准, 然后有个测试集, 然后就解决一切问题了; 然而事实上, 即使像Houdini, Substance Designer这样的参数化设计软件, 也高度依赖创作者的经验和审美能力;
所以, 我认为症结在于,
研究者过于自大地, 希望用计算机, 完全自动生成风格化的内容, 而忽视了艺术家的参与和反馈.
无论是多么海量的数据驱动, 还是精密复杂的算法设计, 这样的想法都注定是行不通的.
而之前的年月里, 这个领域的研究者似乎很多都在圈地自萌, 很大程度上忽略了实际的情况---离开了创作者, 就没有所谓的"Stylization"和"Non-Photorealistic". 更糟糕的是, 他们往往为了算法的精确不惜一切性能上的开销, 这就更加导致这些"漂亮"的成果变成实验室里面的玩具了. 真可谓是, "尔来四万八千岁，不与秦塞通人烟".
NPR的理论和技术, 需要调整思路, 做一些开创性的东西, 否则待到这阵风刮完, 也许就又得爬回坟墓躺尸了.
路在何方
这些问题有解吗? 我这种菜鸟说老实话, 不知道; 下面也仅是我的一点拙见.
以Blender目前的发展情况为例, 下图展示了Blender在NPR领域深耕多年到现在积攒出来的强大实力 (全3D场景, 使用了Grease Pencil, Free Style和自定义的Toon Shader):
Pomidori工作室的作品
别的不说, 单从中挑出最近很火的, Blender的王牌插件 Grease Pencil:
在Grease Pencil的论文刚发表出来时, 它还只是一个用于做给动画师做故事板的小工具, 可是随着开发者和艺术家们的共同努力, 这个插件现在已经迭代成为一个极其强大的2D-3D绘画插件.现在的Grease Pencil可以让美术师直接在3D模型上绘制任意笔刷风格的线条, 这让那些"自动提取内描边"(Crease, Ridge, Valley)的水逼论文瞬间失去了意义 --- 为啥要自动提取内描边? 直接画上去岂不更好? Blender社区良好的反馈沟通环境, 也为工具的不断升级改善提供了肥沃的土壤, 这一点也值得借鉴.
因此, 我认为Grease Pencil一定程度上代表了NPR的正确发展方向: 给艺术家做工具, 而不是做工具来替代艺术家. 该做的做, 别瞎折腾一些没有意义的功能. (当然, 如果只是要水论文, 那请便, 研究生混个毕业也不容易hhh.) 但是我希望这方面有能力和兴趣的同学呢, 不要被一些论文给带弯路了.
上面讲了思路方面, 接下来聊聊我对理论 & 技术方面的看法;
理论上来说, 我个人觉得最基本的有下面几点值得讨论一哈
NPR缺乏属于自己的一系列光照模型, 谈到Toon Shader, 我觉得其实是个残次品, 不得不承认, 我们需要大量的trick和调试来达到勉强的效果. 搞到最后, 那些"Trick"倒是变成了一套奇奇怪怪的"人肉光照模型", 就像当年Vray里面玄学调参一样. 其次, NPR缺少自己的相机模型, 与这相关的论文我只看到过一两篇, 几乎没什么实际中应用; 然后, 虽然目前描边的技术已经比较成熟, 但是在实时渲染中使用的技术仍然也只称为是Trick, 而那些比较先进而系统的技术要么就是太耗性能, 太奇形怪状, 就是零零散散, 没有一个集大成者. 最后, 关于特效, 动画这些, 想要有系统的框架, 就更是痴心妄想了(虽然也零星有人在做)...
就技术而言, 目前GPU技术的发展趋势对NPR是有一定帮助的, GPGPU的领域越来越广; 可能过几年, 手机上也能比较广泛的使用Compute技术了. 通过高性能, 高度特化的软光栅器, 也许可以实现高效的风格化渲染管线, 而这也是我现在在做的事情. 如果能达到像最近Unreal5演示中的Nanite系统那样, 也许能离实现真正"画一样"渲染效果的目标更进一步了.
锦城虽云乐, 不如早还家
自己的研究项目也已经做了大半, 也取得了一些技术上的突破, 但是实感心累. 也许干完这一票, 我就要转真实感渲染, 或者更接近TA的方向了, 毕竟家里没矿, 将来毕业出来, 还是要找工作混口饭吃的嘛. 看现在国内局势的发展方向, 说不定将来还得转行去干热门的芯片或者军工...
但是转念一想, 在PBR已经到瓶颈的今后, 也许NPR是渲染领域一个有趣的突破口呢? 如果我的想法能给相关的爱好者&研究者带来一点帮助, 也是值得. 故还是花了些时间, 将自己的一些想法或是牢骚, 写在此处, 或可供诸君一哂罢!
(希望大家持续关注这个专栏, 之后我会陆续把整理的论文集发上来...)
计算机图形学中的描边算法 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
|
窥视卡
雷达卡
发表于 2021-2-4 09:37
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡