计算机图形学领域还有哪些没有啃到肉的问题？

袁水平 · 发表于 2020-11-27 12:08

说点别的。
1.具体的还有什么方向，其他答案很多了。
2. 为什么觉得无肉可啃，是因为这些肉很柴，先驱们啃了十几年几十年也没啥进展。不论读博士还是做专职科研都是有KPI的，这些显然不适合拿学位争取funding.如果你有兴趣你可以去翻翻Greenberg在siga2011上的主题演讲-下二十年的展望。里面提到了真实感绘制已经是瓶颈，工业界对于和现实无缝的绘制技术非常渴求，但是现在的绘制质量还是停留在欺骗这个阶段。
3. 深度网络的应用。因为缺乏理论的支持，现在大部分基于深度网络的研究具有实验意味-如同生物，化学这块的实验-实验中的发现作为成果（所以这一类paper可复现行一直是个问题，请参考前段时间某大学生化领域在自然杂志发生的事情）。另外从cg角度来说，cg大部分方向都是产生数据的，你用数据驱动的方法就会直接面临鸡生蛋蛋生鸡的问题。但是我个人还是觉得数据驱动在某些问题或者子问题领域会成为domain,但是这些探索刚刚开始，作为phd研究方向确实容易出成果。
4 CG方向对工程能力比cv 要强。前几年看到很多cv Paper都是用matlab攒的，羡慕不已，这在cg当年是不可想象的-当然现在或许也很普遍的。

感觉cg一直在思想框架上都没有突破，还一直在refinement。但是现在因为工业界的技术能力发展，比如gpu,也开始对于学术界返哺，这也是件好事。

fangguanya · 发表于 2020-11-27 12:13

谢邀。
问题好多，懒，不一一作答了。
个人的认识是，计算机图形学的终极问题，那就是渲染方程，已经被写出来了。
然而，如何在工程当中又快又好地去立并且解这个方程，没有解决。（但是有很多好的实践经验）
也就是说，理论研究到了一个平台期了，短期也很难上新平台；但是工程问题一大堆，只有老黄在努力（当然不是）。

csj2017 · 发表于 2020-11-27 12:23

2月9日更新: 有位朋友说我贻笑大方，可我没有半个字说CV的会比SIGGRAPH审稿质量好。看到你列举的自己中过的会，我也大概知道你的身份了，我只能露出尴尬而不失礼貌的微笑。
——————————————我是分割线——————————————————————
就第三点来说，有道理也没有道理。我觉得一个学科再怎么发展总会有新的问题值得去研究，特别是计算机这种工科。真正出问题的是SIGGRAPH这个community本身。我身边就有一位在PhD期间直坚持不懈啃着传统硬骨头的朋友，他的数理基础和工程能力都不差而且成果颇丰，我很佩服他，但遗憾的是在完成PhD之后也不得不面对现实问题而转行了。在SIGGRAPH这个圈子里也同时有着拉帮结派互相看不顺眼的某些知名教授，强推低分paper强拒高分paper的情况也时常发生。
而就我本人而言，作为一个主要研究CV的PhD也有幸能够在SIGGRAPH发表成果。但这个过程的体验着实不怎么好，因为在paper曾经被拒稿的时候，reviewer没有对我的方法本身提出任何有意义的建议反而是对user study耿耿于怀。相比之下，我在ML/DL的会议的投稿就得到了很多有意义的review意见，即使是批评也帮助我提升了论文的质量并最终得到了录用。
总而言之，对图形学本身这个学科来说我觉得可研究性并不比火热的CV/DL要差，但问题是SIGGRAPH这个community本身存在着多多少少的问题让本来应该理想化的学术研究出现了问题。有人的地方就有江湖，但CV和ML/DL的基本面一直在扩大，反观SIGGRAPH却相较停滞不前。所以我的意见是如果是对图形学非常感兴趣的同学当然可以在PhD阶段从事这方面的研究，如果没有那么强的信仰加成的话还是考虑热门的CV/ML会比较好，毕竟大多数人还是要养家糊口的。当你由于外部原因SIGGRAPH发不出来，还能坚持初心的人真的很少。
关于有什么具体的方向的话我觉得和DL结合去加速传统simulation问题的解决是个很有意思的方向，具体可以参考这个组https://ge.in.tum.de。我个人觉得如果能考虑结合graphics的特性在DL加入human interaction也会非常有意思。同时MIT Bill Freeman组在SIGGRAPH的工作也很值得学习背后的思维模式，特别是motion magnification这一系列的工作，我觉得是非常好的研究范本。

liuww · 发表于 2020-11-27 12:31

谢邀，我曾经也以为我把图形学的知识点都掌握了，我也觉得这个领域，特别是光照物理模拟上理论已经到头了，再发展都是些小修小补，例如采样的trick提升raytrace性能，各种模拟近似的优化提升实时计算性能，再然后就是物理模拟领域的结合，等等，像PBR这样的理论突破相当困难。
直到...看到这几年神经网络开始在图形学领域大力出奇迹，完全颠覆了我对图形学的认知，例如：
Nvidia通过每个像素一次raytrace采样，然后用神经网络优化降噪，以达到实时raytrace，Introducing the NVIDIA RTX Ray Tracing Platform
Facebook使用深度神经网络将人脸的4D数据 encode成隐式的BRDF纹理/材质和Deformation Graph 来实现photo realistic的人脸渲染和超低带宽数据传输 Facebook animates photo-realistic avatars to mimic VR users’ faces
Nvidia通过神经网络超分辨率采样（DLSS），将低分辨率渲染的G buffer（Normla，depth，RGB）放大到2K甚至4K 实现高性能渲染 DLSS: What Does It Mean for Game Developers? - NVIDIA Developer News Center
这些新的研究成果让我看到，以前图形学那种干净的数学公式可能表达能力会被神经网络超越，干净的结构化数据（Volume，Point Cloud，Mesh）表达能力会被隐式的，经过神经网络降维的非结构化数据超越，这需要全新的数学理论和图形学框架来支持，虽然底层物理意义还是raytrace，brdf那一套，但计算过程会完全不一样。
我是非常一颗赛艇的。

ooph · 发表于 2020-11-27 12:36

作为小白提供一些自己的拙见...我和我老板主要是做character motion control的，算是图形学里面很小众的一个方向了。感觉这个方向里待解决的问题非常多。比如如何自动评估一段animation的质量，如何去做到更加复杂的motion control，motion control with environment interaction...都是些不简单的问题，足够phd做好多年...

驭风 · 发表于 2020-11-27 12:39

很多看起来很简单好像已经被解决的问题，其实都没被解决。就像阴影吧，一直做，一直不完美。

辣条 · 发表于 2020-11-27 12:40

首先，哪些问题值得花费一个PhD周期？

个人认为还是挺多问题值得去研究的，比如刘利刚老师geometric modeling方向，童欣老师推动的data-driven graphics，张皓老师的 3D content creation, shape analysis 等等；

即使是大家认为已经被Render Equation限制住而没有前途的渲染，由MIT团队提出的Differentiable MC Rendering为渲染过程增加了可解释性，为领域带来了生机。（SigAsia 19，DR的场子爆满也说明了一切）。
我们知道，基于梯度的优化技术极大地推动了比如ML，CV 和很多领域的发展，在计算机图形学中，differentiable rendering algorithms 也给我们解决许多很有挑战的inverese problems 带来了可能，比如你去做computational material design 和包含一些全局效果如shadow，refraction 的场景重建问题，可以借助differentiable renderer 构建整个learning pipeline。
在这方面已经很多优秀工作，但目前differentiable rendering 还有相当多的问题有待解决和优化，效率，discontinuities，做differentiation大量的代码量等等，包括在forward rendering中许多well-studied 的techniques在做differentiation中都有很大的探索和优化空间。
作为工业界从业人员，对第二个问题我们也有一些自己的理解和想法。首先电影/游戏工业确实是图形学最主要应用的领域；

但是随着单位渲染成本的降低，其他行业对于图形学\渲染的需求和效果也在逐步提升。
比如，酷家乐推出的在线云家装设计SaaS服务将图形学的建模、实时渲染、云端光线追踪渲染等技术深度并全面的落地到设计行业和市场（每天500w+真实感绘制渲染图像请求）。为了降低渲染成本，我们也与浙江大学、清华大学、巴斯大学、美国Lambda Lab合作在Sig Asia 19提出了基于GAN的MC Denoiser以用于加速渲染收敛过程（http://adversarial.mcdenoising.org/）。
学术上，现在的sig中data-driven graphics、DL CG的趋势也约来约明显，因为确实某些CG领域data-driven approach works而且效果很好，比如Data-Driven Floorplan Generator（http://staff.ustc.edu.cn/~fuxm/projects/DeepLayout/index.html）
但换个角度来想，graphic for data-driven approach，graphic面向智能体渲染，也可以反哺各个行业和学术领域。

随着 AI 等领域的快速发展，业界对具备高精度标签的数据需求越来越大。
但是，目前大量的视觉数据集及平台均存在一些缺点：数据采集成本高，数据标注成本高，且精度低，数据产生能力有限。

“艺术源自于生活”，“真实感绘制源自于物理模型”；图形学，尤其是渲染未尝不是如此，真实感绘制图像和真实照片可能只有最后几个尾部bounce之差。

RGB appearance背后的meta信息，通过rendering的合成图像却可以达到像素级精准。
在AI领域，不论是学术还是工业领域，比较真实现状是这样的：
图1，ref：宾州州立周子寒老师 ICCV 2019 Tutorial Slides，https://holistic-3d.github.io/iccv19/

三维场景及环境的模拟仿真和数据生成变得越来越重要，事实上，在一些领域已经大量地在使用合成的仿真数据进行训练，一方面提升了训练的效率，另一方面也避免了安全等问题，比如：自动驾驶、无人货架、智能机器人、MS的无人机仿真平台，用作机器视觉及增强学习的试验等
目前类似于室内场景认知/理解，家庭助理等还处于爆发前期。
相信在不远的将来，渲染的不仅仅是为人服务，也可以为机器服务，虚拟化场景数据会存在大量的需求，而能够提供高精度的可用于仿真的数据则可以很大程度地加速这个方向的进展。
浙江大学-酷家乐图形与智能计算联合实验室在未来几年也会重点发力探索面向智能体的渲染方向，也希望各位图形学爱好者一起参与思考、讨论。
内容来自于：浙江大学-酷家乐图形与智能计算联合实验室 @唐睿-酷家乐
未经授权不得转载

翼之风 · 发表于 2020-11-27 12:44

从一个VR用户和CV新手的角度聊聊，希望能够提供不同和有用的视角
CV新手的视角

CV是2D到3D，CG是从3D到2D。很有意思的是，组里有两个方向（有兴趣可以看一下uvic visual computing group）：传统CG和CV。呆的不长，但是给我直观的感觉是： CG数学真是厉害，公式秀出天际，C++也是玩得溜起，（解答一下答主关于CGer的气质和能力需求的问题）给CGer点个赞。
但是CG 同事们似乎都在吐槽，CG出成果就是慢，有些同事已经转到纯CV，或是从用DL来解决某些CG的小问题（e.g.，去年出一个differentiable render了）。从一个CV小白的视角来看（求建议和交流），3D vision，3D understanding 和CG的结合会比较有意思。感觉组里这种CG和CV组合应该也是有这种初衷的。大致就是：Bring semantic information from 3D world to CG. 比如说Non-rigid 3D reconstruction 和 visualization。
VR用户的视角

这两天一直在玩同事的VR设备（htc），总体感觉，真是酷炫！这个产品好像是2016就出来了。说说优缺点
优点：
不可畏炫酷！简直爽得要起飞。体验了一把google earth，回到了本科母校，家乡。对于一个留学生来说，真的好激动啊。有时间放几张VR里面的截图（待更新）。
缺点：
用户体验方面，类似头晕啊，容易撞墙之类的问题就先不聊了。我想说说我能知道的一些技术方面的缺点。
其一，算力要求高，设备要求太高，除了本身昂贵的VR设备不说，主机的显卡（我们用的是1080ti）要求也很高。一套能玩的设备下来，总价不亲民啊
其二，场景制作比较昂贵，由此没什么特别大的场景。由此可以看出CV和CG的结合点了，直接从图片直接提取场景。
总之，从VR角度来说，CV和CG紧密相连，例如用户交互需要依赖CV感知和定位，visualization有依赖CG 来渲染3D。记得曾经问过一位师兄，头号玩家里面的VR游戏10年能出现吗？“能！毕竟技术发展太快了”。我觉得也能，加油CGer们！

yaotaiye · 发表于 2020-11-27 12:53

讲下2好了。还是很明显地感觉到学界和工业界脱节太严重。为了发paper，你可以把数学做的极其深奥晦涩，让人一看就懵逼。可是越是复杂深奥的试图解决一个小点，就会让实际的系统构建难度加大。
很简单的例子，要render caustic怎么办。你一定会想到SPPM, VCM。好像都很厉害，论文里讲的好像已经天衣无缝无懈可击了。可是一到真的电影里，根本不实用。电影场景的复杂度以及artist各种天马行空的要求，分分钟让这些看似高级的算法崩溃。哪怕是BDPT都没一家大的studio会用。
这就是工业界的一大痛点。理论很美好，现实太骨感。学界大概还是太容易活在理想世界里，工业界还有一线的火要救。电影档期一拖百万千万甚至上亿的损失，那可都是真金白银。工业界要的是更robust，哪怕不是那么physically accurate的算法也是可以的。大部分宣称自己达到电影级别效果可以拯救电影行业的paper都可以打个问号，你的理论真的经得起artist天马行空的想象力的折磨吗。
能用简单易行的理论作出电影工业立即能用的科研，还有相当漫长的路要走呢。图形学死了吗？当然没有。与其哀嚎，不如问问业界人员痛点何在。
======
读书时候我的老板是和建筑、机械那些领域的人合作的，相对搞的研究还算是很脚踏实地的。只能讲针对电影行业的科研，其实不是那么接地气。

silentrock · 发表于 2020-11-27 13:02

特别希望图形学相关拥抱开源社区
本身工程量就大，基础库没个标准的

		自动登录	找回密码
密码			立即注册

计算机图形学领域还有哪些没有啃到肉的问题？

本帖子中包含更多资源