借用一句图形学著名学者liyi wei的话"machine learning is a tool instead of a field to me"。
题主如果读过一些文章,其实就能知道所谓的图形学跟机器学习的结合的文章实在太多了,多到数都数不清。如果你将机器学习做为一种工具,那么它跟数学中的数值方法,最优化无异,在若干年前就在图形学领域中被广泛使用。图形学中的任何子领域,建模,渲染,模拟,动画,几何,都可以结合机器学习进行研究。其中任何涉及到的函数,某些输入到某些输出的映射,你都可以使用与问题适用的机器学习算法去训练,去拟合,只要效果够好,就是一个好的工作。
当然,对机器学习算法进行修改创新,使其对你所做的图形学算法的表现更好,这是更好的工作。如题主所说的深度学习,据我所知,目前还是更适合做2d image的问题。那么怎么处理复杂的数据,比如3d几何,模拟数据,这些都是值得研究的问题。近些年来其实在这两块也有很多SIGGRAPH paper了。
当然对于机器学习,大家的看法也不完全一样。比如同是著名学者,usc的hao li就认为"learning is the key!".
近日,上海交通大学自然科学研究院和数学科学学院的深度学习基础理论团队张耀宇、张众望(学生)、罗涛和许志钦发现了不同宽度的深度神经网络的损失景观之间一种普遍内禀的联系,他们称之为嵌入原则(Embedding Principle)。研究成果《Embedding Principle of Loss Landscape of Deep Neural Networks》被机器学习领域顶会NeurIPS 2021录用为亮点论文(低于3%的录用率),并给予“This could provide a framework towards deeper understanding of deep learning loss landscape.”的评价。
神经网络损失景观的描绘是机器学习领域长久以来难以解决的重要基础理论问题。由于神经网络的损失函数通常维数极高且高度非凸,从而导致直观理解和刻画其在高维空间中的特征与规律变得极为困难。面对这个难题,该团队从他们自身长期的实验现象观测中受到启发,另辟蹊径将不同宽度神经网络的损失景观作为一个整体进行考察,发现了它们之间一种内禀的联系——神经网络的嵌入原则(Embedding Principle), 即一个神经网络的损失景观中?“包含”所有更窄神经网络损失景观的所有临界点(包括鞍点、局部最优点和全局最优点等)。具体而言,这项工作发现了一类将窄网络的参数空间嵌入到任一更宽网络的参数空间中的方法,能够保证窄网络的任何临界点嵌入到宽网络后仍然是临界点并且网络的表征保持不变(作为推论,网络的输出函数和损失值也都保持不变)。通过引入这种一般的嵌入方法,我们可以发现对于任一窄网络的临界点,所有比之更宽的网络的损失景观中都包含有和该临界点具有相同输出函数的临界点,这也就是“包含”的含义。实验发现,在很大的初始化区域,神经网络的实际训练过程会经历这类由嵌入原则带来的极值点附近,这使得嵌入原则的理论对理解神经网络的训练过程具有重要意义。