rustum 发表于 2022-1-5 11:15

2015年SIGGRAPH Asia 有一篇用机器学习搞流体的,貌似是回归森林。名字记不清了,建议去看一下。
-------------------------------------------------------------------------------------------------------------------------------
找到了,Data-driven Fluid Simulations using Regression Forests https://cgl.inf.ethz.ch/Downloads/Publications/Papers/2015/Jeo15a/Jeo15a.pdf

rustum 发表于 2022-1-5 11:25

借用一句图形学著名学者liyi wei的话"machine learning is a tool instead of a field to me"。
       题主如果读过一些文章,其实就能知道所谓的图形学跟机器学习的结合的文章实在太多了,多到数都数不清。如果你将机器学习做为一种工具,那么它跟数学中的数值方法,最优化无异,在若干年前就在图形学领域中被广泛使用。图形学中的任何子领域,建模,渲染,模拟,动画,几何,都可以结合机器学习进行研究。其中任何涉及到的函数,某些输入到某些输出的映射,你都可以使用与问题适用的机器学习算法去训练,去拟合,只要效果够好,就是一个好的工作。
       当然,对机器学习算法进行修改创新,使其对你所做的图形学算法的表现更好,这是更好的工作。如题主所说的深度学习,据我所知,目前还是更适合做2d image的问题。那么怎么处理复杂的数据,比如3d几何,模拟数据,这些都是值得研究的问题。近些年来其实在这两块也有很多SIGGRAPH paper了。
      当然对于机器学习,大家的看法也不完全一样。比如同是著名学者,usc的hao li就认为"learning is the key!".

TheLudGamer 发表于 2022-1-5 11:33

我觉得可以利用3d模拟环境来生成大量训练数据用于训练深度学习网络

NoiseFloor 发表于 2022-1-5 11:38

近日,上海交通大学自然科学研究院和数学科学学院的深度学习基础理论团队张耀宇、张众望(学生)、罗涛和许志钦发现了不同宽度的深度神经网络的损失景观之间一种普遍内禀的联系,他们称之为嵌入原则(Embedding Principle)。研究成果《Embedding Principle of Loss Landscape of Deep Neural Networks》被机器学习领域顶会NeurIPS 2021录用为亮点论文(低于3%的录用率),并给予“This could provide a framework towards deeper understanding of deep learning loss landscape.”的评价。
神经网络损失景观的描绘是机器学习领域长久以来难以解决的重要基础理论问题。由于神经网络的损失函数通常维数极高且高度非凸,从而导致直观理解和刻画其在高维空间中的特征与规律变得极为困难。面对这个难题,该团队从他们自身长期的实验现象观测中受到启发,另辟蹊径将不同宽度神经网络的损失景观作为一个整体进行考察,发现了它们之间一种内禀的联系——神经网络的嵌入原则(EmbeddingPrinciple), 即一个神经网络的损失景观中?“包含”所有更窄神经网络损失景观的所有临界点(包括鞍点、局部最优点和全局最优点等)。具体而言,这项工作发现了一类将窄网络的参数空间嵌入到任一更宽网络的参数空间中的方法,能够保证窄网络的任何临界点嵌入到宽网络后仍然是临界点并且网络的表征保持不变(作为推论,网络的输出函数和损失值也都保持不变)。通过引入这种一般的嵌入方法,我们可以发现对于任一窄网络的临界点,所有比之更宽的网络的损失景观中都包含有和该临界点具有相同输出函数的临界点,这也就是“包含”的含义。实验发现,在很大的初始化区域,神经网络的实际训练过程会经历这类由嵌入原则带来的极值点附近,这使得嵌入原则的理论对理解神经网络的训练过程具有重要意义。


以上示意图展示了单步嵌入的具体操作,即将任一神经网络嵌入到一个某一层多一个神经元的网络。单步嵌入的核心想法在于选择一个神经元并按照α、(1-α)的比例将其一分为二,从而在增加神经元的情况下保持原有表征和临界性。通过单步嵌入的复合,可以得到一族从一个神经网络到任意更宽神经网络的嵌入方法。
嵌入原则的发现为更深入地理解深度神经网络的损失景观提供了全新的视角和分析框架,即不同宽度神经网络的损失景观本质上来说是一个有层层嵌入关系的整体对象。在此框架的基础上,可以进一步分析一个临界点的首次出现以及临界点性质随着宽度增加的变化。可以预见,随着后续研究工作的开展,对神经网络损失景观更系统深入的理解将逐步呈现在我们面前。
本工作由上海交通大学深度学习基础理论团队的张耀宇、张众望、罗涛和许志钦合作完成,第一作者为张耀宇,通讯作者为张耀宇和许志钦。其中张耀宇、罗涛、许志钦为交大自然科学研究院和数学科学学院双聘的长聘教轨副教授,也是交大致远学院首届2008级理科班的毕业生。张众望是该团队一年级博士生,也是交大2017级致远荣誉计划数学方向的毕业生。目前上海交通大学自然科学研究院和数学科学学院已经形成了一批从事深度学习基础研究的科研人员并发表了一系列相关工作,比如本文的相关作者合作发现并命名的频率原则的论文获得2021世界人工智能大会青年优秀论文提名奖,他们关于两层无穷宽的ReLU网络的相图分析发表在机器学习领域顶刊Journal of Machine Learning Research等。
相关论文:
嵌入原则https://papers.nips.cc/paper/2021/hash/7cc532d783a7461f227a5da8ea80bfe1-Abstract.html
相图分析 https://www.jmlr.org/papers/volume22/20-1123/20-1123.pdf
频率原则 https://www.global-sci.org/intro/article_detail/cicp/18395.html
文章来源:晒科网
晒科网

c0d3n4m 发表于 2022-1-5 11:43






来源:
Deep learning algorithm paints smooth-moving works of art
原图为blender里制作的
=========
有空再仔细编辑。。。
多图杀猫 照顾未翻墙党和手机党,视频有空再搬b站。。










========




====




====失败例子








========
原理   额外加上


z深度检测
===根据论文转换的视频




http://www.genekogan.com/works/style-transfer.html
==================
论文关键词 划掉 :#ManuelRuder,#deeplearning ,#deepart
=============
额外说一下http://deepart.io这个网址的,当然没有足够的数据,效果差很多
=====
动画直接用,当然fail了:
用深度学习鬼畜哆啦A梦_野生技术协会_科技_bilibili_哔哩哔哩弹幕视频网=====







pc8888888 发表于 2022-1-5 11:51


来个一图胜千言万语

RecursiveFrog 发表于 2022-1-5 11:57

ML->CG:用ML替代传统方法做某些CG问题
CG->ML:用CG图训网络,省得加label了

stonstad 发表于 2022-1-5 12:01

北大汪国平这方面做的不错,可以看看

zifa2003293 发表于 2022-1-5 12:04

动画、渲染 应该结合
计算几何不应该结合

c0d3n4m 发表于 2022-1-5 12:07

可以做三维生物角色模型组合,通俗的说就是给你一堆的三维的生物模型,然后通过这组模型组合出更多的生物模型。这里面可以做的工作就很多了,首先你要将三维模型语义分割,这种已经有很好的paper做的不错,但组合不错的文章就比较少了,要考虑的东西太多,什么样的部件适合连接在一起,怎么连接比较平滑,最后合成的生物模型怎样比较好看,都是可以通过机器学习的方法去处理这些模型的几何特征或者还可以加上情感特征 比如这个生物是温顺还是凶恶,进而得出比较好的推荐组合策略,个人觉得还是挺有意思的。
但感觉好难啊 图形学代码太难写了,特征数据量太大了,好的特征太难找了,结果打了个酱油,做了个模型组合工具就毕业了,不过里面可挖掘的东西真的好多,对了,我觉得几何特征跟情感特征的关联性研究很有意思。 好久不写图形学代码了,心酸。(☆_☆)(☆_☆)(☆_☆) 这些坑还是要靠你们这些聪明人去踩,你不知道我搞了好久搞的心力憔悴了都。摔 (☆_☆)(☆_☆)(☆_☆)
以上。我随便乱说的。入坑需谨慎。(☆_☆)(☆_☆)(☆_☆)
页: 1 [2] 3
查看完整版本: 计算机图形学与机器学习(深度学习)怎么结合起来?