PS要下岗了？NVIDIA用AI完美诠释黑科技修图

APSchmidt · 发表于 2023-3-2 06:21

在国内 Photoshop 几乎就是处理照片的代名词，PS不仅能让人像照片变得更美，而且能在照片中“无中生有”。但缺点很明显：无法确定图像本来缺失的内容。因此只能用它们修补边边角角，不能从整体上复原图像。这个缺点在修复照片时暴露无遗，特别是当你想修补一张几十年前的老照片，而且你不知道照片缺失部分原来都有什么。
不过不要紧，AI 已经解决了这个问题，能够复原图像原本缺失的内容。比如说，假如有一张缺失了眼睛部分的人脸照片，往常你用 Photoshop 这些编辑工具修补的话，只能用相邻部分的像素填充，无法还原出人的眼睛，但是 NVIDIA 研发的这个 AI 知道往缺失部分填补人的眼睛，而且相似度很高。

其实在此之前也有不少人尝试用基于 AI 的技术修补图像，但都局限于修复矩形截面，只重点关注图像中心部分的修复，无法修补照片的任意缺失部分，而且往往还需要花费大量的时间进行后期处理。但是 NVIDIA 不一样。它能够稳定地处理任何形状、大小或与照片边缘任意距离的缺失部分。更厉害的是，哪怕照片缺失部分在不断变大，AI 也能从容应对，优雅地修复。
不仅仅是修复效果，关于局部修图，这才是 NVIDIA 比 PS 厉害的地方，例如想要 P 掉图片中的线、红旗、石头、棍子，只要用鼠标轻轻点击，不需要像 PS 那样细细抠图，效果一样很自然。

为了训练这个 AI，也是费了很大力气。研究人员首先制作了 55,116 张存在任意形状和大小缺失部位的掩膜图像用于训练，又准备了约 25,000 张用于测试。接着他们进一步将这些图像根据缺失部分大小细分为 6 个类别，以优化 AI 的复原效果。
借助英伟达 Tesla V100 GPU 和 cuDNN 驱动的深度学习框架 PyTorch，研究人员将前面制作的掩膜图像应用在来自 ImageNet，Place2 和 CelebA-HQ 数据集中的图像上，以此训练搭建的模型。
在训练阶段，研究人员将图像缺失部分引入来自这些数据集中的完整训练图像，以此让 AI 学习如何重建图像缺失的像素。
而在测试阶段，研究人员将没有应用在训练阶段的图像缺失部分引入到测试图像中，从而无偏差的验证 AI 重建缺失像素的准确率。
最终训练成的这款 AI 模型，修补图像的效果秒杀其它一众图像修补技术。

xiangtingsl · 发表于 2023-3-2 06:23

		自动登录	找回密码
密码			立即注册

PS要下岗了？NVIDIA用AI完美诠释黑科技修图

本帖子中包含更多资源