文 | 宽创研究院

在很长一段时间里，风靡全球的奇幻电影《博物馆奇妙夜》在每一个观影者的心中留下了无限遐想：是否在夜深人静的时候，博物馆中的那些展品和生物都会复活，在大街上乱跑？虽说只是电影，但不得不让人对博物馆各种稀世珍品的安全问题充满担忧……

这幅名为《圣母玛利亚与亚恩温德》的达·芬奇名画价值连城，被盗地点是苏格兰邓弗里斯郡的德拉姆兰里戈堡。2003年8月27日上午11点前，两名盗贼花6英镑进入德拉姆兰里戈堡，悄无声息的带走了这幅估值近6500万美元的达·芬奇真迹。

因此，拥有一种辨别真伪或者说可以还原作品的技术显得迫在眉睫。现如今，通过深度学习，图像修复（image restoration）技术得以提升，AI对图像的修复，通过大量数据看来，它似乎已经能够做到将缺失的、模糊的、损坏严重的图像恢复“原貌”。

名画模式深度识别

加州大学伯克利分校艺术史学家 Elizabeth Honig 致力于研究这些复杂的问题，以揭示北方文艺复兴时期艺术中某个画家创作了哪些作品，以及他又影响了哪些人。现在，她开始寻求计算机的帮助了。

Honig 拥有一个包含 1500 余幅勃鲁盖尔家族画作数字复制品的数据库，而这些作品大部分都被归到 Jan 的名下。2016 年，她与法国和美国的人工智能研究者发起了一个不同寻常的合作，他们部署了一个当时最先进的计算机视觉系统来逐个追踪这些作品，并分析作品之间的相似性。其他艺术史学家也看到了这其中的机会，利用机器学习为之前局限于观看者主观视角的理论和观点提供经验支持。

在这个项目中，计算机科学家也有自己的考虑。对于他们而言，Honig 的收藏是一个用来扩展算法的完美数据集。

法国国立路桥学校（écoledesPonts ParisTech）的计算机视觉和深度学习专家 Mathieu Aubry 称，用算法处理画作挑战了程序的模式匹配能力。其困难取决于媒介和颜色的差异。他解释道：「在未经训练的情况下，计算机视觉无法识别出素描和油画中的房子是一样的。」素描线条清晰，而油画的边缘较为模糊，这种差异可能会使算法混淆。

AI脑补，修复缺失图像

CNN网络结构

由上图可以看到，该网络其实是由两个神经网络组成，一个是内容生成网络，一个是纹理生成网络。内容生成网络生成图像，推断缺失部分的内容。纹理生成网络用于增强内容网络产出的纹理，具体来说就是将生成的补全图像和原始无缺失图像输入纹理生成网络，在某一层feature_map上计算损失，记为Loss NN。

内容生成网络结构纹理生成网络Loss NN

参考文献：

1、High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis（https://arxiv.org/pdf/1611.09969.pdf）

2、DiscoveringVisual Patterns in Art Collections with Spatially-consistent Feature Learning（https://arxiv.org/abs/1903.02678）