据外媒报道,微软研究院研究团队 Ziyu Wan、Zhang Bo 等人开发了一种基于人工智能的新算法,其可以通过深度学习的方法恢复严重退化的老照片。跟可以通过监管式学习解决的传统修复任务不同的是,真实照片的退化较为复杂,并且合成图像和真实老照片之间的域差使得网络不能泛化。
这项新技术则提出了一种利用真实照片和大量合成图像对新的三重域平移网络。具体来说,他们训练了两个变分自编码器(VAE),它们分别将旧照片和干净照片转换为两个隐空间。而这两个隐空间之间的转换可以通过合成配对数据来学习。
由于域间距在紧凑的隐空间中是封闭的,所以这种平移可以很好地被应用到真实的照片上。为了解决在一张老照片中混合的多重降解问题,他们设计了一个全局分支和一个局部非局域分支,其针对的对象是结构缺陷如划痕和灰尘点以及噪点和模糊等局域分支。在隐空间中融合两个分支能提高从多个缺陷中恢复旧照片的能力。该方法在图像恢复的视觉质量方面优于现有的方法。
技术演示视频:https://v.youku.com/v_show/id_XNDczMDc0NDgyNA==.html?spm=a1z3jc.11711052.0.0&isextonly=1
然而不幸的是,微软还没有提供一个演示网站来测试这项技术。