小贩叫卖、马车过街

作揖问候，见面寒暄

你能想象，这些生动展现百年前国民生活的彩色影像，是使用人工智能技术修复的吗？

近日，这段使用人工智能修复老北京影像的视频在 B 站和微博上火了，引起了极大的关注。博主用 AI 技术修复了一段 10 多分钟的古董视频，使得 100 多年前老旧的黑白影像变得更加清晰，甚至有了颜色。

网友们纷纷感叹「厉害」，视频「清晰连贯」，「让我们看到了 100 年前的 vlog」。

没有对比就没有伤害。来，让我们对比看看AI修复的影像与原版旧影像，相信各位小伙伴一定会对修复效果有更为直观的感受。

视频修复前后在色彩、清晰度方面都有了很大的提升，修复前灰蒙蒙，修复后色彩鲜艳

那么从技术层面上看，究竟是如何做到这么惊艳的效果的呢？

令人惊艳的AI修复技术

在微博 Up 主的文案标明，修复影像的技术管线参考自开发人员，同时是一名 YouTuber 的 Denis Shiryae 上传的影像修复教程。

今年年初，Denis 修复 1896 年经典电影的视频也在海外火了一把。

电影界最著名的短片之一是 1896 年的一部无声电影《L’Arrivée d’un train en gare de La Ciotat》，画面很简单，只有 50 秒，描述的是一列火车驶入车站的场景。Denis 正式对这个经典的短片进行了 AI 修复，效果非常不错。下图可以看出修复前后画面的强烈对比：

另外，Denis 修复的一部 1896 年的黑白短片 The Arrival of a Train at Station 项目也非常有趣，同样也是使用公开的 AI 技术将其转换成了 4k 高清视频，并且可以以每秒 60 帧进行播放。结果虽然不完美，但同样让人惊艳。

DAIN与Gigapixel AI

为了实现高清修复，Shiryaev 使用了两种神经网络：Google 的 DAIN（深度感知视频帧插值，Depth-Aware Video Frame Interpolation）和 Topaz Labs的 Gigapixel AI。其中，Gigapixel AI 用于将微弱分辨率的视频一直扩展到 4K，而 DAIN 用于创建和插入之前不存在的帧，从而将视频的 FPS 增加到 60。

首先来看 Gigapixel AI，随着图片放大，它可以对图片进行细节填充。具体的实现方法，是通过分析按比例缩小的大量图像，了解丢失的信息。经过训练，当图片放大时，Gigapixel AI 可以自动弥补图像损失的细节，让画质效果更佳。

这项技术也被打包放进了 Topaz Gigapixel AI 软件中，使用软件就可以对图像“无损”放大，亲测效果还不错。

第二个算法是由 Google 工程师团队和一些研究员开发的插帧算法 DAIN 添加的。

DAIN 也像 Gigapixel AI 一样可以填充细节，但却是插入整个图片而不是单个像素，从而将帧速率提高到每秒 60 帧。

当然，AI 使用现有的大量视频作为训练材料，通过评估前后帧以及镜头中的不同深度水平，以找出缺失的信息。

       

然后，模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲，合成输出帧。

这种模型紧凑、高效且完全可微分。定量和定性的结果表明，DAIN 在各种数据集上均优于最新的帧插值方法。

DAIN 已经在 GitHub 上开源，感兴趣的同学可以详细研究一下：

https://github.com/baowenbo/DAIN

有一点需要说明，我们在此修复中看到的所有额外细节可能实际上并不是镜头中的真实内容，而是算法在经过大量类似照片和视频库中训练给出的最接近真相的预测。

原版短片是由 Lumière brothers 拍摄的，摄像机使用了 35mm 胶卷（这种胶卷还可以作为投影仪使用）。

另外还应该指出的是，和线上那些低分辨率的盗版电影相比，Shiryaev 使用的原始视频质量相对较高，这可能要归功于先前的修复技术。

不幸的是，源视频并没有提供任何有关制作方式的详细信息，但似乎已经用某种方法进行了数字化增强。

无论原版影片是否经过处理，修复后的新版本的分辨率和流畅度都有了明显的提高，这就够了，因为这为我们用 AI 引擎构建虚拟现实提供了很多灵感。