AI修复百年前的古早电影，4K高清、无卡顿播放终于成真

原创让创新获得认可将门创投昨天

From: Engadget; 编译：Iris

时间回到1896年，当无声的50秒短片《火车到站》在剧院首映时，观众们看到火车驶来，惊异于其逼真的效果，以为火车会随时冲出屏幕，竟一齐惊慌地向后靠。不过在电影工业早已成熟的今天，那模糊的低分辨率画质，无论如何也没法与“逼真”扯上关系。如果那些惊慌的影迷们看过丹尼斯•舍利耶夫重制的AI增强版电影，定会大吃一惊。

当然，《火车进站》并非特例。得益于4K扫描输出以及机器学习技术，多部电影得到修复，从黑白变彩色、从模糊变清晰。国产老电影《甜蜜蜜》和《阳光灿烂的日子》就曾重制上映过，在画质上，分辨率更高、色彩更精细，就连影片的声音也变得更加真实，在唤起观众回忆的同时，给予他们无与伦比的观影体验。

🎬

AI助力重制电影：

影像修复不再止于想象

谢里耶夫利用DAIN程序和Topaz Labs推出的Gigapixel AI程序，成功将原始素材转换成4K的60FPS片段。Gigapixel AI使用了一种专用的插值算法，可以分析图像，识别图像细节和结构，并加以增益。虽然这比传统的插帧放大算法慢，但基于大规模神经网络训练后，补偿缺失的像素的准确性效果则大大提升。AI助手能够精确地锐化和再现清晰图像，即便图像已被放大6倍之多。

Gigapixel AI程序的图像修复效果图

除此之外，DAIN则在现有视频关键帧之间模拟出可插入帧，以修复老电影的视频播放卡顿的问题。利用这一功能，它在可能存在掉帧的视频片段中添加了足量的帧数，将视频播放速率提高到60帧每秒。

《火车进站》原片有明显卡顿

4K版《火车进站》已完美修复卡顿问题

这些都是影视技术升级的成果。自1998年第一台高清电视上市以来，影视技术升级就从未离开过我们。老式标准清晰度电视的分辨率为720x480，一次可显示345,600像素的内容。高清电视的分辨率则为1920×1080，即2073600像素，是老式电视的6倍，而4K电视机的分辨率达到了3840x2160，像素达到8,294,400的水平。

日益增强的影像清晰度，意味着要将老电影的画质提升到如今的播放水准，需要额外在画面上填充600万像素来放大高清图像以适应4K屏幕，所以修复人员必须找到方法来较好地显示这些额外的像素。这就到了双线性和双三次插值大显身手的地方了。

🎬

重制影像的动力之源：

近观“最近邻”和插值法

“最近邻”方法(nearest neighbor)利用与其相邻最近的相同的颜色来填充空白像素。它操作简单、修复有效，能够生成锯齿状的、明显像素化的图像。双线性插值在操作上相对复杂，它能配合“最近邻”方法，基于两个最相近的像素来分析空白像素，并在两个相近像素间产生梯度，实现图像锐化。

“最近邻”（左）线性和双线行插值（中）

双三次插值则对16个近邻的像素进行采样分析，让着色更精确，但生成的图像依然比较模糊。Gitapixel AI利用深度卷积神经网络，通过结合双线性插值和双三次插值的分析成果，最终生成在光学质量上损失最小的放大图像。神经网络分析成千上万张照片，分析和模拟图像细节的丢失过程。算法会在新图像中填充色相和像素信息，有效地为图像添加新的像素细节。

双三次插值修复后的图像（第一排）

解决了像素低的问题，还需要解决视频卡顿的问题。Gigapixel AI在关键帧之间进行“想像”之后，把这些想像出来的帧完美地插进去。其插入的帧数多到足以让视频速率提高到60 FPS。这就是古董电影也能变得如此清晰和流畅的原因。

既然插值过程本质上是一个猜谜游戏，为什么不让AI助手来做决定呢？基于深度卷积神经网络，像DAIN这样的程序可以有效地分析和模拟视频片段，然后在现有帧之间插入AI生成的填充图像。

即便如此，修复后的电影的视觉效果依然不够完美。Engadget的视频制作人克里斯·斯科特(Chris Schodt)在观影时注意到了多种视觉假象，包括火车影像的晃动和行人人影上的重合。对此，他表示：“如果观影时放大到全屏，我觉得前景物体和物体内部的呈现看上去都很不错，但如果你仔细去观察那些物体的边缘，或者影像背景里的事物，那这‘完美’也就不可避免地染上了瑕疵。”

尽管仍有缺点，谢里耶夫发现的影片重制技术依旧颇为诱人。随着老电影资源被机器学习技术数字化并再扩充，无声电影的复兴是否就在不远处了呢？