谷歌推出Portrait Light: 手机也能拍出摄像师水准级照片

原创让创新获得认可将门创投今天

收录于话题

#技术干货

21个

From: Google；编译: T.R

对于专业的肖像摄影师来说，利用专业知识与外置闪光灯、反光板等专业设备，可以拍摄对象构建合适的光照，创作出迷人的作品。现在，普通的手机用户或许也能做到这点了。

为了让手机用户也能在移动设备上创造出优秀的作品，谷歌研究人员利用机器学习算法开发了一种名为“肖像打光器(Portrait Light)”的应用，它可以利用模拟光照为照片中的人像重新打光，从而在手机端对图像实现完全可控的光照调整。

Portrait Light不仅可以提供动态的光照变化效果，同时还可以完成一定程度上的景深效应，在手机设备上制作工作室级别的照片。用户可以个性化地选择自己喜欢的光照图像，得到不同光照下的图像效果。

在拍照后，用户可以利用Portrait Light自动调整照片的光照强度。

请注意观察：相比于没有重新打光的图像，在使用Portrait Light处理过的图像中，可以看到人物脸部增加的视觉效应。

受肖像摄影中外置闪光灯的启发，Portrait Light实现了光源重放置的建模，可以自动选择照片中现有的初始光源和强度，在此基础上，自动将光源位置进行重新放置和调整。在这一工作中，研究人员构建了一系列的机器学习模型，并利用大形的照明拍摄装置Light Stage构建了丰富的训练数据集，实现了自动光源放置和自动打光的效果。

自动光源放置: 给定一张肖像照后，算法可以将合成的方向性光源放置在场景中，并与专业摄影师在真实世界中放置的结果尽可能地保持一致。
成光源的重新打光: 针对给定光源方向的人像摄影，合成光源将被自然真实地添加到原有的图像上。

这些创新成果为图像构建有效的重光照成为可能，即使是在移动设备端也能有效实现。

自动光源放置

摄影师通常利用感知线索来改善外置光源与环境中的照明条件，他们通常会根据落在人脸上的光照来评估光线的方向和强度，并通过调整人物头部的朝向来获取最佳的照明效果。这一新开发的算法同样基于这两种感知信号来实现自动光照调节。

首先，研究人员训练了一个可以从输入图像中估计出场景全局的高动态范围光照条件。这种算法创造性地利用人脸作为光线检测器，可以得到场景中所有方向光源的方向、光强和颜色信息。此外，还利用了MediaPipe中的人脸网格来检测面部的朝向。这些信息决定了合成光线需要的朝向。

根据输入人像的高动态范围、全向照明信息，图片右侧的三个球预估了环境光渲染出的散射、哑光和镜面结果。

在专业的摄影棚里，主光源一般置于视线30度上方，并与相机呈30-60度夹角。这一算法就是依照经典的肖像摄影光源配置，在平衡光强比例的情况下提升原有的光源效果。

数据驱动的肖像后期打光

在给定需要重新打光的方向和输入肖像图后，需要新的机器学习模型来将合成的光照添加到原有的图像中。训练这样的模型需要数百万张包含和不包含外部打光的人像配对数据。在真实场景中拍摄如此庞大的数据集几乎是不可能完成的任务，因为这需要对在不同光照条件下拍摄的肖像进行近乎完美的配准。

为了解决这一问题，研究人员利用了大型的照片和摄影数据收集平台以及计算成像系统Light Stage来进行数据集收集，在球形空间内安装了64个相机和331个独立的LED照明系统。当每个LED照亮的时候，就进行拍照和数据收集，由此可以得到人物在球形空间中不同光照条件下的反射场。反射场可以编码人物的皮肤、头发和衣服等独特的颜色和光强信息（每种材料的光泽或者暗淡程度）。

基于光的叠加原理，可以将这些不同光照方向下的图像进行叠加，渲染出对象在任意给定光照方向下逼真的图像，同时还能满足像次表面散射这样复杂的光传输现象。

利用Light Stage，研究人员拍摄了不同脸型、性别、肤色、发型和衣着的人物。每个人物都生成了许多不同环境光照下的肖像（包含额外光照和没有光照的配对结果），渲染出了数百万的配对图像用于训练。这一数据集可以让模型学会有效处理不同方向、环境和人物的肖像结果。

在360度的计算成像平台Light Stage中，为人物拍摄照片就意味着一次闪光一次拍摄。左半部分是被拍摄主体的反射场，每个光照拍摄一次图像；右半部分是线性叠加后，渲染得到的任意光照条件下的结果。

利用商图像学习细节保持的重光照技术

与先前直接预测重光照后的图像不同，这一模型通过预测低分辨率的商图像作为中介来实现重光照效果。在上采样后，商图像可以作为乘数与输入图像相乘来得到期待的重光照结果（增加了额外的光照）。由于商图像仅仅只需得到低分辨结果，使得计算更为简洁和高效。同时作为乘数的上采样商图像直接作用到原始图像上，不会影响原始图像的细节。

利用几何估计的监督重光照学习

当摄影师将额外的光源增加到场景中，光源与拍摄对象面部的相对朝向和面对的几何形状就决定了每个部分的反射强度。为了对这一光学过程进行建模、学习光线在人脸这类材质上的反射行为，研究人员首先利用机器学习模型估计了输入人像主体的法向量信息，而后基于朗伯反射定律计算出给定光源的光强可见图。光强可见图作为商图像预测器输入，随后估计出用于与原始图像相乘的商图像，保证了重光照和图像生成过程符合物理定律。