谷歌推出Polyblur，帮助实现照片降噪和模糊减少

原创让创新获得认可将门创投 3天前

收录于话题

#AI很有趣

71个

谷歌推出 Polyblur 的照片去模糊去噪方法，实现高清晰度照片转化。拉推式去噪算法，去噪过程与相机无关。通过这种方法，用户可以最大限度地提高计算效率，在移动设备上秒速提高一张几百万像素的图像质量。与我们的常识相反，拉推式去噪算法可以通过模糊几次图像最后达到去模糊的反效果。模糊的每次应用对应于一阶多项式，而重复应用对应于多项式中的高阶项。这种方式速度极快，只需要对模糊进行几次作用/操作即可。

Polyblur文章入口：
https://arxiv.org/abs/2012.09322

在近年成像技术有了飞跃进步的时期，图像噪声和清晰度仍然是提高照片视觉质量的两个最重要的因素。

通常在光线不足的情况下拍照，尤其移动设备上，相机会自动通过提高 ISO 或降低快门速度来进行补偿，从而加剧噪点的存在，有时还会使图像模糊。

事实上，噪声可能与光的粒子性质有关（散粒噪声）或在读出过程中由电子元件引入（读取噪声）。在进一步照片编辑过程中，噪声信号会更进一步增强、放大或扭曲。而图像模糊由多种现象引起，包括拍摄过程中的相机抖动、相机对焦不正确（自动或非自动），或者错误的镜头光圈、传感器分辨率或相机图像处理。

对某个特定相机而言，由于对传感器，光学硬件和软件模块有着深入的理解，在相机成像过程中处理噪声和模糊更容易。而对于任意相机，那么参数未知处理起来就比较难了。

目前，谷歌提出的拉推式去噪算法（Pull-push Denoising Algorithm）是一种消除噪声、降低模糊，提高图像的质量的新方法，也可以称之为延伸了的 Polyblur 模糊恢复方法。

通过这种方法，用户都可以最大限度地提高计算效率，在移动设备上秒速提高一张几百万像素的图像质量。值得一提的是，“降噪”和“锐化”工具（对应降噪和减糊功能）是最近Google 照片编辑器更新的明星功能，能够改善不理想条件下、使用旧设备拍摄的糟糕画质。

‍

谷歌照片编辑器中的“降噪”和“锐化”工具

图像有多嘈杂?

为了准确处理图像，划分图像中发现的噪声类型和级别至关重要。因此，有人提出了一种衡量给定图片像素级别的噪声强度的方法，这种衡量方法保证了噪声强度与拍摄图像的设备无关。利用基于像素强度的函数关系为噪声级别建模，无论是来自于真实噪声源或是处理流程中的噪声都可以通过这一模型进行噪声级别估计。

也为了估计这种基于亮度的噪声水平，Google在图像中采样了许多小块，并在粗略去除图像中的底层结构后测量每个块内的噪声水平。这个过程在多个尺度上重复，使其对压缩、图像大小调整或其他非线性相机处理操作可能产生的伪影具有鲁棒性。

左边的两个部分说明了信号相关的噪声存在于输入图像(中图)。噪音在底部更突出，颜色更深，与底层结构无关，而是与光照水平有关。对这些图像片段进行采样和处理，以生成空间变化的噪声图(右图)，其中红色表示存在更多的噪声。

使用Polyblur/ Pull-push方法

有选择地降低噪声

谷歌利用图像上补丁的相似性来高保真地去噪。这种所谓的“非局部”去噪背后的原理是通过平均对具有相似局部结构的像素来达成的。然而，因为它们需要对具有相似局部结构的像素进行大范围搜索，这使得在使用上有些不切实际，也往往产生高计算成本。

Pull-push 的第一步是构建一个图像金字塔（即多尺度表示），每个连续级别都由“拉”过滤器（类似于下采样）递归生成。过滤器使用每像素加权方案来选择性地根据补丁相似性和估计的噪声将现有的噪声像素组合在一起，从而减少 “粗糙”级别的噪声。

粗糙级别（较低分辨率）的像素从更高分辨率中提取兼容像素。除此之外，粗糙像素中的每个合并像素还有从用于生成它的相似性权重计算的估计可靠性度量功能。因此，合并后的像素提供了简单的每像素、每级图像特征及其局部统计。通过在每个级别有效地传播此信息，Google能够以多尺度方式跟踪越来越大的区域的邻域统计模型。

在pull阶段评估像素到最粗略级别后，push阶段开始发力，从最粗略的级别开始升级到更精细的级别。在给定的尺度下，push阶段按照类似于pull阶段的过程生成“过滤”像素，不过这一次是从粗到细。

通过使用相应的可靠性权重对相同级别的像素以及较粗级别的像素进行加权平均，将每个级别的像素与较粗级别的像素融合。因为只包含平均可靠信息，这使 Google 能够在保留局部结构的同时减少像素噪声。这种选择性过滤和可靠性（即信息）多尺度传播也是使Pull-push在现有框架中脱颖而出的原因。

这一系列图像显示了过滤是如何通过Pull-push过程进行的。与使用固定(非数据依赖的)内核的传统多尺度方法相反，较粗糙的像素只从高像素级别提取和兼容像素。注意整个阶段的噪音是如何降低的。

Pull-push方法的计算成本很低，因为在一个非常大的领域上选择性地过滤相似像素的算法的复杂度仅与图像像素的数量成线性关系。在实践中，这种去噪方法的质量可与传统的非局部方法相媲美，且其运行成本仅为计算成本的一小部分。

使用pull-push的去噪图像增强方法

清晰度较差的图像可以被认为是由模糊内核操作的更原始的潜影。因此，如果可以识别模糊内核，则可以使用它来减少模糊，这被称为“去模糊”，即去除或减少由特定内核在特定图像上引起的不期望模糊效果。

相比之下，“锐化”是指应用锐化滤镜，不参考任何特定图像或模糊内核，从头开始构建。通常，典型的锐化滤波器也是局部操作，不考虑图像其他部分的信息。但去模糊算法的估计放眼整个图像，与任意锐化不同，后者在应用于已经锐利过的图像时会导致图像质量变差。

谷歌把轻微模糊作为处理重点，因为这种情况在技术上可行性更高、计算效率更高，处理结果也更优。

高斯模糊模型和示例模糊内核。右边的每一行都表示σ0、ρ和θ的可能组合。谷歌显示出了三个不同的σ0值，每个值有三个不同的ρ值。

在没有明显延迟的情况下计算和消除模糊需要一种比现有计算效率更高的算法，现有方法通常无法在移动设备上执行。Google曾经发现的一个有趣观察是：清晰图像中任何方向的图像梯度的最大值遵循特定的分布。找到最大梯度值非常有效，并且可以在给定方向上产生对模糊强度的可靠估计，有了这些信息，Google可以直接恢复表征模糊的参数。

Polyblur：通过重新模糊去除模糊

为了恢复给定模糊估计的清晰图像，Google理论上需要解决数值不稳定的逆问题，即去模糊化。随着模糊的强度，反演问题呈指数增长，变得更加不稳定。因此谷歌会针对轻度模糊去除的情况，也就是说，Google提前假设图像没有模糊到无法修复的程度。事实证明，这种方法也更加实用。

轻度模糊可以通过组合多个应用来有效去除

这意味着，与我们的常识相反，Google可以通过模糊几次图像最后达到去模糊的反效果。模糊的每次应用对应于一阶多项式，而重复应用对应于多项式中的高阶项。Google称之为polyblur，这种方式速度极快，只需要对模糊进行几次作用/操作即可。也因此，它在移动设备上几分之一秒内就能对百万像素图像进行操作。多项式的次数及其系数被设置为在不增加噪声和其他不需要的伪影的情况下反转模糊。