相信大家对将照片卡通化的图像处理功能都不陌生，通过软件后台对所选照片进行一定处理，将原图变成了一张具有卡通风的图片。市面上已有不少具备卡通化功能的软件以及app，很多都可以“一键”轻松生成用户想要的效果，方便处理使用。
目前该技术又迎来了新一轮的进步，只需一键上传你拍摄的图像或视频，就可以在很短时间内将它卡通化。其核心技术来自CVPR 2020的投稿论文，其中提出了用白盒卡通表征实现图像卡通化。这项工作利用生成对抗网络（GAN）框架来学习提取的表示并将图像卡通化，已在GitHub获得1400个Stars。作者称，他们还计划很快将开源所有代码。下一步，他们的目标是通过将模型移植来适应实时视频推理。
卡通相信大家都不陌生，从小时候的动画片开始发展至今，已经成了一种流行的艺术形式，且广泛应用于各种场景。现代卡通动画工作流程允许艺术家使用各种资源来创作内容。通过将真实世界的图片转换为可用的卡通场景素材，创造了一些著名的漫画，该过程被称为图像卡通化。但是图像卡通化听起来简单，实现起来可不容易。各种卡通风格需要基于特定任务或者先验知识才能开发可用的算法。例如，某些卡通工作流程更加关注全局调色板主题，但是线条的清晰度却是次要问题。而在其他一些工作流程中，稀疏和干净的色块在艺术表达中起着主导作用，但是主题却相对较少强调。这些变量因素给黑盒模型带来了不小的挑战。例如，当面对不同用例中艺术家的不同需求时，仅靠更改训练数据集是无济于事的。因此有了用于图像卡通化的CartoonGAN网络，其中提出了一种具有新颖边缘损失的GAN框架，并在某些情况下取得了良好的效果。但是，使用黑盒模型直接拟合训练数据会降低其通用性和风格化质量，在某些情况下会导致较差的效果。Joey doesn't share food 视频卡通化效果
在该论文中，作者提出了一种基于GAN的白盒可控的图像卡通化框架，该框架可以从真实图像中生成高质量的卡通化图像。输入图像被分解为三个卡通表征：轮廓表征，结构表征和纹理表征。然后使用相应的图像处理模块来提取用于网络训练的三个表征，并且通过调整损失函数中每个表征的权重来控制输出风格。最后通过广泛的定量和定性实验验证了文中方法的性能。同时消融实验也证明了每个特征表示的作用。
作者通过对人们绘画的行为和不同风格的卡通形象进行了大量的观察，并咨询了少数几位卡通艺术家，将图像分解为几种卡通表征方式，并将它们列出如下：第一步：提取一个带权重的低频内容表示图片的轮廓特征（surface representation）。这个低频内容保留了边缘/纹理等细节。这与艺术家画卡通时通常先描绘形状类似。第二步：针对输入图像，提取一个分割图，并且在每个分割区域上使用一个自适应的色彩算法来生成结构表征（structure representation）。这是模仿画卡通画时，边界清晰且色块稀疏的胶片（celluloid）风格。第三步：纹理表征（texture representation）是用来保持绘画细节和边缘的。将输入图像转换为仅保留相对像素强度的图像，然后引导网络独立地学习高频纹理细节。这与艺术家素描与上色是独立的两个过程类似。结果表明，该方法可以生成色彩和谐，令人愉悦的艺术风格，清晰锐利的边缘以及明显更少的伪影。
目前该方法在图像视频卡通化中的应用已经在Cartoonize软件上投入使用，以后极有机会推广至更多平台，这无疑是卡通爱好者的福音。AI通过不断的加强从而为人类带来新的体验已经不是新鲜事了，期待它为我们带来的一个新的动画世界。
部分素材来源：网络
