超火AI变脸特效来袭!马云、马斯克与蔡徐坤一起「蚂蚁呀嘿」,李开复随即“Only you”~

报道智能未来的 AI科技评论 今天
图片

蚂蚁呀嘿,蚂蚁牙呼,蚂蚁牙呼呼呼~

  作者 | 贝爽
相信不少朋友一大早就被这首“蚂蚁呀嘿”洗脑了,这个BGM原本出自新加坡歌手郭美美的《不怕不怕》(由 Dragostea Din Tei演唱的O-Zone改编而来)。原歌词是“Mai a hee ,mai a hu,Mai a ho mai a ha ha”,后来被网友们简称为“蚂蚁呀嘿”。
昨日,一款以“蚂蚁呀嘿”为BGM特效在抖音快手微博B站朋友圈等各大平台迅速走红,仅在抖音上的超话就达到了 9.7 亿。

图片

这款特效的玩法非常简单,只要上传一张照片,照片上的任何人物、动物、卡通人物都能和你一起扭动脖子唱上一首“蚂蚁呀嘿,蚂蚁牙呼,蚂蚁牙呼呼呼~”简直不要太上头,一起来感受下~
巴菲特、马斯克、马云、雷军一起来“蚂蚁呀嘿”~~
(“蚂蚁给了多少钱,我WX给双倍图片”)
还有德云天团,虽然只是动图但感觉已经听到了声音......太魔幻了

蚂蚁呀嘿~~,尖沙咀闻风丧胆的浩南哥在出任务前也可以来上一段。

再魔幻的BGM,THE9唱起来画面还是那么美....

看到这里,你是不是已经打开抖音准备来个合拍了?不过你会发现在抖音上传照片后只有一个BGM,不能达到特效的效果。
其实,这个“蚂蚁呀嘿”并不是抖音特效,而是出自国外的一款AI软件——Avatarify。

1

最新神曲蚂蚁呀嘿~

有的朋友看到“Avatarify”可能会有种莫名的熟悉感。其实这款Avatarify 软件最早出现在2020年初,当时因一则“马斯克换脸”视频在国内外一度刷屏。
年初,新冠疫情在全球迅速蔓延,很多人被迫宅在办公,一位来自俄罗斯的程序员Ali Aliev觉得整天在家里开视频会议太无趣,他决定用AI换脸恶搞一下同事,于是就有了Avatarify。
在视频通话过程中,Ali Aliev用Avatarify软件把自己的头像换成了世界首富马斯克,同事们看到大佬出现在了会议中,一时也是惊呆了。

可以看出,视频中的AI换脸从五官、发型的效果非常好看不出一点破绽,而且如果讲话面部表情也随之微动,不过不能讲话,一讲话可能就露馅了。
这则恶搞视频发布到YouTube网站后,受到网友们热捧,该项目在 GitHub平台也迅速登上了热榜。不过其火爆程度远不如今日,因为当时还是一个代码库,用户需要有一定的机器学习基础,才能在电脑上设置。
正是考虑到这一点,最近Ali Aliev将Avatarify做成了一个APP的形式,大大降低了用户的使用门槛。

如图所示,它的产品评分超过了4000+,排名一直高居iOS 摄影录像榜第一。
APP版的Avatarify进行了优化,它包含了十几种不同的换脸特效玩法,其中就包括在国内迅速出圈的“蚂蚁呀嘿”。

就像前段时间的“Clubhouse”,Avatarify在国内也可以说是一夜爆火,而且其火爆程度可以说远超当下的抖音、快手、腾讯微视的AI特效。
那么它为什么能够做到呢?其中原因当然少不了简单易用,只需要一张照片,全民皆可参与;效果逼真,特效无违和感;还有就是无论是世界首富、娱乐明星、电影角色、动漫人物都可以被恶搞来娱乐大众。
不过最重要的还是它魔性的BGM,以及随BGM实时匹配的五官表情,这个节奏简直不要太上头。
近几年,AI在娱乐领域的应用越来越广泛,各种AI特效在短视频平台层出不穷,抖音、快手、微视也先后打造过款爆火特效。不过相比之下,更多处在AI换脸、换发型、秒变漫画脸等图像合成的阶段,还未有声音与图像合成的特效产品推出。
不过相信,这次“蚂蚁呀嘿”特效爆火之后,各大短视频平台会抓紧抄作业
这不,赶在各大平台之前,李开复老师的微信公众号号刚刚发来了一首“Only you~”
趁着今天元宵节,应景闹元宵~



2

使用教程

想要制作这个同款特效,需要使用两个软件
一个是Avatarify软件,它仅支持苹果手机下载,完成数字验证。另一个是加速器,它可以解锁Avatarify上更多特效,其中包括“蚂蚁呀嘿”。
全部下载完成后,接下来的操作就非常简单了,找到一张想要恶搞的照片,选择蚂蚁呀嘿”几秒钟就可以直接出效果视频了:

之后就可以任意上传至抖音、微博等各大社交平台了。
总结一下:

1、在iOS移动端下载Avatarify

2、在应用商店下载腾讯加速器,领取三天免费会员,在搜索框输入“Avatarify”,点击加速。

3、打开Avatarify APP可以看到“Mai-ha-hi—O-Zone”,也就是蚂蚁呀嘿

不过,目前Avatarify仅支持iOS系统。不少用户也是酸了,每次第一个吃螃蟹的都是iOS。

不过从Clubhouse的案例来看,相信没多久就会有类似app推出了吧。
小编提示,换脸特效毕竟涉及面部隐私,大家还是要注意隐私安全哦~

3

技术解析

Avatarify背后所用的技术基于名为First Order Motion的核心模型,这个模型可以对视频中的对象进行动画处理,并生成视频序列。
First Order Motion模型来自 NeurIPS 2019 论文《First Order Motion Model for Image Animation》,最初的目的是让“静态图片”动起来。如下图所示:“你动,它也动”。
              
这个视频教程手把手的介绍了整个论文的工作,戳下了解详情☟

整个模型分为运动估计模块和图像生成模块两个主要组成部分。在运动估计模块中,该模型通过自监督学习将目标物体的外观和运动信息进行分离,并进行特征表示。
而在图像生成模块中,模型会对目标运动期间出现的遮挡进行建模,然后从给定的名人图片中提取外观信息,结合先前获得的特征表示,进行视频合成。
该模型对硬件要求比较高,想实现33帧/秒的视频效果,需要一张1080ti显卡,也即需要英伟达10系显卡中的卡皇加持。

First Order Motion模型运作流程

更多技术细节参见:

DeepFake 新高度:一阶运动模型让“万物皆可动”


附:AI换脸常见方法回顾
我们秉承以往的风格,从技术角度简单回顾一下近几年重要的 AI 换脸技术。

Cycle GAN

Cycle GAN 可以说是所有人脸转换尝试重要早期尝试。在对抗性生成式网络(GANs)的风潮中,大家发现只要给定源类别的样本和目标类别的样本,GANs 可以便捷地学习到两个类别之间的转换关系,就天然地适用于「图像到图像转换」问题,比如同一张风景照的冬天到夏天、一匹马到一匹斑马;Cycle GAN 核心思路在于,如果能从源转换到目标、还能从源转换回来,就可以认为模型很好地学习到了两个类别间的转换关系,也更好地保证了转换后的图像的品质。不过 Cycle GAN 的换脸效果并不怎么好,它毕竟是一个对所有类别的图像通用的方法。

Face2Face

Face2Face 可以说是一次「标准的、规矩的」的尝试,它借助 dlib 和 OpenCV,首先人脸检测器检测出源图片中的人脸、找到人脸上的关键标记点,然后再使用针对人脸的 pix2pix 转换模型把关键标记点转换为目标人脸图像。也许是因为这个方法没有给深度学习留下足够的发挥空间,所以它的效果也一般般。

在此之后,英伟达和 UC 伯克利的研究人员们根据 pix2pix 改进出了 pix2pixHD,提升了人脸图像的生成效果,而且也依然保持了原 pix2pix 模型的多类别通用能力。

DeepFakes

最火热、最广为流传的深度学习换脸模型无疑是 DeepFakes。出现于 2017 年底的 DeepFakes 是一个深度自动编解码器模型(Autoencoder-Decoder),通过用源人物和目标人物的几百张照片(越多越好)训练模型分别识别、还原两人面部的能力。最后用源人物的照片搭配目标人物的解码器就可以完成转换。它也对视频到视频的转换有良好支持。
DeepFakes 的缺点在于,它无法在小样本上工作,意味着无法凭一两张照片替换任意两个人的脸部;模型的训练过程也需要消耗大量资源。
DeepFakes 刚刚公开时也仅限于技术爱好者们之间交流,也并没有发布正式的论文。但一些盖尔·加朵的换脸动图一下子引爆了关注。今年年初曾经热炒的「杨幂换脸朱茵」视频也很可能是用这个方法实现的,因为 DeepFakes 中的编码器经过足够的训练后确实能够具有将任意输入人脸(比如朱茵的人脸)转换为高质量、高逼真度的目标人脸(杨幂人脸)的能力。

DeepFakes 的 GitHub 地址:https://github.com/deepfakes/faceswap
如今它还在持续更新升级;后来推出了还名为 FakeApp 的桌面应用程序,便于更多 TensorFlow 玩不转的小白用户尝试。
DeepFakes 式的「把目标图像中的人脸换成另一张脸」可能未来也很难减小样本数量要求和资源要求,所以也有另一种思路,那就是给定一张人脸图像,然后根据给定的动作让图中的人「动起来」。三星莫斯科 AI 研究中心联合斯科尔科沃科学技术研究所在今年 5 月发表的一篇论文就带来了不错的结果。不仅是真人的照片,他们甚至可以让油画中的人自然地开口说话。


AI科技评论
AI科技评论
聚焦AI前沿研究,关注AI青年成长
1738篇原创内容
公众号

由于微信公众号试行乱序推送,您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道, 请将“AI科技评论”设为星标账号,以及常点文末右下角的“在看”。