Deep Nostalgia: " 把过去赋予生命" ,解锁Deepfake让老照片动起来的奥秘

让创新获得认可 将门创投 今天

Deep Nostalgia— “深度怀旧”使用机器学习来动画静态图像人工智能可以通过“看”单个面部图像来使图像动画化,动画包括眨眼、微笑和头部倾斜等动作。

本文精采深度怀旧大火的照片一览,在Deep Nostalgia独特的忧郁氛围中感受Deepfake的神秘力量。

爆款Wombo app致力于让视频动起来,以其鬼畜的特效吸粉无数。戳这里走近Wombo的神奇世界~

今天要介绍的Deep Nostalgia则是主打“把过去赋予生命”让老照片动起来,风格倾向于高端大气。把亲属的静态图像制作动画,它的一些早期成果让人印象深刻。

图片
今年2月,以色列公司My Heritage推出了一款基于 Deepfake 技术的工具——Deep Nostalgia。

My Heritage专注于研究使用深度学习进行视频重现,可以对静态照片中的面孔进行动画处理,并创建高质量,逼真的视频片段。

系统通过预先确定的一系列动作和手势,如眨眼、微笑和转头,来激活面部图像。即整个过程是完全自动化,My Heritage预先录制几个模型视频,以 AI 训练过程中示例人物的动作摆姿势。

Deep Nostalgia根据脸部的朝向自动为面孔选择首选的驱动程序,然后将其无缝地应用于照片。产出结果是一个简短,高质量的视频动画,动画可以微笑,眨眼和移动等等。

My Heritage Photo Enhancer对照片进行动画处理之前先对其进行了增强,该模糊器使模糊和低分辨率的面部成为焦点,并提高了它们的分辨率。

图片
但这并不是说动画臻于完美了,与大多数Deepfake技术一样,这些图像仍然自带一种神秘的氛围,一些面部动作看起来不自然。除此之外,Deep Nostalgia也有其局限性,它只能制造出一个人脖子以上的动态伪造,所以如果想让集体照片动起来,或做任何形式的身体活动,该技术就会失灵。

但对于一个免费的Deepfake服务来说,深度怀旧还是相当给力的,尤其是考虑到你可以用它来制造任何Deepfake的面孔,不管是不是人脸。

感谢网友的实践精神,在《魔兽争霸》游戏图片上运行Deep Nostalgia后,得到了一段逐渐鬼畜化的视频,虽然这明显与Deep Nostalgia的定位和风格不符。

还有企图让历史人物动起来的…

让梵高动起来…

图片

“动起来的梵高看起来真的很绝望。”

图片

“太棒了”

“艺术博物馆的巅峰。”


那么,制作离开的人的Deepfake是不是有点令人毛骨悚然呢?有些人似乎是这么认为的。

“有些人喜欢Deep Nostalgia的功能,认为它很神奇,而另一些人认为它很可怕不喜欢它,”My Heritage在其网站上写道,“事实上结果有争议,但我们很难对这项神奇的技术无动于衷,所以,我们邀请大家使用这个功能创建影片,并在社交媒体上分享它们看看您的朋友和亲人的想法。这个功能是为了怀旧,也就是说,把生命还给我们所爱的祖先。”

在Deepfake持续火爆的市场中,Deep Nostalgia并不是第一个利用单一图片进行Deepfake的项目。

2019年,莫斯科三星人工智能中心的研究人员发表了一篇论文,描述了机器学习技术如何在“看”了一幅或几幅图像后就能制作Deepfake。研究人员使用生成式对抗网络(generative adversarial network)的框架,训练一对计算机模型相互竞争,以创造出令人信服的Deepfake作品。


最后,来看看怀旧老照片动图效果的操作步骤吧:

1、登录https://www.myheritage.cn/deep-nostalgia,在My Heritage上注册一个免费帐户。
2、点击上传照片,或者将您选择的照片拖放到相框中。
3、传照片后,AI会从图像中检测到的各个面孔中选择要进行动画处理的面孔。
4、My Heritage对照片中的一张脸进行动画处理需要10到20秒,具体取决于AI将其应用于视频的长度,如包含复杂手势动作需要更长的时间进行处理。
6、动画视频准备就绪后,会自动开始播放,将鼠标悬停在它上方可以随时暂停视频。
7、如果照片中的人物不止一个,AI会通过从照片下方的栏中进行选择来选择要进行动画处理的脸部,该栏中显示了图像中检测到的所有个人面孔。
From: Bigthink; 编译:Shelly
Illustrastion by Natasha Remarchuk from Icons8


- The End -

图片

扫码观看!

本周上新!

图片


关于我“

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务将门技术社群以及将门创投基金

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”: 
bp@thejiangmen.com
图片    
点击右上角,把文章分享到朋友圈