最新资讯风向标

揭秘!原来它就是火爆全网蚂蚁呀嘿背后的黑科技

2021-08-29 13:29 作者: 来源: 本站 浏览: 29次 字号:

摘要:   这两天最让人上头的神曲是什么?非蚂蚁呀嘿莫属呀!   这个仅用一张照片、一段视频就能做的魔性视频,这两天在某博、某抖和某手上疯狂刷屏。傲娇的表情配合洗脑的音乐,再加上各界大佬的倾情演绎,让人看过一遍就再也忘不了,真可谓失眠时,没有一只蚂蚁是无辜的。   ...

  这两天最让人上头的神曲是什么?非蚂蚁呀嘿莫属呀!

  这个仅用一张照片、一段视频就能做的魔性视频,这两天在某博、某抖和某手上疯狂刷屏。傲娇的表情配合洗脑的音乐,再加上各界大佬的倾情演绎,让人看过一遍就再也忘不了,真可谓失眠时,没有一只蚂蚁是无辜的。

3.gif

  蚂蚁呀嘿火爆全网,各式各样的制作教程也随之而来。其中,最方便的莫过于用PaddleGAN(百度飞桨的生成对抗网络工具套件)来实现。它不仅完全免费,还省去了下载Avatarify(最新消息,该App已被下架)和加速器等多个软件的麻烦,让你无需下载和频繁切换,三步就能生成自己的蚂蚁呀嘿小视频。

  接下来就给大家介绍两种制作方法,并揭秘背后的核心技术原理。

  第一种:小白版教程

  首先,大家可以点击下方链接,进入AI Studio(人工智能学习与实训社区)中的【天下第一AI武道会-Deepfake换脸】项目,基础版或高级版两种运行环境皆可:

  第二步是备好素材:一张源图片和一个驱动视频。源图片就是你想让他唱歌的照片,只保留人物脖子以上部分,尺寸要求256*256,图片文件名改为【01。 png】。驱动视频则是单人唱着蚂蚁呀嘿的小视频,可以从网上直接搜索下载,视频文件名改为【02。 mp4】。(注意png和mp4都是小写)

  第三步上传图片和视频,并点击运行全部,然后静候几分钟即可。待页面左侧出现名为export。 mp4的文件,即为运行成功,专属于你的蚂蚁呀嘿就这样出炉啦。

2.gif

  

(第一步:在AI Studio中搜索并运行项目)

3.gif

  

(第二步:备好一张源图片和一个驱动视频)

4.gif

  

(第三步:上传素材并运行全部)

  第二种:进阶版教程

  因为有些同学不只想做蚂蚁呀嘿,还想自己录制面部动作,生成任意题材的花样视频,甚至是开发Avatarify这样的App或小程序,走上致富之路,而这通过飞桨也都能实现。

  飞桨已将蚂蚁呀嘿的核心技术开源于PaddleGAN套件中,在AIStudio平台实现了完整的在线项目【PaddleGAN表情动作迁移进阶版】,大家可以根据需要,使用AIStudio的免费算力,实现更多脑洞大开的动作迁移效果!

  进阶版制作起来同样分为三步,并都是在AIStudio平台上实现,这里继续以蚂蚁呀嘿为例进行介绍。首先,大家可以下载PaddleGAN代码。

  !git clone

  !pip install -r requirments。txt

  接下来,使用表情迁移命令。

  命令:

  !export PYTHONPATH=$PYTHONPATH!/home/aistudio/work/PaddleGAN python -u tools/first-order-demo。py –driving_video ~/fullbody。MP4 –source_image ~/秃头乔哥。png –relative –adapt_scale

  只需在如下命令中的driving_video参数和source_image参数分别换成自己的视频(蓝色部分)和照片路径(黄色部分),即可运行得到蚂蚁呀嘿小视频。

  ·; driving_video! 驱动视频,模型将学习视频中人物的面部表情

  ·; source_image:源图片,模型将驱动视频中的人物表情迁移至源图片的人物上

  这个视频目前还没有配乐,所以还需要第三步,为视频配上声音。

  运行以下命令即可生成最终的蚂蚁呀嘿专属视频啦(本例中的视频文件名为export。mp4)!

  videoclip_1 = VideoFileClip(“;/home/aistudio/fullbody。MP4″;)

  videoclip_2 = VideoFileClip(“;。/output/result。mp4″;)

  audio_1 = videoclip_1。audio

  videoclip_3 = videoclip_2。set_audio(audio_1)

  videoclip_3。write_videofile(“;。/output/export。mp4″;, audio_codec=”;aac”;)

5.gif

  

(生成效果图)

  蚂蚁呀嘿视频的核心技术是动作迁移算法FirstOrderMotion,它的功能是将人物A的脸部动作搬移到人物B身上,让人物B的脸演绎人物A的表情。

image010.gif

  FirstOrderMotion算法的结构图如下:

5.gif

  简单来说,FirstOrderMotion能够通过自监督的方式学习到图像中的关键点。不需要提前知道目标的一些信息,比如骨架等就可以实现动作迁移。

  PaddleGAN的表情迁移能力灵活支持各类不同表情的面部迁移,不仅是蚂蚁呀嘿,其他魔性动作也都能制作。除此之外,PaddleGAN这个免费开源的宝藏套件还包含数十种能力,包括唇形合成(对嘴型)、视频/照片修复(上色、超分、插帧)、人脸动漫化、照片动漫化等等。能实现让蒙娜丽莎播新闻、修复百年前的老照片、或是将普通的风景照二次元化等各种神操作,一个比一个厉害!

image010.gif

  

(唇形合成)

9.jpg

  

(老照片修复)

10.gif

  

(照片动漫化)

  如果你也想不下载App就能做魔性视频,或是有更多、更大的脑洞想要实现,指路百度AI Studio亲自试试吧!