能够看到过世老人栩栩如生的样子令人感到很兴奋,但也有些人对此感到恐怖。
虽然人人现在都用手机拍照,家家户户仍然会保有一本老相片册,里面装着我们一家人一生中重要的照片。逢年过节回家翻阅这本相片册,人们可能会惊讶低发现,自己原来和年轻时的爷爷、奶奶,甚至曾祖父祖母长得如此像——这正是基因的神奇之处。
就在最近,美国一家名叫My Heritage的基因检测公司,在深度学习算法的帮助下,推出了一项全新的免费服务:用户可以在它的网站上传老照片,而算法能够将静态的照片变成动态的短视频,让照片中可能已经过失的祖先,变得栩栩如生。
使用方法也非常简单,只是需要用户在My Heritage上注册一个账号,(14天免费试用,期间可以随时取消),才可以上传照片。上传后只需要稍等10-20秒,照片“活化”的小视频就自动生成了。这项服务的名字叫做Deep Nostalgia(深度怀旧)。顾名思义,它采用了深度学习技术,对照片中的人像进行追踪和“活化”。
它的技术后台已经包括了一套10个预设“driver”,也即已经包含了一系列表情变化和动作的原始视频,再对用户上传的静态照片套用这些预设的 driver,得到新的动态视频。
那些在老照片里不苟言笑的帅哥美女们,经过Deep Nostalgia的“复活”,变得栩栩如生。
Deep Nostalgia其实有点像iPhone拍照的Live Photos。这个功能能够保存下用户在按下快门前后一小段时间内的所有画面,可以让用户在其中选择最好看的一帧,也可以生成一段小视频。
Deep Nostalgia的效果也差不多,就像是记录下了你的祖先当时在拍照的那一小段时间内的表情变化——虽然是假的,但你有这份心,相信祖先们也不会有意见的。
回到技术上,它的提供者是另一家公司D-ID(全名De-IDentification)。根据介绍,这家公司非常擅长使用深度学习技术进行视频重演 (video reenactment)。
上个月 My Heritage 用一张美国前总统林肯的黑白照片,加上基于机器学习的填色、表情动画等技术做了一条广告片,其背后的技术和 Deep Nostalgia 相同,即是由 D-ID 开发的:
My Heritage还透露了关于Deep Nostalgia更多的技术细节。比如在“活化”照片之前,后台需要先将用户上传的照片进行增强,生成一张高清晰度的照片做底(而这本身就利用了相关的机器学习技术)。据该公司透露,增强照片能够确保照片视频化的质量更高,效果更好。
以及,由于技术的限制,如果你有一张家人团圆的大合照的话,Deep Nostalgia每次只能指定其中的一张人脸,目前没有办法让大家一起活在同一张照片里:(
这是硅星人用自己照片得到的结果:
尽管略微遗憾,My Heritage的后台还是有更多功能的。在此之前,用户已经可以在后台上传一些黑白老照片,My Heritage可以自动给它们加上颜色:
而在新增的照片“活化”功能上,用户也可以进一步选择想要套用的driver(表情组合)。可选的driver一共有10种,有的看起来很真实,有的则会因为人像的发型/表情/面向等,效果会显得有点假。当然,这毕竟是用深度学习技术驱动的技术,对它的要求也不用太高。
My Heritage是一家美国的基因血检公司,和大家可能更加熟悉的23andMe是同业公司,用户只需要用该公司推出的简易检测包,提交自己的基因,即可查看自己的族裔人种构成,祖先在地球上的迁移路线,制作家谱,甚至还有可能寻找到失散的亲人。
可以说,My Heritage帮助用户让老照片重焕新生,让他们看到“活着”的祖先,也算是在自己的主营业务基础上,锦上添花了。
回到Deep Nostalgia,它背后的D-ID公司在造脸这件事上确实能力很强,不过该公司也宣称它开发的技术都是用于增强用户隐私,确保符合监管。
在此之前,D-ID的核心技术有两款,一款是Advanced facial blurring,也即对照片进行深度学习处理,让普通人看起来毫无差别,却无法让人脸识别算法破解。
另一款叫做Video anonymization。比如在一些纪录片里经常会出现匿名受访者,面部需要被挡住,要加变声器。而D-ID提供的技术可以直接给这些匿名受访者换一张脸,能够保留原本的面部表情,但完全认不出来。
在机器人技术和心理学的领域有一个著名的恐怖谷理论 (Uncanny Valley),指的是随着机器人与人类在外表、动作上的相似程度越来越高,到了某个特定程度时,反而会令人感觉十分恐怖。机器人/生成的假人哪怕与真实人类有一丁点区别都会非常显眼,令人有面对僵尸的感觉。
My Heritage也的确提到,有一部分用户可能会对Deep Nostalgia生成的视频结果感到毛骨悚然,会不喜欢这样的结果。
“确实,生成的结果可能会有争议。我们希望你能够尝试和分享这些功能,了解家人和朋友对于它的想法,”该公司在网站上写道,“这个功能的设计目的时为了怀旧,让我们深爱的祖先能够‘复活’。为了避免滥用(比如 deepfake),我们的 driver 也不包含任何语音部分功能。请仅在你自己的老照片上进行尝试,不要未经允许使用其它生者的照片。”
最近几天,类似的人脸活化和DeepFake技术确实引起了一些轰动,以及不小的争议。
去年年初,俄罗斯程序员Ali Aliev在家无聊,决定用DeepFake把自己的脸换成伊隆马斯克。他后来把这项技术做成了一个短视频应用Avatarify,受到很多用户(其中也包括很多名人)的欢迎。
今年春节期间,开始有中国网友用Avatarify制作了一帮首富演唱洗脑神曲“Dragostea Din Tei”(就是“嘛咿呀嘿”那首歌)的DeepFake视频,在抖音、微博等社交平台上引发病毒传播:
也是在最近,一位专业的汤姆克鲁斯模仿者使用DeepFake技术制作的TikTok短视频在互联网上引起热议。这位模仿者的账号名叫@deeptomcruise(现在已经被封),上面有不少他模仿克鲁斯的视频。
专业人士在对比他的声音,以及人脸表面错误的光照效果之后,能够比较轻松地判定这是DeepFake的结果。不过这些视频在普通用户的眼前,足以以假乱真……