商汤研发部门SenseTime Research的研究人员与新加坡南洋理工大学合作,设计了一个新的大规模基准DeeperForensics-1.0来检测人脸伪造,该基准是同类产品中最大的,质量和多样性都很高,比其他数据集更加接近现实世界场景。100位计算机专家对DeeperForensics-1.0中包含的视频子集质量进行排名时,报告指出与其他流行的Deepfake检测语料库相比,DeeperForensics-1.0在规模上的真实性均领先。「福利:今晚19:00,腾讯微信人工智能高级研究员钱桥手把手教你“推荐系统与数据思维”,戳右边链接上 新智元We站公开课 了解更多!」
人脸交换严格就DeepFake的一种。就是将已有的人脸提取出来,用其他人脸代替,已被MixBooth和SnapChat之类的应用程序所普及。但是因为该技术门槛逐渐降低,也引发人们对该技术被滥用的担忧。
多组研究人员已经在想办法研发侦测之术,但目前为止,已发布的样本数量相对较少或过于依赖人工。因此,商汤的研发部门与新加坡南洋理工大学合作,设计了一个新的大规模基准来检测人脸伪造,被称为DeeperForensics-1.0。
研究人员称DeeperForensics-1.0是同类产品中最大的,拥有60000多个视频,其中包含大约1760万帧。
研究人员称,DeeperForensics-1.0中的所有源视频都是经过精心挑选的,因为它们的质量和多样性都很高。
从表面上看,它们比其他数据集更真实,因为它们更接近于现实世界中的检测场景,并且它们包含与野外发现的压缩,模糊和传输伪影相匹配的伪影。
为了构建DeeperForensics-1.0,研究人员从26个不同国籍、20岁到45岁不等的100名付费男女演员中收集了面部数据。
他们被指示在九种照明条件下转动头,并自然说出53种表达。研究人员通过一个AI框架(DeepFake Variational AutoEncoder或DF-VAE)运行这些文件,使用1000个YouTube视频作为目标视频,其中100个演员的脸中的每一个都被交换为10个目标。
他们故意以35种不同的方式扭曲每个视频,以模拟现实情况,从而最终数据集包含50000个未操纵的视频和10000个操纵的视频。
研究人员在一份详细说明其工作的预印论文中写道:“我们发现,源面部在构建高质量数据集方面比目标面部发挥着至关重要的作用。” “特别是,源面部的表情,姿势和照明条件应该更丰富,以便执行可靠的面部交换。”
研究人员还在DeeperForensics-1.0中创建了他们所谓的“隐藏”测试仪-精心挑选的400个视频集,以更好地模拟真实场景中的假视频。 整理场景涉及收集由未知的面部交换方法生成的伪造视频,并用真实场景中常见的失真遮盖它们,然后在用户研究中仅从100个人类观察者中选择欺骗了至少50个的视频。
为了评估DeeperForensics-1.0与其他公开数据集的质量,研究人员要求100位计算机视觉专家对其中包含的视频子集的质量进行排名。 他们报告说,与FaceForensics ++,Celeb-DF和其他流行的Deepfake检测语料库相比,DeeperForensics-1.0在规模上的真实性平均领先。
在未来的工作中,研究团队打算逐步扩展DeeperForensics,并与研究界合作,共同确定面部伪造检测方法的评估指标。
与Deepfake的斗争似乎正在加剧。 去年夏天,DARPA的Media Forensics计划的成员测试了一种原型系统,该系统可以通过查找不自然的闪烁等提示来自动检测AI生成的视频。 像Truepic这样的初创公司在7月筹集了800万美元的资金 ,他们正在尝试使用Deepfakes的“检测即服务”业务模型。 2019年12月,Facebook与AI伙伴关系 ,微软和学者共同发起了Deepfake检测挑战赛 ,该挑战赛将提供数百万美元的赠款和奖励,以刺激Deepfake检测系统的开发。