创新背景

自从记录的视觉媒体出现以来，“眼见为实”逐渐变得具有欺骗性，从琐碎的小事到有不明飞行物的假电影乃至更严重的问题。深度伪造（Deepfake）是被称作“生成式对抗网络”（GAN）的机器学习模型将图片或视频合并叠加到源图片或视频上，借助神经网络技术进行大样本学习，将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。

创新过程

深度伪造（Deepfake）是结合混合源材料以产生合成结果的图像和视频，使用范围极为广泛，检测它们的方法一直受到追捧，最新技术通常基于使用原始和合成图像对训练的网络。

新型合成图像（SBI）

东京大学计算机视觉与媒体实验室的副教授Toshihiko Yamasaki和研究生Kaede Shiohara探讨了与人工智能等相关的漏洞，对于深度伪造的问题有了新的想法，决定研究改善合成内容检测的方法。

使用不同的操作方法（DF，F2F，FS和NT）制作深度伪造照片，然后使用已建立的样本深度伪造数据集（FF ++）训练深度伪造检测器，而使用研究人员的自混合图像（SBI）训练重复检测器。两个探测器得到了上面的深度伪造照片。假彩色图像列显示了使用现有数据集的训练和使用 SBI 的训练之间的差异。

许多不同的检测深度伪造的方法以及各种可用于开发新数据的训练数据集往往在训练集的范围内表现良好，但在多个数据集上表现不佳。研究人员认为改进成功检测的方法可能是重新思考训练数据的使用方式，创新开发了自混合图像（SBI）。

新方法通过使用以独特方式创建的新型合成图像SBI来训练算法，可以明显改进旨在发现深度伪造图像和视频的算法。

处理过程

用于深度伪造检测的典型训练数据由成对的图像组成，包括未经处理的源图像和对应的伪造图像，例如在一张图像上，某人的脸或整个身体已被其他人的脸或整个身体替换。使用此类数据进行训练将检测限制为某些类型的视觉损坏或伪影。

研究尝试了包含合成图像的训练集。通过这种方式，他们可以控制训练图像包含的工件类型，从而可以更好地训练检测算法来查找此类工件。

研究团队从已建立的数据集中获取清晰的人物源图像，并引入了不同的细微伪影，例如，调整图像大小或重塑图像。然后将该图像与原始未更改的来源混合在一起。混合这些图像的过程取决于源图像的特征，以便只有处理图像的某些部分才能进入混合输出。许多SBI被编译到修改后的数据集中，被用来训练探测器。

数据集检测效率

研究小组发现，修改后的数据集将检测准确率提高了约5%至12%，具体取决于与原始数据集进行比较后的结果。检测准确率的提高它可能会使恶意的人以某种方式成功或未能影响他们的目标受众。

自混合图像检测在静止图像上效果最好，但视频可能会出现还无法检测到的时域伪像。此外，深度伪造通常只是部分合成的。研究将继续探索检测完全合成图像的方法。

创新关键点

通过混合来自单个原始图像的伪源图像和目标图像、再现常见的伪造伪影创建新型合成图像SBI，使用自混合图像（SBI）检测深度伪造。

创新价值

使用自混合图像检测深度伪造将有助于信息真实性检查，未来可能会进入社交媒体平台和其他服务提供商，以便更好地标记可能纵的图像，并发出某种警告。