原创

: Image splicing detection using mask-RCNN

Image splicing detection using mask-RCNN

Signal, Image and Video Processing (2020) 14:1035–1042
https://doi.org/10.1007/s11760-020-01636-0

据传第一张篡改图像

虽然数字成像提供了许多创造的可能性,但它也可以用来制作伪造的文件。图像篡改几乎和摄影技术本身一样古老,早在1865年,当时摄影师马修·布雷迪将弗朗西斯·p·布莱尔将军添加到一张原始照片中,让他似乎在场。

数据生成法

理想的篡改检测数据集 : 足够大的数据集 包含不同类型
现有的公开数据集并不能满足足够条件点名批评Columbia

使用coco数据集生成大量的splicing图像
这个就比大多数拿现成的篡改数据集训练模型的论文要优秀的多了。
在这里插入图片描述
12万张篡改图像。
This dataset consists of 80 classes, 80,000 training images, and 40,000 validation

数据增广法

对伪造的图像可以进行后处理,以更改因伪造过程而产生的任何伪影。为了创建一个能够检测后处理图像中伪造的稳健模型,在计算机生成的数据集上使用了图像增强技术。这些技术包括旋转、位移、剪切和缩放。在旋转过程中,图像以在0◦到360◦之间随机选择的角度进行旋转。在位移过程中,对图像应用空间位移,宽度和高度位移随机选择在0到0.4之间。移动图像后,将其裁剪到原始尺寸。剪切利用40◦和−40◦之间的随机转换强度来创建一个剪切矩阵。然后,使用仿射变换将该矩阵应用于图像,导致图像的上部向右移动,下部向左移动。在缩放过程中,通过从图像范围[1,10]的宽度和高度中随机选择两个缩放值,对图像应用缩放。这些值用于创建缩放矩阵,并使用仿射变换应用于图像。缩放后,图像被裁剪到其原始尺寸。在训练过程中,四种增强技术应用于图像的概率为0.50。因此,图像没有增强或所有四种技术应用的概率为0.0425。添加增强的图像扩展了图像数据集,提高了泛化能力,并有助于防止过拟合。

模型初始化

一直觉得模型初始化设置什么正态分布的模型参数的是一种迷信。

模型

模型部分说的很抽象。
在这里插入图片描述
region proposal network (RPN)
获得
regions of interest (RoI)
进行
RoI pooling
获得重要特征
特征插值? 到同样大小
在这里插入图片描述