原创

： PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Locali

PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Locali

arXiv 2021 Mar

图像的篡改检测分为隐式检测和显式检测
隐式检测 说明了图像整体篡改的概率
显式检测 说明逐像素篡改的概率

即判定一张图片是否经过篡改和像素级别的定位篡改

近年来的算法太过于关注像素级的定位，而忽略了图片整体的篡改概率。

但是就信息量而言，定位的信息已经包括了图片整体的篡改概率了。

比如说，要说明一个人是坏人，首先要说明他干了什么坏事才对。
指出人干了什么坏事，说明是坏人

一般的图像篡改检测算法输出的Pred 不是一个二值化的分类mask图像，而是在0-255之间的灰度图像。

无论是边缘还是区域，人眼都是可以看出篡改面积的大小的。

在这里插入图片描述

前半部分网络

专注于融合多尺度的特征

自上而下输出的特征图变为上层的1/2.

所有的block 全部为stage1标注的相同。

后半部分网络

在这里插入图片描述
提供最终的结果，由粗到细的思想。

分辨率较小的输出提供精确度较小的预测图。

所有的输出pred ，全部由gt经过resize之后使用交叉熵loss进行约束。

同时得到了像素级的Pred和图像整体的篡改概率。

图像整体的概率由0/1标注。经过篡改为1，未经过篡改为0。
同样由交叉熵loss约束。

在这里插入图片描述
mask由
下层的mask 经过上采样到与上层特征相同，在与上层特征做点乘作为SCCM的输入。SCCM不改变图像的大小。得到新的mask ，为SCCM 的输出。

这是把前一个mask 当作是后一个mask的先验。

最终的loss函数

很容易理解就是5个交叉熵loss。
在这里插入图片描述

SCCM

得到全图的篡改概率

Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, Yang
Zhao, Dong Liu, Yadong Mu, Mingkui Tan, Xinggang Wang, et al. Deep
high-resolution representation learning for visual recognition. PAMI,
2020. 2, 3,
在这里插入图片描述
Detection Head 的输入为4个特征。Detection Head的构造由上引用论文给出，。