brightendavid's blog

原创 ： Image Splicing Forgery Detection Combining Coarse to Refined Convolutional Neural Network and Adapti Image Splicing Forgery Detection Combining Coarse to Refined Convolutional Neural Network and Adapti 重庆邮电大学计算机科学与技术学院。西安电子科技大学网络工程学院 其实这几个作者发表的论文不少，经常可以看到，而且总是共同发表论文。 就是感觉发表的论文虽然多但是，都有点水。 记得还有一篇DUnet，也是这个团队发表的。 网络结构 Coarse 部分 预测一个粗略的估计。拿的是vgg16的基本架构。 Refined 部分 基本的结构和Coarse 部分相同，可能多了几层的卷积。把Coarse 部分的结果直接输入到Refined 部分。 后处理部分Adaptive Clustering Approach 后处理的手法应该是挑最大的一个聚 ...

原创 ： Image Splicing Localization Using Superpixel Segmentation and Noise Level Estimation Image Splicing Localization Using Superpixel Segmentation and Noise Level Estimation 2019 12th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI) 根据超像素划分每个图像块， 对每个图像块 求噪声水平， 对于上面的图像块-噪声水平 求聚类 默认，小的聚类是篡改区域，大的聚类是原本的背景。 超像素分割有很多的好处，能够划分边界。使用超像素划分图像直接就简化问题。但是splicing里面也有一些路子很野的，不考虑语义信息，乱篡改图像的，这种情况可能就会出现问题了。 因为此时，篡改区域可能被分到不同的超像素中， 这种情况是可行的，因 ...

原创 ： Image Tampering Detection via Semantic Segmentation Network Image Tampering Detection via Semantic Segmentation Network 基于语义分割网络的篡改检测 Proceedings of ICSP2020 基本的思想是 篡改的目的在于混淆，混淆的手段在于语义物体。由此，语义检测的语义信息可以帮助篡改检测。 觉得很有道理，符合人类正常的思维。之前也有过这样的想法。但是实际上，还是有些差异，这个是使用的网络模型，而不是直接使用网络参数真的做语义分割。 要是有人实际试一试带有语义分割信息的篡改检测就好了。 实际的原理可能在于篡改检测是一种特殊的语义分割问题，人眼无法判断出其中的语义，并不说明实际没有语义差异。 多任务的模型 多任务感觉还是很流行的。 尤其是边缘和区域的这种双任务模式。 但是区域和边缘是可以转化的，不直接使用其中的一个，而用多任务。认为是这个原因。 不直接使用区域检测的结果提取边缘 或者直接使用边缘检测填充 ...

原创 ： Image splicing detection using mask-RCNN Image splicing detection using mask-RCNN Signal, Image and Video Processing (2020) 14:1035–1042 https://doi.org/10.1007/s11760-020-01636-0 据传第一张篡改图像 虽然数字成像提供了许多创造的可能性，但它也可以用来制作伪造的文件。图像篡改几乎和摄影技术本身一样古老，早在1865年，当时摄影师马修·布雷迪将弗朗西斯·p·布莱尔将军添加到一张原始照片中，让他似乎在场。 数据生成法 理想的篡改检测数据集 ： 足够大的数据集 包含不同类型 现有的公开数据集并不能满足足够条件点名批评Columbia 使用coco数据集生成大量的splicing图像 这个就比大多数拿现成的篡改数据集训练模型的论文要优秀的多了。 12万张篡改图像。 This dataset consists of 80 classes, 80,000 ...

原创 ： MULTI-TASK WAVELET CORRECTED NETWORK FOR IMAGE SPLICING FORGERY DETECTION AND LOCALIZATION MULTI-TASK WAVELET CORRECTED NETWORK FOR IMAGE SPLICING FORGERY DETECTION AND LOCALIZATION 多任务的基于小波池化矫正的网络 三个多任务 一个区域的篡改检测 一个边缘的篡改检测 一个重构解码器来重构输入图像lx。编码器学习到的特征信息越多，重建图像IxR的质量就越好。 后半部分网络结构相同，但是不共享参数。 分别拿三个Loss去约束。 三个输出相互独立，个人认为还是把区域的pred 和边缘的pred 后面加入一个融合的小网络比较好，层数不用太多，4-5层应该就可以。 或者说，直接给一个权重，信任边缘pred的结果，边缘基本按照边缘去给也可以。 Wavelet-pooling 基于小波的池化操作和上采样操纵 池化对于图像细微特征的破坏不是什么新东西了。 滤波核的参数是学习参数 ...

原创 ： ManTra-Net: Manipulation Tracing Network For Detection And Localization of Image Forgeries With Anom ManTra-Net: Manipulation Tracing Network For Detection And Localization of Image Forgeries With Anom 篡改检测问题可以看作是特殊的语义分割问题 是一个局部异常检测问题。 重点 主要贡献 （1）ZPool2D DNN层，以Z-score方式标准化了局部特征与其参考之间的差异； （2）从远到近的分析，该分析对从不同分辨率汇集的ZPool2D特征图执行Conv2DLSTM顺序分析。 ZPool2D计算 区域的主要特征定义为所有像素的平均。 主要特征和其他特征的差异为DF，是像素的数值-主要特征的数值。 ZF为DF的标准化。 像素级的分类。输出每个像素的pred篡改类型，总计为385个小类别。 385个小类别是由篡改类型分类 7分类 细化分类 ...

原创 ： Multi-task Fully Convolutional Network (MFCN)和single-task FCN(SFCN) Multi-task Fully Convolutional Network (MFCN)和single-task FCN(SFCN) Image Splicing Localization Using A Multi-Task Fully Convolutional Network (MFCN) 多任务的全卷积网络篡改检测问题 旧有的区域检测网络可以提供篡改区域的掩膜，但是对于篡改区域与原图的边缘往往是区分的很粗糙的。 但是若是篡改边缘的检测，那么对于篡改边缘的预测想必会好一些。 但是篡改边缘的问题也十分的明显，篡改边缘是极其容易被掩盖的。 甚至如今PS就自带了类似边缘模糊的功能。 如下图是通过PS自动套索工具产生的一个特定无意义区域。 观察周边的半透明像素，当这个图层与其他图层堆叠，半透明的像素就会和下面的图层的颜色做一个调整,篡改的边缘能够剩下多少就很难说了。 篡改边缘检测的阻力还是很大的。 这一点 ...

原创 ： Numpy实现大矩阵减去小矩阵的方便运算 Numpy实现大矩阵减去小矩阵的方便运算 把一个向量加到矩阵的每一行: 调用numpy库 完成cs231作业1，numpy 参考知乎CS231n课程笔记翻译：Python Numpy教程 使用一重循环 123456789101112131415161718# We will add the vector v to each row of the matrix x,# storing the result in the matrix yimport numpy as npx = np.array([[1,2,3], [4,5,6], [7,8,9], [10, 11, 12]])v = np.array([1, 0, 1])y = np.empty_like(x) # Create an empty matrix with the same shape as x# Add the vector v to each row of the matrix x with an explicit loopfor i i ...

原创 ： Operation-wise Attention Network for Tampering Localization Fusion Operation-wise Attention Network for Tampering Localization Fusion 2021 arXiv 选取5种篡改检测方法做了一个加权的网络，来联合使用5种方法得出的预测图。这个网络真的做的简单。 RGB->5个特征+5个权重->RGB? 但是最后的输出是不是应该的单通道的H*W的mask图。 总觉得这种方法有点耍赖。但是篡改检测的最终方向一定是类似这种方法，把所有的线索都进行考虑，然后对不仅要由所有的线索推断篡改痕迹，所有的线索之间的联系做一个相关，不相关的线索认为是造假的(欺骗检测方法的)，最后综合的判断篡改的像素。 这5种方法使用的线索是jpg压缩线索，图像的噪声线索。就是用的方法有点老了，都是2015，2018的算法。 那么这个方法的应用就必然是jpg篡改了。 train 使用 DEFACTO dataset 百度学术的链接，不是数据集 ...

原创 ： PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Locali PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Locali arXiv 2021 Mar 图像的篡改检测分为隐式检测和显式检测 隐式检测 说明了图像整体篡改的概率 显式检测 说明逐像素篡改的概率 即判定一张图片是否经过篡改 和 像素级别的定位篡改 近年来的算法太过于关注像素级的定位，而忽略了图片整体的篡改概率。 但是就信息量而言，定位的信息已经包括了图片整体的篡改概率了。 比如说，要说明一个人是坏人，首先要说明他干了什么坏事才对。 指出人干了什么坏事，说明是坏人 一般的图像篡改检测算法输出的Pred 不是一个二值化的分类mask图像，而是在0-255之间的灰度图像。 无论是边缘还是区域，人 ...