Physical Attack on Monocular Depth Estimation with Optimal Adversarial Patches
研究动机
现有的针对MDE的adversarial attack方法分为digital和pysical两个方面的。
数字层面通常是对像素点添加扰动，这样的攻击肉眼难以分辨，但是现实中的操作性不大。物理层面是针对真实的物理物体，通常是通过添加对抗性补丁的方式。
与数字层面相比，真实世界的攻击因为攻击需要对多样的摄象与几何变换具有鲁棒性的扰动，并且隐秘性较低。本文提出一个隐秘的针对MDE的真实世界攻击方式，并且提出了一个针对目标物体的隐秘、高效、鲁棒的真实物体的对抗性补丁的优化框架。并且在多个下游感知任务和多个训练集里进行了实验。
网络模型
首先通过风格变换处理patch，接着和Patch Mask融合，两者综合到攻击对象上，最后将攻击对象与随机场景融合。
Adversarial Perturbation Generation
patch与图像的拼接操作如下：
为了增强攻击的鲁棒性，实施了Expectation of Transofrmation，来随机改变目标的大小、旋转方向、明亮程度、饱和度。目标的水平位置是随机的，但是高度位置通过如下的公式进行计算：
最后生成的图像就是：
loss计算
Sensitive Region Localization
将mask转化为如下的函数：
同时用tanh来近似：
同时如上图所示，最终的mask形状可以随意改变。
loss
总的Loss
