【速览】ECCV 2020 | 用于模型保护的神经网络架构搜索（Anti-Bandit）

原创薛松、陈翰林中国图象图形学学会CSIG

学会“成果速览”系列文章旨在将图像图形领域会议期刊重要成果进行传播，通过短篇文章让读者用母语快速了解相关学术动态，欢迎关注和投稿~

◆ ◆ ◆ ◆

用于模型保护的神经网络架构搜索(Anti-Bandit)

HanlinChen

^1

, Baochang Zhang

^{1*}

, Song Xue

^1

, Xuan Gong

^{2*}

, Hong Liu

^3

, Rongrong Ji

^3

, and David Doermann

^2

^1

Beihang University,

^2

University at Buffalo,

^3

Xiamen University

ECCV 2020

撰稿人：薛松、陈翰林

推荐理事：林宙辰

原文标题：Anti-Bandit Neural Architecture Search for Model Defense

论文地址：http://arxiv.org/abs/2008.00698

◆ ◆ ◆ ◆

摘要

深度卷积神经网络(DCNNs)被认为是机器学习领域中表现最好的方法，但也会受到对抗攻击的挑战。在本文中，我们使用神经网络架构搜索(NAS)技术搜索能够防御对抗攻击的鲁棒性网络，称之为anti-bandit NAS（ABanditNAS）。ABanditNAS基于置信区间上界和下界(LCB和UCB)，并且综合了新的操作评估措施和搜索过程。不像传统的bandit算法仅仅使用 UCB 进行评价，我们使用 UCB 去放弃摇臂来提高搜索效率，并且采用LCB使得摇臂间得到公平的竞争。大量的实验表明，ABanditNAS 足够高效，而在PGD-7下，CIFAR-10比现有技术提高了8.73%。

研究背景

深度学习模型，在图像分类、实例分割、目标检测等计算机视觉任务上都取得了成功。然而，现有的深度模型对于对抗攻击很敏感，在输入图像中添加一个察觉不到的扰动会使模型得到错误的结果。Szegedy等人[1]注意到，这些对抗样本可以在多个模型之间转移，一个模型生成的对抗样本可能也会误导其他模型。因此，在现实世界场景中部署的模型容易受到对抗攻击。虽然研究者们已经提出了许多方法来防御这些攻击，但改进网络训练过程被证明是最有效的方法之一。这些方法将对抗样本注入到训练数据中，对网络进行再训练。另外，还有预处理的防御方法，它将对抗图像转换为干净图像，然后再将其输入到分类器。最近使用NAS去搜索对抗鲁棒性结构成为了一个新的研究热点。NAS因其在各种深度学习任务中的出色表现而备受关注。Cubuk等人[2]通过NAS调查了对抗鲁棒性对网络架构的依赖性。Dong等人[3]提出了一种用于医学图像分割的神经结构搜索框架。此外，Guo等人[4]利用one-shot NAS来了解网络架构对对抗攻击的影响。尽管基于NAS的方法已经取得了良好的性能，但这一方向仍有待进一步探索。

算法简介

在本文中，我们将NAS看作是一个多臂老虎机问题，并将一种新的anti-bandit算法引入到对抗鲁棒性网络结构搜索中。为了提高对各种攻击的鲁棒性，我们设计了一个包含各种操作的综合搜索空间，如去噪块、无参数操作、Gabor滤波器和卷积。然而，由于复杂的搜索空间和对抗训练导致的学习效率低下，搜索鲁棒网络结构比传统的NAS更加困难。为了处理庞大而复杂的搜索空间，我们开发了一种基于置信区间上界(UCB)和下界(LCB)的anti-bandit算法。我们的anti-bandit算法使用UCB来减少搜索空间，使用LCB来保证每个摇臂在被抛弃之前都经过了公平的比较。利用LCB，早期性能较差的操作(如带参数的操作)将获得更多的机会，但一旦确定它们效果差，就会丢弃它们。由于早期的操作并不一定是最优的，但是在早期最坏的操作通常有一个较低的性能，因此，我们利用UCB修剪最坏的操作前，通过LCB公平的进行评估。这意味着我们最终保留的操作组成的结构是一个接近最优的网络结构。另一方面，随着操作剪枝过程的进行，搜索空间越来越小，搜索过程越来越高效。我们的框架如图1所示，它突出显示了ABanditNAS如何从非常复杂的搜索空间中找到鲁棒的体系结构。

与DARTS[5]中的搜索空间不同，我们基于正常单元（mormal cell）和缩减单元（reduction cell）上搜索v(v>2)种单元（cell）。虽然这样增加了搜索空间，但是在ABanditNAS中，我们的搜索空间是不断减小的，因此搜索过程是高效的。如图2（a）所示，一个单元是由M个中间节点{

B_1

B_2

B_3

……

B_M

}，一个输入节点和一个输出节点连接形成的有向无环图，每个节点

B_i

将其前面的节点作为输入，并通过所选操作

B_j=O^{(i,j)}(B_i)

生成输出。每一个节点都是一个特定的张量（比如：在卷积神经网络中表示为一个特征图），

B_i

和

B_j

之间的有向边

（i,j）

表示一个操作

O^{(i,j)}(.)

，这个操作采样自

\Omega^{(i,j)}=\left \{ O_{1}^{i,j} ,\cdot \cdot \cdot O_{k}^{(i,j)}\right \}

。每个单元都将前一个单元的输出作为输入，为了便于描述，我们将前一个单元的输出节点定义为当前单元的输入节点

B_0

。操作集合

\Omega

包含九种操作，前七种与DARTS[5]相同，分别是3*3最大池化，3*3平均池化，跳跃连接，3*3卷积，5*5卷积，3*3深度可分离卷积，以及5*5深度可分离卷积，另外两种是3*3Gabor滤波器（图2（b））和去噪块（图2（c）），因此整个搜索空间是

K^{\left | \epsilon _{M} \right |\times \upsilon }

，其中

\epsilon _{M}

是在全连通的有向无环图中具有M个中间节点的可能边的集合。一个单元的搜索空间是由所有边的操作构成的，用

\left \{ \Omega ^{(i,j)} \right \}

表示。在实验中，我们定义M=4，v=6，再加上输入节点，整个单元架构的搜索空间是

9^{(1+2+3+4)\times 6}= 9^{10\times 6}

。

UCB算法通常用来解决多臂老虎机问题，UCB算法公式(1)如下：

其中

\hat{r}_{k}

表示平均奖励。

n_k

是摇臂K被选中的总次数。第一项

\hat{r}_{k}

是价值项，第二项是探索项，它使选择获得了一个以

logN

增长的探索奖励。这个总值可以解释为一个置信区间的上界，使得每个摇臂k的真实平均报酬高概率低于这个UCB。

采用UCB的bandit算法并不适用于NAS，因为从巨大的搜索空间(例如

9^{60}

)中选择摇臂太耗时了，特别是在计算资源受限的情况下。为了解决这一问题，我们引入了一种anti-bandit算法，通过在传统的bandit算法中加入上置信界(UCB)和下置信界(LCB)来减少摇臂。我们首先定义(LCB)如下公式(2)：

使用LCB从大量摇臂中抽取摇臂进行更多的试验。较小的LCB意味着被选择次数较少的摇臂(较小的

n_k

)被给予更多的机会进行试验抽样。与传统的基于最大UCB来选择摇臂的bandit不同，我们使用UCB放弃值最小的操作，这就是为什么我们的算法叫做anti-bandit的原因。

遵循采用UCB的bandit算法，我们先得到每条边上每个操作的初始性能。具体来说，我们对每条边从操作集合

\Omega _{(i,j)}

里 k个操作中采样一个操作, 然后获得最初的验证精度

a

，它是通过对被采样的网络进行一个epoch的对抗训练得到的，最后将这个精度分配给所有的采样操作。

考虑每条边的第k个操作的置信度，计算出LCB：

其中N是当前采样的总次数，

n_{k,t}^{(i,j)}

为边

(i,j)

的第k个操作被选择的次数，t是epoch的索引，公式(3)中的第一项是价值项，表示第k个操作的性能，第二项是探索项，它使操作获得一个以

log N

增长探索奖励。每个操作的选择概率定义为:

公式（4）中的负号意味着我们倾向于采样到更小置信度的操作。基于

p\left ( O_{k}^{(i,j)} \right )

对每条边采样一个操作后，对采样网络进行一个epoch的对抗训练得到验证精度a，然后更新性能

m_{k,t}^{(i,j)}

为：

其中

\lambda

是超参数。

m_{k,t}^{(i,j)}

表示历史上所有采样操作

O_k^{(i,j)}

的验证精度。最后，在

K*T

次采样之后（其中T是超参数），我们根据公式（1）计算UCB的置信值：

我们放弃每条边上UCB值最小的操作。这意味着虽然被给予了更多机会，但仍然性能较差的操作被删除了。这种剪枝策略使得搜索空间每次修剪时从

\left | \Omega \left ( i,j \right ) \right |^{10*6}

降低到

\left | \Omega (i,j)-1 \right |^{10*6}

。降低后的搜索空间可以表示为：

反复进行这种简化过程，直到在每条边只剩下一个操作就得到了最优结构。

实验

我们在两个基准数据集(MNIST和CIFAR-10)上对ABanditNAS进行了实验，并将ABanditNAS与最先进的鲁棒模型进行比较。如表1所示，我们用40步和100步对抗攻击对训练后的网络进行评估，并与LeNet进行比较。从这些结果可以看出，无论使用哪种攻击，使用随机初始化的FGSM对抗训练的ABanditNAS都比使用PGD-40对抗训练的LeNet算法更鲁棒。另外，该方法对干净图像的处理效果最好（99.52%），而且鲁棒性强。表2显示，与手工设计或NAS搜索的其他模型相比，在黑盒攻击情况下，它们几乎不影响ABanditNAS搜索的结构。

表3显示，与wide-ResNet相比，ABanditNAS-10不仅在PGD-7中获得了更好的性能（50.0% vs 58.74%），而且参数更少（45.9M vs 5.188M）。虽然VGG-16的结果是在PGD-10下，但是ABanditNAS-10在更严重的攻击PGD-20下取得了更好的性能（46.04% vs 50.51%）, 与NASNet相比，我们的方法在对抗训练中获得了更好的性能：在PGD-7下，比NASNet提高了8.73%，而且搜索速度更快（7*2000 vs 0.08）。

结论

我们提出了一种ABanditNAS的方法来搜索鲁棒的结构来防御对抗攻击。为了解决复杂的搜索空间所带来的挑战性问题，我们引入了一种anti-bandit算法来提高搜索效率。大量的实验表明，提出的ABanditNAS比其他先进的NAS方法要快得多，在对抗性攻击下，ABanditNAS取得了比其他方法更好的性能。

参考文献

[1] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I.,Fergus, R.: Intriguing properties of neural networks. In: ICLR (2013)

[2] Cubuk, E.D., Zoph, B., Schoenholz, S.S., Le, Q.V.: Intriguing properties of adver-sarial examples. In: ICLR (2017)

[3] N.Dong, M.Xu, X.Liang, Y.Jiang, W.Dai, E.Xing: Neural architecture search for adversarial medical image segmentation. In: MICCAI (2019)

[4] M.Guo, Y.Yang, R.Xu, Z.Liu: When nas meets robustness: In search of robust architectures against adversarial attacks. CVPR (2020)

[5] Liu, H., Simonyan, K., Yang, Y.: Darts: Di_erentiable architecture search. In: ICLR (2018)

重要通知

【通知】关于2020年度中国图象图形学学会自然科学奖、技术发明奖、科技进步奖推荐工作的通知

【通知】关于2020年度中国图象图形学学会优秀博士学位论文奖推荐工作的通知

【通知】关于2020年度CSIG石青云女科学家奖推荐工作的通知

继续滑动看下一个