枣庄美食:ACNet: 稀奇的想法,腾讯提出连系注意力卷『积的二叉神』经树举行细〖粒度〗分类 | CVPR 2020

2020-04-27 29 views 0

扫一扫用手机浏览

论文提出了连系注意力卷积的二叉神经树举行【弱监视的‘细粒度’分类】,在树结构的边连系了<注意>力卷积操作,在每个『节点』使用路由函《数》来界说从根『节点』到「叶」子『节点』的盘算路径,连系所有叶子『节点』‘的’展〖望〗值举行最终的展〖望〗,论文的创意『{和}』效果来看(都十分不错)

泉源:‘晓飞’的算法工程条记 『民众号』

论文: Attention Convolutional Binary Neural Tree for Fine-GRained Visual Categorization

  • 论文地址:https://arxiv.org/abs/1909.11378

Introduction

  ‘细粒度’分类(Fine-GrAIned Visual Categorization, FGVC)是图片分类的一个分支,由于种别间的相似性非常大,一般人比较难区分,所以是个很有研究意义的领域。「受神经树研究的启」发,{论文}设计了连系注意力卷积的二叉神经树结构(attention convolutional binary neural tree architecture, ACNet)用于【弱监视的‘细粒度’分类】,论文的主要孝敬如下:

  • 提出连系注意力卷积的二叉神经树结构ACNet用于‘细粒度’分类,在树结构的边上连系了<注意>力卷积操作,在每个『节点』使用路由函数从而界说从根『节点』到「叶」子『节点』的盘算路径,{类似}于神经网络。这样的结构让算法有{类似}于神经网络的表达能力,「以及能够从粗到」细的『层』级举行特{征}学习,差别的分支专注于差别‘的局部区域’,最后连系所有叶子『节点』‘的’展〖望〗值举行最终的展〖望〗
  • 添加attention transformer 模块来增强网[络获取要{害特{征}}举行准确分类
  • 《在三个》数据集CUB-200-2011、Stanford Cars『{和}』Aircraft上达到了SOTA

Attention Convolutional Binary Neural Tree

  ACNet<包罗>4个模块,分别是主干网络(bacKBOne network)、分支路由(branch routing)、attention transformer『{和}』标签展〖望〗(label prediction),{如图}2‘{所}示’。将ACNet界说为$(\mathbb{T},\mathbb{O})$,$\mathbb{T}$为树状拓扑结构,$\mathbb{O}$(为树)边的操作集。论文使用{满二叉树}$\mathbb{T}={\mathcal{V},\mathcal{E}}$,$\mathcal{V}={v_1,...,v_n }$‘为『节点』’,$\mathcal{E}={e_1,...,e_k }$为边,对于树深$h$,共$n=2h-1$『节点』,$k=2h-2$边。每个『节点』为路由模块,决议下一个盘算『节点』,【边接纳】attention transformer 举行操作[。「另外」,{满二叉树}$\mathbb{T}$接纳了非对称结构,《例如》左边使用两个transformer模块,右边使用一个transformer模块,这样有利于提取差别尺 寸的特{征}[

Architecture

  • Backbone network module

  『由于』细粒度种别的要害特{征}都是高度局部的,需要使用相对较小的感受域来提取特{征},因此主干网络使用截断的VGG-16网络,输入改为$448\Times 448$

  • Branch routing module

  分支路由用来决议子『节点』的选择,结构{如图}2b‘{所}示’,$k$-th『层』的$i$-th路由模块$\mathcal{R}_i^k(\cdot)$由$1\times 1$卷积『{和}』global context block组〖成〗

  global context block的也许结构如上图a‘{所}示’,〖来自〗GCNet的论文中。在context modeling『{和}』fusion步骤使用了siMPlified NL block,在transform步骤使用了SE block,这个模块能够很好地连系上下文信息来提取特{征},最后使用global average pooling、element-wise square-root、L2正则化以及sIGmoid(激活的全毗邻『层』输)出标量$[0,1]$
  假设分支路由模块$R_i^k(x_j)$ 输[出样本$x_j\in X$到右边『节点』的概【率为】$\phi_i^k(x_j)\in [0,1]$,则输出到左边『节点』的概【率为】$1 - \phi_i^k(x_j)$,概率越大的『节点』对最终效果的影‘响’越大

  • Attention transformer

  Attention transformer模块用于增强网络获取要害特{征}的能力,在$3\times 3$卷积后面插入结构{如图}2c‘{所}示’的attention模块,该模块的旁路输出一个巨细为$\mathbb{R}^{C\times 1\times 1}$的channel attention map对输入特{征}举行加权

  • Label prediction

  对于ACNet的每个叶子『节点』,用标签展〖望〗模块$\mathcal{P}i$来展〖望〗目的$x_j$的种别,$r_i^k(x_j)$为目的$x_j$从根『节点』到k『层』第i个『节点』的累计概率,展〖望〗模块由$1\times 1$卷积『层』、max pooling『层』、L2归一化『层』、全毗邻『层』『{和}』softmax『层』组〖成〗,通过求『{和}』所有的叶子『节点』的展〖望〗效果『{和}』路径累<计概率的>乘积获得最终的展〖望〗$\mathcal{C}(x_j)={\sum}{i=1}{2{h-1}}\mathcal{P}_i(x_j)r_i^h(x_j)$

  最终的展〖望〗效果$\mathcal{C}(x_j)$的各项『{和}』为1,论文对其举行了证实,【有兴趣的】可以去看看,主要基于叶子『节点』的累计概率『{和}』为1,各叶子『节点』的展〖望〗效果『{和}』也为1

Training

  • Data augmentation

  在训练阶段,使用裁剪『{和}』翻转操作举行数据增强, 首先将图片缩放至短边[512像素,然后随机裁剪到$448\times 448$,<随机>举行翻转

  • Loss function

  ACNet的损失函数由两部分组〖成〗,分别为叶子『节点』展〖望〗发生的损失以及最终效果发生的损失。$h$为树高,$y*$为GT,$L(\mathcal{P}_i(x_j),y)$为最终展〖望〗效果的负对‘数似然损’失,$L(\mathcal{P}(x_j),y^)$‘为第’$i$个叶子展〖望〗效果的负对‘数似然损’失

  • OptiMization

  主干网络使用在ILSVRC上预训练的模子,使用"xavier"举行所有卷积『层』的随机初始化,整个训练历程<包罗>两阶段,第一阶段牢固主干网络训练60周期,‘第二阶段则使用小学’习率对整个网络举行200周期的fine-tune

Experiments

  训练共需要512G内存,8张V100,(下面)的实验主要跟弱监视的〖细粒度算法〗举行对比,即不需要分外的标注的〖细粒度算法〗

CUB-200-2011 Dataset

Stanford Cars Dataset

Aircraft Dataset

Ablation Study

  • Effectiveness of the tree architecture

  {如图}5‘{所}示’,使用树状结构能够显著提升准确率,使用Grad-CAM发生heatmap来对叶子『节点』对应的‘响’应区域举行可视化,发现差别的叶子『节点』关注的特{征}区域各不一样

  • Height of the tree

  • Asymmetrical architecture of the tree

  《论文对比左右路径的》attention transformer数的对称性对识别的影‘响’

  • Effectiveness of the attention transformer module

  {如图}5‘{所}示’,attention transformer(模块能够有效地提升)模子的准确率

  • Components in the branch routing module

  《论》文发现差别的分支路由模块关注的特{征}区域也不一样,图6的可视化效果分别为图2的R1、R2『{和}』R3『节点』使用Grad-CAM获得的‘响’应区域

CONCLUSION

  论文提出了连系注意力卷积的二叉神经树举行【弱监视的‘细粒度’分类】,在树结构的边上连系了<注意>力卷积操作,在每个『节点』使用路由函《数》来界说从根『节点』到「叶」子『节点』的盘算路径,连系所有叶子『节点』‘的’展〖望〗值举行最终的展〖望〗,论文的创意『{和}』效果来看(都十分不错)



若是本文对你有辅助,“贫苦点个赞或在”看呗~
更多内容请关注 微信『民众号』【‘晓飞’的算法工程条记】

,

suNBet手机版官网下载

欢迎进入sunbet手机版官网下载!Sunbet 申博提供申博开户(sunbet开户)、SunbetAPP下载、Sunbet客户端下载、Sunbet代理合作等业务。

皇冠体育网站内容转载自互联网,如有侵权,联系皇冠APP下载删除。

本文链接地址:http://www.wx-gangguan.com/post/1087.html

相关文章

发表评论