论文名称:图卷积神经网络可以走向更深吗?(究极缝合怪)
出自:ICCV 2019 Oral
作者单位: 阿卜杜拉国王科技大学
引言:
卷积神经网络很好,因为它很深,并且由残差连接保证性能的提高。在现有的Graph Convolution Network 只有三到四层,而本文提出的缝合怪有56层。
前言:在后续的论文中,在深度GCN上的论文并没有多少,现有的缝合怪论文体系中并没有它的太多身影。直至2021年12.28日,两年时间内,引用次数为420+次 。
可以看出来,在GCN的狂潮下,这篇文章还是属于热门文章的。而我们也能够充GCN的代码堆叠中看出来,通过不同形式的模块堆叠是能够起到增加模型学习能力的目的的。
在这篇文章里,主要叙述了一下残差网络、denseNet的功能和效果,并且将他们的思路引入到GCN中,与原始的GCN不同,这里的集成模块由GCN的backbone和融合模块和MLP预测模块组成。
融合模块类似于SE的结构,而mlp是分类器最后的常用 *** 作,只不过后面逐渐被1*1的卷积代替了。
在GCN的backbone,作者给定了三个;
plainGCN
ResGCN
DenseGCN
可以说三者的区别仅仅是跳过连接的数量不同。所以这样能够最大程度的保留原有数据的特征信息,减少梯度过平滑的情况,也就是梯度消失问题的出现。
直接上图
显然,这种backbone + 特征融合(likely SE_block)+MLP (classify)模式定下来,接下来的工作就是换backbone了。
很明显,三种backbone,plain 和 res的k, f都相等,而dense则将f减半,而res和Dense都使用了空洞卷积,这样的好处就是参数量会变少,所以综合这种设计,我们可以猜想,这网络的计算量是有的,并且按照作者当时的背景,一个大型的私立研究所尚且对于图卷积的参数要控制,我们在设计网络架构的时候也要注意,可以将空洞卷积用于GCN中来减少参数!
现在的想法暂时是这样,实验为王!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)