小白一枚,这一天听下来最感兴趣的一篇paper,后续等小编看完这个paper在更新详细讲解
《大卷积核神经网络设计》---微软亚洲研究院(张祥雨)1. 作者根据对ViT 的思考以及大卷积核的引出
RACV2021观点集锦 | 视觉transformer 从主干encoder 到任务decoder: 现状与趋势
总结
- 大卷积核的优势:更高效的提高了感受野;下游性能持续增大(尤其是在检测分割上,语义分割性能提高了很多)?为什么,因为提高了感受野的大小,提高了神经网络的Shape bias
- 大卷积核的劣势:难以兼顾局部特征;容易出现过度平滑的现象
- 另:作者的大卷积kernel做到了31*31
2. 源码/模型开放地址
·MegEngine: https://github.com/MegEngine/RepLKNet
·Pytorch: https://github.com/DingXiaoH/RepLKNet-pytorch
3.
大卷积核的工程优化:https://zhuanlan.zhihu.com/p/479182218
4.
RepLKNet论文解读:https://zhuanlanzhihu.com/p/481445076
·大kernel圆桌讨论视频:https://www.bilibili.com/video/BV16Y411n7bP
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)