温馨提示:这篇文章已超过472天没有更新,请注意相关的内容是否还可用!
摘要:近年来,卷积神经网络在结构设计上取得了显著的发展和变迁。Inception-v2和Inception-v3的提出代表了这一领域的重要进步。这些网络结构通过改进和创新,如使用批量归一化、优化计算效率等策略,进一步提升了卷积神经网络的性能。它们对于计算机视觉等领域的应用产生了深远的影响。
前情回顾:
1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁——AlexNet
1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁——VGGNet
1.8.3 卷积神经网络近年来在结构设计上的主要发展和变迁——GoogleNet(inception-v1)
论文概述:
论文“Rethinking the inception architecture for computer vision”提出了Inception-v2和Inception-v3结构,该论文提出了关于网络结构设计的四个准则:
1、避免表达瓶颈,特别是在网络的前几层,要求信息在网络中流畅地从前到后传递,避免信息剧烈下降或产生瓶颈。
2、特征图通道越多,能表达的解耦信息就越多,有助于局部处理并加速网络训练。
3、对于特征图的空间域聚合操作,如3×3卷积,可以先压缩特征图的通道,这通常不会损失表达能力。
4、在限定计算量的情况下,需要平衡网络结构的深度和宽度。
Inception模块的发展:
该文中采用了与VGGNet相似的卷积分解思路,例如将5×5卷积核分解为两个3×3卷积核,或者更一般地将 (2k+1)×(2k+1) 卷积核分解为k个3×3卷积核。
另一种卷积分解是将k×k卷积分解为1×k卷积与k×1卷积的串联,也可以将这两种卷积的组织方式由串联改为并联。
Inception-v2与Inception-v3的对比:
Inception-v2主要是基于Inception-v1进行改进,引入了上述的卷积分解思路。
Inception-v3则进一步探索了网络结构的设计,可能包括更多的优化和改进,以缓解单纯使用池化层进行下采样带来的表达瓶颈问题。
辅助措施与效果:
为了提升最终的分类效果,论文中尝试给辅助分类器的全连接层加上批归一化和Dropout。
实验显示,扩大输入图片尺寸由224×224至299×299能提升网络性能。
Inception-v3在ImageNet 2012数据集的图像分类任务上,单模型能使Top-5错误率降至4.20%,采用标签平滑、多模型集成等辅助训练措施后,错误率可进一步降至3.50%。
参考文献:
《百面深度学习》 诸葛越 江云胜主编
出版社:人民邮电出版社(北京)
ISBN:978-7-115-53097-4
2020年7月第1版(2020年7月北京第二次印刷)
推荐阅读:
还没有评论,来说两句吧...