1.8.4 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v2 和Inception-v3，卷积神经网络的发展与变迁，Inception-v2与Inception-v3的结构设计研究

摘要：近年来，卷积神经网络在结构设计上取得了显著的发展和变迁。Inception-v2和Inception-v3的提出代表了这一领域的重要进步。这些网络结构通过改进和创新，如使用批量归一化、优化计算效率等策略，进一步提升了卷积神经网络的性能。它们对于计算机视觉等领域的应用产生了深远的影响。

前情回顾：

1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁——AlexNet

1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁——VGGNet

1.8.3 卷积神经网络近年来在结构设计上的主要发展和变迁——GoogleNet（inception-v1）

论文概述：

论文“Rethinking the inception architecture for computer vision”提出了Inception-v2和Inception-v3结构，该论文提出了关于网络结构设计的四个准则：

1、避免表达瓶颈，特别是在网络的前几层，要求信息在网络中流畅地从前到后传递，避免信息剧烈下降或产生瓶颈。

2、特征图通道越多，能表达的解耦信息就越多，有助于局部处理并加速网络训练。

3、对于特征图的空间域聚合操作，如3×3卷积，可以先压缩特征图的通道，这通常不会损失表达能力。

4、在限定计算量的情况下，需要平衡网络结构的深度和宽度。

Inception模块的发展：

该文中采用了与VGGNet相似的卷积分解思路，例如将5×5卷积核分解为两个3×3卷积核，或者更一般地将 (2k+1)×(2k+1) 卷积核分解为k个3×3卷积核。

另一种卷积分解是将k×k卷积分解为1×k卷积与k×1卷积的串联，也可以将这两种卷积的组织方式由串联改为并联。

Inception-v2与Inception-v3的对比：

Inception-v2主要是基于Inception-v1进行改进，引入了上述的卷积分解思路。

Inception-v3则进一步探索了网络结构的设计，可能包括更多的优化和改进，以缓解单纯使用池化层进行下采样带来的表达瓶颈问题。

辅助措施与效果：

为了提升最终的分类效果，论文中尝试给辅助分类器的全连接层加上批归一化和Dropout。

实验显示，扩大输入图片尺寸由224×224至299×299能提升网络性能。

Inception-v3在ImageNet 2012数据集的图像分类任务上，单模型能使Top-5错误率降至4.20%，采用标签平滑、多模型集成等辅助训练措施后，错误率可进一步降至3.50%。

参考文献：

《百面深度学习》 诸葛越 江云胜主编

出版社：人民邮电出版社（北京）

ISBN：978-7-115-53097-4

2020年7月第1版（2020年7月北京第二次印刷）

推荐阅读：