1.8.4 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v2 和Inception-v3,卷积神经网络的发展与变迁,Inception-v2与Inception-v3的结构设计研究

马肤

温馨提示:这篇文章已超过472天没有更新,请注意相关的内容是否还可用!

摘要:近年来,卷积神经网络在结构设计上取得了显著的发展和变迁。Inception-v2和Inception-v3的提出代表了这一领域的重要进步。这些网络结构通过改进和创新,如使用批量归一化、优化计算效率等策略,进一步提升了卷积神经网络的性能。它们对于计算机视觉等领域的应用产生了深远的影响。

前情回顾

1.8.4 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v2 和Inception-v3,卷积神经网络的发展与变迁,Inception-v2与Inception-v3的结构设计研究 第1张

1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁——AlexNet

1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁——VGGNet

1.8.3 卷积神经网络近年来在结构设计上的主要发展和变迁——GoogleNet(inception-v1)

论文概述

论文“Rethinking the inception architecture for computer vision”提出了Inception-v2和Inception-v3结构,该论文提出了关于网络结构设计的四个准则:

1、避免表达瓶颈,特别是在网络的前几层,要求信息在网络中流畅地从前到后传递,避免信息剧烈下降或产生瓶颈。

2、特征图通道越多,能表达的解耦信息就越多,有助于局部处理并加速网络训练。

3、对于特征图的空间域聚合操作,如3×3卷积,可以先压缩特征图的通道,这通常不会损失表达能力。

4、在限定计算量的情况下,需要平衡网络结构的深度和宽度。

Inception模块的发展

该文中采用了与VGGNet相似的卷积分解思路,例如将5×5卷积核分解为两个3×3卷积核,或者更一般地将 (2k+1)×(2k+1) 卷积核分解为k个3×3卷积核。

另一种卷积分解是将k×k卷积分解为1×k卷积与k×1卷积的串联,也可以将这两种卷积的组织方式由串联改为并联。

Inception-v2与Inception-v3的对比

1.8.4 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v2 和Inception-v3,卷积神经网络的发展与变迁,Inception-v2与Inception-v3的结构设计研究 第2张

Inception-v2主要是基于Inception-v1进行改进,引入了上述的卷积分解思路。

Inception-v3则进一步探索了网络结构的设计,可能包括更多的优化和改进,以缓解单纯使用池化层进行下采样带来的表达瓶颈问题。

辅助措施与效果

为了提升最终的分类效果,论文中尝试给辅助分类器的全连接层加上批归一化和Dropout。

实验显示,扩大输入图片尺寸由224×224至299×299能提升网络性能。

Inception-v3在ImageNet 2012数据集的图像分类任务上,单模型能使Top-5错误率降至4.20%,采用标签平滑、多模型集成等辅助训练措施后,错误率可进一步降至3.50%。

参考文献

《百面深度学习》 诸葛越 江云胜主编

出版社:人民邮电出版社(北京)

ISBN:978-7-115-53097-4

2020年7月第1版(2020年7月北京第二次印刷)

推荐阅读


0
收藏0
文章版权声明:除非注明,否则均为VPS857原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 【研发日记】Matlab/Simulink自动生成代码(二)——五种选择结构实现方法,Matlab/Simulink自动生成代码的五种选择结构实现方法(二),Matlab/Simulink自动生成代码的五种选择结构实现方法详解(二)
  • 超级好用的C++实用库之跨平台实用方法,跨平台实用方法的C++实用库超好用指南,C++跨平台实用库使用指南,超好用实用方法集合,C++跨平台实用库超好用指南,方法与技巧集合
  • 【动态规划】斐波那契数列模型(C++),斐波那契数列模型(C++实现与动态规划解析),斐波那契数列模型解析与C++实现(动态规划)
  • 【C++】,string类底层的模拟实现,C++中string类的模拟底层实现探究
  • uniapp 小程序实现微信授权登录(前端和后端),Uniapp小程序实现微信授权登录全流程(前端后端全攻略),Uniapp小程序微信授权登录全流程攻略,前端后端全指南
  • Vue脚手架的安装(保姆级教程),Vue脚手架保姆级安装教程,Vue脚手架保姆级安装指南,Vue脚手架保姆级安装指南,从零开始教你如何安装Vue脚手架
  • 如何在树莓派 Raspberry Pi中本地部署一个web站点并实现无公网IP远程访问,树莓派上本地部署Web站点及无公网IP远程访问指南,树莓派部署Web站点及无公网IP远程访问指南,本地部署与远程访问实践,树莓派部署Web站点及无公网IP远程访问实践指南,树莓派部署Web站点及无公网IP远程访问实践指南,本地部署与远程访问详解,树莓派部署Web站点及无公网IP远程访问实践详解,本地部署与远程访问指南,树莓派部署Web站点及无公网IP远程访问实践详解,本地部署与远程访问指南。
  • vue2技术栈实现AI问答机器人功能(流式与非流式两种接口方法),Vue2技术栈实现AI问答机器人功能,流式与非流式接口方法探究,Vue2技术栈实现AI问答机器人功能,流式与非流式接口方法详解
  • 发表评论

    快捷回复:表情:
    评论列表 (暂无评论,0人围观)

    还没有评论,来说两句吧...

    目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码