入门小菜鸟希望像做笔记记录自己学的东西也希望能帮助到同样入门的人更希望大佬们帮忙纠错啦~侵权立删。

✨完整代码在我的github上有需要的朋友可以康康✨

​​​​​​https://github.com/tt-s-t/Deep-Learning.git

目录

一、各网络的概述

二、各网络的详细介绍

---

一、各网络的概述

LeNet  ——  卷积层含激活函数+ 池化层末尾加全连接层作为判别

AlexNet —— 模块加宽增加通道数

🌳网络结构方面

  1使用ReLU作为激活函数代替了传统的Sigmoid

  2重叠最大池化

  3使用dropout

🌳数据预处理方面

     图像增广数据增强

🌳计算性能方面

     多GPU训练

自AlexNet之后的两个方向小卷积核和多尺度

VGG —— 加深网络深度

使用连续小卷积核代替大卷积核在具有相同感知野的条件下提升了网络的深度在一定程度上提升了神经网络的效果并且减少了参数量。

遗留问题第一个全连接层的参数量巨大

NiN —— 抛弃全连接层

1使用1*1卷积代替全连接层

既可以灵活放缩通道数增加非线性也可以使计算参数少简化模型也不会改变图像空间结构并且输入可以是任意尺寸。

2使用全局平均池化代替最后的全连接层

全局平均池化更原生地支持于卷积结构并且还能大大减少参数量

在这之后的两个方向加深网络深度和拓宽网络宽度。但这两个思路都会导致更多的参数和可能的大幅冗余卷积核中参数没有被完全利用(多数权重都趋近0)

GooLeNet —— 加深 + Inception模块加宽

1Inception融合不同尺度的特征信息

提高准确率不一定需要堆叠更深的层或者增加神经元个数等可以转向研究更稀疏但是更精密的结构同样可以达到很好的效果。

2添加两个辅助分类器帮助训练用于向前传导梯度

3使用1*n和n*1卷积核并联代替n*n卷积核

意在发掘特征图的高的特征以及特征图的宽的特征并减少参数量。

在特征图12-20维度上表现好适合深层网络。

ResNet —— 残差结构

🌳优势

使前馈/反馈传播算法顺利进行结构更加简单

恒等映射的增加使其基本不会降低网络的性能

既利用了深层次的神经网络网络的表征能力强又避免了梯度消散和退化的问题

🌳不足

大部分网络层都在防止模型退化而且残差不能完全解决梯度消失或者爆炸、网络退化的问题只是起到缓解作用

应用场景是这几个网络里最广泛的。

DenseNet —— 特征重用

🌳优势

更少的参数数量

保留了低层次的特征

旁路加强了特征的重用导致直接的监督

缓解了梯度消失/爆炸和网络退化的问题

🌳不足

多次Concatnate操作导致显存容易增加得很快

网络结构较复杂

---

二、各网络的详细介绍

AlexNet

AlexNet详解_tt丫的博客-CSDN博客

VGG

VGG详解_tt丫的博客-CSDN博客

NiN

NiN详解_tt丫的博客-CSDN博客

GooLeNet

GoogLeNet详解_tt丫的博客-CSDN博客

DenseNet

DenseNet详解_tt丫的博客-CSDN博客

---

欢迎大家在评论区批评指正谢谢啦~