课堂互动 隐藏答案 | 返回首页 作者：欧新宇（Xinyu OU）
最后更新：2025-01-03
1.（多选）在卷积神经网络中，大多数参数来源于（）。
A. 卷积层
B. 卷积层与池化层之间
C. 卷积层与全连接层的交接处
D. 全连接层
答案及解析：CD
对于卷积神经网络来说，大多数参数来源于全连接层以及全连接层和卷积层的边界。其中全连接层因为密集连接所以导致参数较多；而交界处主要是因为卷积层的输入通道数和输出通道数都较多，也导致参数较多。并且，相对来说，交界处的参数比全连接层还要更多一些。
2.（多选）在NiN网络中，1×1卷积的功能包括（）。
A. 增加模型的非线性性
B. 提供更多种类的特征，即增加特征的多样性
C. 对单通道特征进行融合，生成复合特征
D. 减少网络的参数数量
答案及解析：ACD
在NiN网络中，1×1卷积设计的初衷是通过减少网络参数数量来降低过拟合的风险，并减少模型对硬件资源的消耗。因为更小的卷积，将带来更多的参数共享特性。从另外一个角度来看，1×1卷积因为使用的窗口尺度仅仅只有一个像素，所以它能够实现对一个局部区域的特征融合。并且，当它扫过整个特征图时，它的输出的尺度也将和输入尺度保持不变，这就相当于在不改变尺度的同时，还能够增加网络的深度。此外，由于卷积核的数量是一个超参数，所以，可以人为地进行输出通道（即卷积核数量/深度）的设置，从而起到调节特征图深度的目的。
3.（多选）在NiN网络中，使用了以下哪些功能层？
A. 平均池化层（Mean-Pooling）
B. 最大池化层（Max-Pooling Layer）
C. 卷积层（Convolution Layer）
D. 全局平均池化层（Global Average Pooling Layer）
E. 全连接层（Fully-Connection Layer）
答案及解析：BCD
NiN网络最大的贡献是利用1×1卷积来实现参数的大幅缩小，为了做得足够极致，它还去掉了最后的全连接层，甚至连映射类别标签的全连接层也没有保留。为了实现分类，它引入了一种新的功能层，即全局平均池化（Global Avg Pooling），该层最主要的功能是实现对最后一个特征图的融合，并输出成类别标签。此外，它使用NiN模块和Max-Pooling层进行交替组合，实现网络主干的构建。
4.（多选）以下对神经网络模型特性的描述种，符合NiN模型的包括（）。
A. 随着网络深度的加深，特征图的尺度逐渐变大
B. 语义信息越强的层次，特征通道数量越多
C. 交替使用NiN网络和最长为3的最大池化层来构建模型
D. NiN模型使用全卷积架构来实现特征提取，因此除最后的Softmax外，只存在卷积层
E. NiN模型最重要的设计初衷是解决全连接层参数过多的问题
答案及解析：BE
NiN模型与VGGNet类似，同样采用模块化的设计思路，它通过组合NiN模块和步长为2的最大池化层来构建模型。在NiN中，随着深度的增加，特征图的尺度逐渐缩小，同时输出通道数逐渐增加。在最后的输出部分，它使用全局平均池化直接获得输出类别数。它是少数彻底摒弃全连接层的神经网络模型。
1. GoogLeNet使用并行的思路设计了Inception模块，并联了多个不同感知域的卷积层和池化层，这种方法有效组合了不同视野下特征，起到了特征互补的作用。
A. 正确
B. 错误
答案及解析：A
解释如题。
2. 在GoogLeNet中，使用1×1卷积的瓶颈设计通过减少特征通道的数量，实现了（）。
A. 计算复杂性的降低
B. 参数数量的减少
C. 模型判别能力的提高
D. 模型结构的简化
答案及解析：A
基于1×1卷积的瓶颈结构（bottleneck）可以保证输出特征图尺度不变的情况下调节特征图的数量。GoogLeNet利用瓶颈结构减少了卷积核的个数，但保留了特征图的尺度，然后在后续的结构中又再次还原了特征图的数量，这种设计通过强制特征融合减了特征图的数量，从而降低了计算复杂性（即减少了计算的次数）。
3.（多选）在GoogLeNetV1的Inception模块中，融合了以下哪几种尺度的卷积层？
A. 1×1卷积
B. 3×3卷积
C. 5×5卷积
D. 7×7卷积
E. 11×11卷积
答案及解析：ABC
Inception模块的设计思想是兼容并蓄，融合多种不同的功能模块，但它也不是无限制地乱融合。其中1×1卷积用来实现特征通道的调整（大多数时候是减少）和特征图的融合；3×3卷积由于性能较好，被用于提取比较鲁棒的局部特征；5×5卷积用来获得比3×3更多的轮廓信息。而对于7×7和11×11等更大的卷积，作者并没有提及其融合性能。因此，并不能排除它们也具有一定的作用，例如它们也许可以通过更大的感受野来获得比3×3和5×5更多轮廓信息。但这些更大的卷积核也存在一些比较严重的问题，那就是参数过多，这与GoogLeNet和Inception的设计初衷相背离，所以，一般认为这是Inception没有使用更大卷积核的原因。
4. 以下以卷积为核心的功能层/模块中，计算复杂度最高(FLOPS)的模块和最低的模块分别是（）。
A. 3×3卷积 基本Inception模块
B. 5×5卷积 基本Inception模块
C. 3×3卷积 带瓶颈设计的Inception模块
D. 5×5卷积 带瓶颈设计的Inception模块
答案及解析：D
在神经网络中，衡量模型复杂性的参数主要包括两个，一个是参数数量，一个是浮点计算数。虽然它们被用来衡量的是不同的指标，但通常它们也具有一定的相关性。也就是说参数比较多的模型，所需要的浮点运算数量也比较多，反之亦然。在题目的选项中所列出的四种功能层/模块，其参数数量和浮点运算数的大小关系为：5×5卷积 > 3×3卷积 > 基本Inception模块 > 带瓶颈设计的Inception模块。
5.（多选）以下对计算复杂度描述正确的公式包括（），其中K表示卷积核，F表示特征图，in_channel表示输入通道，out_channel表示输出通道，N=Numbers表示数量。
A. 参数数量 = K_width × K_Height × N_in_channels × N_out_channels
B. 参数数量 = K_width × K_Height × K_Depth × N_Kernels
C. FLOPS = (K_width × K_Height × K_Depth) × N_Kernels × (F_Width × F_Height × F_Depth)
D. FLOPS = (K_width × K_Height × K_Depth) × N_Kernels × (F_Width × F_Height)
答案及解析：ABD
选项A和B描述的是同样的概念，其中输入通道数等于卷积核的深度，输出通道数等于卷积核的个数。选项C和D描述的是浮点运算次数，对于每个3D卷积核来说，所有元素在每个空间位置都需要进行一次浮点计算。因此，它所滑动的次数，决定了它浮点运算的次数。当特征图越大的时候，浮点运算次数也越多。
1. 下列模型中，参数数量最少的模型是（）。
A. AlexNet
B. VGGNet
C. GoogLeNet
D. ResNet
答案及解析： C
GoogLeNet是一个精心设计的模型，主要对在执行效率方面进行了改进。它的参数比AlexNet少12倍，比VGG16少16倍。
2. VGGNet和GoogLeNet模型的设计都没有超过30层，这有利的证明了深度学习中的“深度”的上限不超过30层。
A. 正确
B. 错误
答案及解析： B
虽然VGGNet和GoogLeNet的深度分别为19层和22层，但是这并不是说深度学习已经失效，网络无法设计的更深主要是因为随着深度的增加，梯度逐渐消失了（ResNet中可以找到相关的论述）。随着残差网络的提出，深度学习证明了深度对于模型性能的提升是积极意义的，因为它提供了更多的非线性特性。
3. 在标准的GoogLeNetV1中总共包含（）层（有权重参数的层）。
A. 16
B. 19
C. 22
D. 37
答案及解析： C
标准的GoogLeNetV1总共有22层。
4. 在GoogLeNet中，前后两个相邻的卷积层组的特征图尺度间的关系是（）。
A. 尺度保持不变
B. 尺度缩小一半
C. 尺度放大一倍
D. 无法确定
答案及解析：B
在GoogLeNet中，随着深度的增加，每个卷积层组中特征图的尺度都将缩小一半，而通道数则逐渐增加。与GoogLeNet类似，VGG和ResNet也有类似的特性。