[专题02] 迁移学习技术 `课堂互动` 隐藏答案 | 返回首页

作者：欧新宇（Xinyu OU）

最后更新：2021-07-22

1. （多选）以下哪些学习目标适合使用迁移学习算法来改进模型？
A. 源任务是学习识别猫狗，目标任务是学习识别老虎大象
B. 源任务是手写字体识别，目标任务是对行人身份进行确认
C. 源任务是区分场景归属哪一个城市，目标任务是对妆容进行自动美化
D. 源任务是识别一首歌是谁唱的，目标任务是识别一个电影的主演是谁

答案及解析：AC
是否适合使用迁移学习算法来改进模型，主要看源任务和目标任务的相关性是否足够强，或者说源任务的知识是否对目标任务有帮助。在A选项中目标都属于动物，显然之间的关联性是很强的；C选项的城市识别和美妆表面上看上去是不相关的，但是其本质都是像素级的色彩相关性，所以依然可用；B选项手写字体虽然也属于像素表达，但是更看重的是笔画间的相关性，和行人识别差异较大，所以迁移学习的效果通常不会很好；D选项从语音识别到视觉识别差异较大，通常不适合进行知识迁移。

2. （多选）以下属于迁移学习的优点是包括哪些（）。
A. 节约成本，特别是用于标注数据的成本
B. 可以使用小数据集学到更鲁棒的特征，从而解决原本需要大数据集才能完成的任务
C. 提高训练速度
D. 提高测试速度

答案及解析：ABC
迁移学习的应用主要可以获得三个优势。

第一，通过对已有知识的使用，实现利用更少的样本完成训练；
第二，因为从预训练模型开始训练，因此有更好的初始化值，这大大提高了训练的收敛速度；
第三，因为有更好的初始化值，可以使模型更容易收敛到更好的最优值。

3. （多选）以下属于迁移学习分类任务的包括（）。
A. 特征迁移
B. 样本迁移
C. 参数迁移
D. 关系知识迁移

答案及解析：ABCD

特征迁移: 通过源领特征表示，把知域学习一个好的识通过特征的形式进行编码，并从源领域传递到目标领域，提升其任务效果。
样本迁移: 源领域中数据的某一部分可以通过调整权重的方法重用，用于目标领域的学习。
参数迁移: 任务之间共享相同的模型参数或者是服从相同的先验分布。
关系知识迁移: 相关领域之间的知识迁移。

4. 迁移学习通常使用预训练模型来作为新任务模型的权重起始值，而不再使用随机初始化等方法来进行权重初始化。
A. 正确
B. 错误

答案及解析：A
迁移学习的具体应用就是使用预训练好的模型（源任务）的权重，作为目标任务的权重初始值，从而使目标任务能够以更好的初始状态开始学习。从而提高训练模型的收敛速度和收敛结果。

5. （多选）常见的预训练模型包括（）。
A. AlexNet
B. VGGNet
C. GoogLeNet
D. ResNet

答案及解析：ABCD
以上ABCD均为常见的预训练模型，并且大多基于Imagenet数据集进行预训练。

6. 当目标数据集规模较小，且与预训练模型数据较为相似，则微调策略为（）。
A. 冻结整个卷积部分，仅微调分类器。
B. 冻结顶部的少数卷积层，并训练其他卷积层和分类器。
C. 冻结大部分卷积层，仅微调少数卷积层和分类器。
D. 微调整个模型的所有层。

答案及解析：A

小数据集，且与预训练模型数据集相似：冻结整个卷积部分，仅微调分类器。
小数据集，且与预训练模型数据集不同：冻结顶部的少数卷积层，并训练其他卷积层和分类器。
大数据集，且与预训练模型数据集相似：冻结大部分卷积层，仅微调少数卷积层和分类器。
大数据集，且与预训练模型数据集不同：微调整个模型的所有层。

7. 深度学习比浅层模型具有更强的性能，要训练一个性能强劲的卷积神经网络，一般通常要求有大量的数据。即大数据是深度学习的基本保证。
A. 对
B. 错

答案及解析：A
我们一般认为深度学习的发展得益于三点：计算机性能的提高（GPU并行）、算法的改进及大数据时代的来临。大数据是训练一个良好的深度模型的基本保证。当然，在很多时候，我们不一定能获得大量的数据，因此迁移学习算法、小数据训练方法等方法吸引了很多的研究者。但是，足够的、丰富的数据依然是模型良好性能的保证。

8. 迁移学习是指将（）领域学习获得的知识迁移到（）领域，以确保最终能获得更好的学习效果。
A. 源源
B. 源目标
C. 目标源
D. 目标目标

答案及解析：B
把一个领域（源领域，Source Domain）的知识迁移到另一个领域（目标领域，Target Domain），使得目标领域能够获得更好的学习效果。

9. 在一个深度模型中，越接近输入层的特征越（），越接近输出层的特征越（）。
A. 通用通用
B. 通用特别
C. 特别特别
D. 特别通用

答案及解析：B
在一个深度模型中，越接近输入层的特征越通用，越接近输出层的特征越特别；并且越接近输入层（低层）的特征越局部，越接近输出层（高层）的特征越全局。

10. 如果目标数据集非常大，并且与源数据集不同，在选择微调策略的时候，通常应该（）。
A. 冻结整个卷积部分，仅微调线性分类器
B. 冻结开头的部分卷积层，微调大部分卷积层和线性分类器
C. 仅微调最后的小部分卷积层和线性分类器
D. 微调整个模型

答案及解析： D

小数据集，且与预训练模型数据集相似：冻结整个卷积部分，仅微调分类器。
小数据集，且与预训练模型数据集不同：冻结顶部的少数卷积层，并训练其他卷积层和分类器。
大数据集，且与预训练模型数据集相似：冻结大部分卷积层，仅微调少数卷积层和分类器。
大数据集，且与预训练模型数据集不同：微调整个模型的所有层。

11. 在进行微调训练时，如果许需要冻结整个卷积部分，仅仅只微调线性分类器，这意味着目标数据集是一个（），并且目标数据集和原始数据集（）。
A. 小数据集非常相似
B. 小数据集非常不同
C. 大数据集非常相似
D. 大数据集非常不同

答案及解析： A
在进行微调训练时，如果许需要冻结整个卷积部分，仅仅只微调线性分类器，这意味着目标数据集是一个小数据集，并且目标数据集和原始数据集非常相似。

12. （多选）以下任务可以使用迁移学习来改进计算效率的包括（）。
A. 分类任务Classification
B. 目标检测Detection
C. 视频加字幕Captioning
D. 基于视觉内容的问答VQA
E. 图像分割Segmentation

答案及解析： ABCDE
基本上所有的计算机视觉任务都可以使用迁移学习方法来改进计算效率。

[专题02] 迁移学习技术 课堂互动 隐藏答案 | 返回首页

[专题02] 迁移学习技术 `课堂互动` 隐藏答案 | 返回首页