实用深度学习

欧新宇 教授

教学计划

本课程采用线上线下混合式教育模式进行,由于当前仍然属于建设期,因此资源将持续更新,恕不额外进行通告。本课程采用多种形式展开教学,主要包含如下几种模式。

数据集:本课程用到的所有第三方数据集

授课时间 课程内容 在线资源 作业及资料
  • 《深度学习》课程导学 (0课时)
  • 1. 课程基本信息
  • 2. 课程组织形式
  • 3. 课程作业与考核
  • 4. 学习建议
  • 第一部分 深度学习的基础
  • 第1章 人工智能概述 (5课时)
  • 1.1 人工智能概述
  •  
  • 1.2 机器学习简史
  • 1.3 深度学习概述
  • 1.4 初识神经网络
  • 1.5 常用工具软件和开发环境
  • 1.6 深度学习的应用(链接未来 未来已来)
  •  
  • 第2章 神经网络的数学基础 (0课时)
  • 2.1 神经网络的基础:线性代数
  • 2.2 神经网络的引擎:微积分
  • 2.3 神经网络的灵魂:概率论与数理统计
  •  
  • 第3章 机器学习基础(0课时)
  • 3.1 机器学习的分支
  • 3.2 数据预处理
  • 3.3 特征工程
  • 3.4 机器学习模型的评估
  • 3.5 模型的泛化能力(训练误差和泛化误差、模型选择、欠拟合与过拟合、提前停止、权重衰减)
  • 3.6 数值稳定性(梯度消失和梯度爆炸、参数初始化)
  • 3.7 机器学习的通用工作流程
  • 第4章 图像数据集和数据预处理
  • 4.1 经典图像数据集简介
  • 4.2 数据准备
  • 4.3 数据读取
  • 4.4 数据增广
  • 第二部分 现代深度神经网络
  • 第5章 前馈神经网络(10课时)
  • 5.1 神经网络的发展历程
  • 5.2 线性回归
  • 5.3 Softmax回归
  • 5.4 多层感知机
  •  
  • 第6章 卷积神经网络(0课时)
  • 6.1 卷积神经网络概述
  • 6.2 整体框架
  • 6.3 卷积的基本原理
  • 6.4 填充和步幅
  • 6.5 多输入通道和多输出通道
  • 6.6 池化层
  • 6.7 经典卷积神经网络LeNet
  •  
  • Competitions
  • 第7章 现代卷积神经网络(0课时)
  • 7.1 深度神经网络(AlexNet)
  • 7.2 网络的模块化(VGGNet)
  • 7.3 多分支网络(GoogLeNet)
  • 7.4 残差网络(ResNet)
  • 7.5 迁移学习技术
  •  
  • Competitions
  • 第8章 循环神经网络(0课时)
  • 8.1 序列模型
  • 8.2 语言模型
  • 8.3 训练神经网络(RNN)
  • 8.4 门控循环单元(GRU)
  • 8.5 长短记忆网络(LSTM)
  • 8.6 序列到序列模型(seq2seq)
  • 8.7 机器翻译
  • 第9章 深度生成模型(0课时)
  • 9.1 生成模型
  • 9.2 自动编码机
  • 9.3 生成对抗网络
  • 9.4 深度卷积生成对抗网络
  • 第10章 深度强化模型(0课时)
  • 1. 强化学习模型简介
  • 2. 强化学习分类
  • 3. 深度强化学习
  • 4. 深度Q网络
  • 5. 强化学习的应用
  • 6. AlphaGo和AlphaZero
  • 第11章 注意力机制(0课时)
  • 11.1 注意力机制的基础
  • 11.3 注意力评分函数
  • 11.4 多头注意力
  • 11.5 自注意力机制
  • 11.6 Transformer架构
  • 11.7 视觉Transformer
  • 11.8 基于Transformer的大规模预训练
  • 第12章 优化算法(0课时)
  • 12.1 深度学习的凸性及优化问题
  • 12.2 随机梯度下降算法(梯度下降、随机梯度下降、小批量随机梯度下降)
  • 12.3 动量法
  • 12.4 AdaGrad算法
  • 12.5 RMSProp算法
  • 12.6 Adam算法
  • 12.7 Adadelta算法
  • 12.8 学习率调度算法
  • 第三部分 深度学习的应用
  • 第13章 计算机视觉(0课时)
  • 13.1 计算机视觉概述
  • 13.2 目标检测
  • 13.3 图像分割
  • 13.4 图像检索
  • 13.5 风格迁移
  • 13.6 其他经典图像分析任务
  •  
  • Competitions
  • [竞赛02] 计算机视觉综合竞赛 [Baseline]
  • 第14章 自然语言处理(0课时)
  • 第15章 深度学习的工程应用(0课时)
  • 15.1 视觉应用场景与部署
  • 15.2 嵌入式系统开发及应用史
  • 15.3 垂直领域工程应用开发
  • Reference