《深度学习》和《计算机视觉》

主讲教师:欧新宇教授

教学团队:刘艺琴教授, 马千知, 余灿玲

2021秋

课程简介及教学内容


本站为包含192学时+56学时(12学分+1学分)的理实一体化课程,分为《深度学习(DeepLearning)》(第3学期)和《计算机视觉(Computer Vision)》(第4学期)两门课,每门课96学时;同时,两门课各包含28学时(0.5学分)的课程实训(1周)。《深度学习》课程完成第0-8讲的内容,主要包括深度学习的基本概念和基本原理,然后简要介绍了两种基础的深度学习模型前馈神经网络和自动编码机,并重点介绍了卷积神经网络及若干经典卷积神经网络模型,包括AlexNet、VGGNet、GoogLeNet、ResNet等,此外还介绍了循环神经网络RNN,生成对抗模型GAN及强化学习的相关知识。《计算机视觉》课程完成第9-12讲的内容,主要包括基于深度学习的图像和视频的应用介绍,重点介绍目标检测(Detection)和图像分割(Segmentation)任务,其中目标检测中介绍了两个重要的检测系列RCNN和Yolo,图像分割详细介绍了两个经典模型FCN和DeepLab模型,此外本课程还将介绍一些经典的视觉分析任务,包括图像检索、目标跟踪、风格迁移等。

本课程完成适配“教育部1+X项目计算机视觉应用开发证书”,可作为该证书相关内容的学习资源。本课程网站提供《深度学习》(71094326)和《计算机视觉》(71094327)的所有资源,包括在线教案、课堂PPT、相关论文、习题及若干参考资源。所有资源均欢迎下载和转发,但请保留版权。本课程有少量图片来源于互联网,若存在版权问题,请及时与我联系。

教学过程相关的考勤、课堂互动、期末测验将使用课堂派平台;课程项目、课后作业、课程竞赛将使用百度AIStudio进行提交,请各位同学使用实名(学号)加入课程。本课程从2021年9月开始执行。


授课时间:星期二(下午5-6节)、星期三(上午1-4节)
教室:秋实苑A306
教学文件: 教学大纲(课程说明) 考核说明 教学进度计划(2020秋)
数据集:本课程用到的所有第三方数据集
课程考核:考勤(10%) + 课堂互动(30%) + 课程项目(10%) + 课后作业(30%) + 期末测验(20%)
章节 进度 课程内容 理论
学时
实践
学时
作业及资料
  • Lecture00
  • Week1-1
  • 《深度学习》课程导学 (2课时)
  • 1. 课程基本信息
  • 2. 课程组织形式
  • 3. 课程作业与考核
  • 4. 学习建议
  • 5. VSCode、JupyterLab、百度AIStudio编程环境使用简介
  • 6. [项目01] Python机器学习环境安装和配置 [Notebook]
1 1
  • Lecture01
  • Week1-2
  • Week2
  • 深度学习概述(6课时) [Notebook]
  • 1. 人工智能的基本概念(2)
  • 2. 机器学习简史(1)
  • 3. 深度学习日益流行的关键因素及其未来潜力(1)
  • 4. 深度学习的基本原理:基于梯度的优化(2)
  • 5. 学习常用工具软件

  • 2
  • 1
  • 1
  • 2
  • Lecture02
  • Week3
  • Week4
  • 深度学习的起源——前馈神经网络 (16课时) [Notebook]
  • 1. 神经网络的发展历程 (1)
  • 2. 感知机
  • 3. 前馈神经网络 (1)
  • 4. 神经元、激活函数及网络结构 (1)
  • 5. 训练与预测(损失函数、参数学习)(1)
  • 6. 提升神经网络的技巧(参数更新、数据预处理、参数初始化、正则化)(2)
  • 7. [项目02] 基于前馈神经网络的手势识别(动态图)(10) [Notebook]

  • 1

  • 1
  • 1
  • 1
  • 2







  • 10
  • Topic
  • [专题01] 面向深度学习的图像数据预处理(10课时) [Notebook]
  • 1. 面向深度学习的图像数据预处理 (2)
  • 2. [项目03] 数据准备 (Data Preparation) (2) [Notebook]
  • 3. [项目04] 数据规约与数据增广 (Data Augmentation) (6) [Notebook]

  • 2




  • 2
  • 6
    • Lecture03
    • Week4
    • Week5
    • 深度学习的灵魂——卷积神经网络 (16课时) [Notebook]
    • 1. 卷积神经网络概述(1)
    • 2. 卷积神经网络的整体结构(Architecture)(1)
    • 3. 输入层和输出层
    • 4. 卷积层(conv,padding,stride,局部感知、权重共享)(2)
    • 5. 池化层(max-pooling, average-pooling)、激活层和全连接层(1)
    • 6. [项目05] 卷积神经网络的结构设计与实现(3) [Notebook]
    • 6. 推理与误差回传、模型的泛化(1)
    • 7. [项目06] 基于卷积神经网络的图像识别(车牌识别) (7) [Notebook]

    • 1
    • 1

    • 2
    • 1
    • 1
    • 1
    • 1






    • 2

    • 6
    • Competitions
    • Lecture04
    • Week6
    • Week7
    • 深度学习的飞跃———经典卷积神经网络(24课时) [Notebook]
    • 1. 卷积神经网络关键技术回顾(2)
    • 2. 划时代的AlexNet(4)
    • 3. [项目07] 基于AlexNet的图像分类(蝴蝶分类)(12) [v2.1] [v1.8]
    • 4. 越来越深VGGNet(2)
    • 5. 精心设计的GoogLeNet(1)
    • 6. 超越人的ResNet(2)
    • 7. 蓬勃发展的卷积深度网络(1)

    • 2
    • 4

    • 2
    • 1
    • 1
    • 1
    • 1



    • 12




    • Topic
    • [专题02] 迁移学习(12课时) [Notebook]
    • 1. 迁移学习和恢复训练(2)
    • 2. [项目08] 迁移学习和恢复训练(蝴蝶分类)(10) [Notebook]

  • 2



  • 10
    • Lecture05
    • (NLP)
    • Week8
    • Week9-1
    • 循环神经网络(0课时) [Notebook]
    • 1. 循环神经网络简介
    • 2. 长期依赖LSTM和门控RNN
    • 3. 双向RNN
    • 4. 序列到序列结构Seq2Seq
    • Lecture06
    • 深度学习的升华——深度生成模型(8课时) [Notebook]
    • 1. 监督学习和无监督学习(1)
    • 2. 生成模型概述(1)
    • 3. 像素RNN和像素CNN(1)
    • 4. 自动编码机、变分自动编码机(2)
    • 5. 生成对抗网络(3)

    • 1
    • 1
    • 1
    • 2
    • 3
    • Lecture07
    • (自学)
    • Week14-2
    • Week15
    • Week16-1
    • 深度强化模型(0课时) [Notebook]
    • 1. 强化学习模型简介
    • 2. 强化学习分类
    • 3. 深度强化学习
    • 4. 深度Q网络
    • 5. 强化学习的应用
    • 6. AlphaGo和AlphaZero
    • Exams
    • Week16-2
  • 《深度学习》期末测验(在线)(2课时)
    • Lecture08
    • Week6
    • Week7
    • 计算机视觉概述(6课时) [Notebook]
    • 1. 计算机视觉概述(1)
    • 2. 计算机视觉简史(3)
    • 3. 基于深度学习的视频内容理解(1)
    • 4. 面向海量视频的视觉计算与识别(1)

    • 1
    • 3
    • 1
    • 1
    • Lecture09
    • Week6
    • Week7
    • 基于深度学习的目标检测(30课时) [Notebook]
    • 1. 目标检测概述(2)
    • 2. 传统目标检测
    • 3. 目标检测关键技术(Anchor,FPN,NMS)(1)
    • 4. PaddleDetection简介(1)
    • 5. 基于两阶段方法的目标检测(R-CNN,SPP-Net,Fast-RCNN,
      Faster-RCNN,FPN,Cascade R-CNN,Libra R-CNN)(6)
    • 6. [项目09] 基于R-CNN系列模型的目标检测(路标识别) (4) [Notebook]
    • 7. 基于单阶段方法的目标检测(YOLOv1-v3,SSD,RetinaNet,PP-YOLO)(4)
    • 8. 基于Anchor-Free的目标检测(CornerNet,FCOS,CenterNet,TTFNet)(4)
    • 9. Beyond 2D目标检测(1)
    • 10. Pascal VOC和MSCOCO数据集简介(1) [Notebook]
    • Competitions
    • [竞赛02] 目标检测综合竞赛(Pascal VOC2007 目标检测数据集) [Baseline]
    • Lecture10
    • Week6
    • Week7
    • 基于深度学习的图像分割(30课时) [Notebook]
    • 1. 图像分割概述(1)
    • 2. 图像分割的关键技术和评价指标(3)
    • 3. 经典图像分割模型——FCN全卷积网路(2)
    • 4. 经典图像分割模型——U-Net/PSPNet(2)
    • 5. 经典图像分割模型——DeepLab系列分割模型(4)
    • 6. [项目10] 华录杯·车道线检测解析(6) [Notebook]
    • 7. 图卷积网络(2)
    • 8. 全景分割(4)
    • Lecture11
    • Week6
    • Week7
    • 其他经典图像分析任务(28课时) [Notebook]
    • 1. 图像检索
    • 2. [项目11] 电商图片检索(6) [Notebook]
    • 3. 目标跟踪
    • 4. 风格迁移
    • 5. 其他经典图像分析任务:细粒度识别、文字检测与识别
      标题生成、超分辨率、医学图像分析
    • 6. [项目12] 人脸妆容迁移(6) [Notebook]
    • Lecture12
    • (自学)
    • Week14-2
    • Week15
    • Week16-1
    • 深度学习工程应用(0课时) [Notebook]
    • 1. 视觉应用场景与部署
    • 2. 嵌入式系统开发及应用
    • 3. 垂直领域工程应用开发
    • Exams
    • Week16-2
  • 《计算机视觉》期末测验(在线)(2课时)
  • 课程实训

    Event Type Date Description Course Materials
    • 实训一:项目化开发实践
    • Day01-02
    • 【实训目的】
    • 1. 熟练完整的基于卷积神经网络模型设计和代码编写
    • 2. 学会在vscode等IDE环境中进行项目化编程
    • 3. 学会选择合适且有用的项目进行工作
    • 【实训任务一】完成蝴蝶分类的项目化转换
    • 1. 完成形式:个人
    • 2. 完成蝴蝶分类从Notebook向IDE环境的转化。
    • Day03-04
    • 【实训任务二】题目自拟
    • 1. 完成形式:小组
    • 2. 以小组形式完成实训任务,但以个人为单位完成实训报告,要求注明自己的主要工作。
    • 3. 要求每个小组3人,组队要求强弱搭配,注意合理分配工作。
    • 4. 请工作量最少的同学准备完成最后的实训答辩。
    • 5. 尽量选择一个具有现实意义的任务,并且能将该任务持续和延申下去,为毕业设计和大学生竞赛做好准备。
    • 6. 数据来源:百度AIStudio、百度搜索引擎、Kaggle、阿里天池等
    • Day05
    • 【实训任务三】实训答辩
    • 1. 完成形式:小组
    • 2. 每个小组推选1人完成答辩
    • 3. 成绩评定:合格性评定+投票评优。其中合格性评定由教师给出,根据实训报告的情况进行评定,投票评优由学生互评给出,根据答辩情况进行评定。
    • + 合格性评定:完成+70分,优秀6组+20分,良好6组+10分,其余不加分;
    • + 投票评优:排名第一,额外+20分;排名第二,额外+15分;排名第三,额外+10分;排名第四,额外+5分。
    • 4. 数据来源:百度AIStudio、百度搜索引擎、Kaggle、阿里天池等
    • 实训二:嵌入式开发实践
    • Day06
    • 【实训目的】
    • 1. 理解面向嵌入式设备的神经网络的特点
    • 2. 基本学会如何基于PC的模型转换为基于嵌入式设备
    • 3. 学会树莓派4B+的基本操作方法
    • 4. 学会如何撰写毕业论文
    • 【实训任务】初识嵌入式
    • 1. 完成形式:个人
    • 2. 初步完成毕业论文的框架结构
    • 3. 初步接触树莓派
    • Day07-09
    • 【实训任务】题目自拟
    • 1. 完成形式:小组
    • 2. 以小组形式完成实训任务,每组3人,注意组队的合理性和配合性。
    • 3. 完成模型的树莓派移植
    • 4. 完成实训报告PPT
    • Day10
    • 【实训任务三】实训答辩
    • 1. 完成形式:小组
    • 2. 每个小组推选1人完成答辩
    • 3. 成绩评定:合格性评定+投票评优。其中合格性评定由教师给出,根据实训报告的情况进行评定,投票评优由学生互评给出,根据答辩情况进行评定。
    • + 合格性评定:完成+70分,优秀6组+20分,良好6组+10分,其余不加分;
    • + 投票评优:排名第一,额外+20分;排名第二,额外+15分;排名第三,额外+10分;排名第四,额外+5分。
    • 4. 数据来源:百度AIStudio、百度搜索引擎、Kaggle、阿里天池等

    拓展练习

    Event Type Date Description Course Materials
    • 初级
    • 中级
    • 高级