本课程主要面向计科、人工智能及物联网专业的本科生，讲述深度学习基本概念、经典深度学习模型及其实践，主要内容包括前馈神经网络、深度模型优化与正则化、卷积神经网络、循环神经网络等，并介绍深度学习框架的编码实现和参数优化方法。本课程注重理论学习与实践应用的结合，除了课堂讲授之外，还将通过实践环节引导学生使用深度学习平台或工具，让学生通过实际应用来加深对理论的理解。
Overview
Syllabus
- 绪论
- 人工智能和机器学习概述
- 神经网络和深度学习概述
- 昇腾、MindSpore简介
- 基础知识
- 机器学习基本概念
- 数学基础
- 常用模型
- 深度前馈网络
- 人工神经网络
- 一个解决异或问题的简单网络
- 神经网络结构
- 前馈神经网络
- 反向传播算法
- 自动梯度计算
- 神经网络参数优化的主要问题
- 自动微分的MindSpore代码示例
- 深度模型优化与正则化
- 网络优化
- 小批量梯度下降
- 学习率与梯度优化
- 参数初始化与数据预处理
- 逐层归一化
- 超参数优化
- 过拟合与正则化
- 模型训练的MindSpore代码示例
- 卷积神经网络（1）
- 卷积运算
- 卷积的动机：稀疏交互、参数共享、平移不变性
- 池化
- 卷积神经网络
- 卷积神经网络（2）
- 参数学习
- 其他卷积方式：转置、空洞
- 典型网络简介
- 卷积神经网络的MindSpore代码示例
- 循环神经网络（1）
- 网络记忆能力
- 循环神经网络（Recurrent Neural Network）
- 随时间反向传播（BPTT）
- 双向循环神经网络
- 循环神经网络（2）
- 长程依赖问题
- 长短期记忆网络（LSTM）
- 门控循环神经网络（GRU）
- 深层循环神经网络
- 循环神经网络的MindSpore代码示例
- 期末考试
Taught by
Zhang Chunjie
