本课程是为信科、统计学、数据科学及相关专业本科生开设的专业核心课，其主要目标是通过课堂教学以及数值实验编程等环节，培养学生的逻辑推理能力、数学优化建模能力、以及数据分析能力。课程主要内容包括无约束优化的理论与算法，约束优化理论与算法，重点讲解一阶、二阶最优性条件与对偶理论，最速下降法、牛顿法、共轭梯度法、拟牛顿算法、最小二乘算法等经典无约束优化算法，以及梯度投影法、罚函数法、ADMM算法等约束优化算法。
Overview
Syllabus
- 第一章 引论
- 1.1 最优化简介
- 1.2 预备知识
- 1.3 凸集与凸函数
- 1.4 无约束优化最优性条件
- 1.5 算法概述
- 第二章 无约束优化方法
- 2.1 线搜索算法
- 2.2 最速下降法
- 2.3 牛顿法
- 2.4 共轭梯度法
- 2.5 拟牛顿算法
- 第三章 最小二乘与正则
- 3.1 线性最小二乘
- 3.2 正则化最小二乘
- 3.3 非线性最小二乘
- 第四章 约束优化理论
- 4.1 一阶最优性条件
- 4.2 二阶最优性条件
- 4.3 凸优化最优性条件
- 4.4 对偶理论
- 第五章 约束优化方法
- 5.1 梯度投影算法
- 5.2 罚函数法
- 5.3 交替方向乘子法
Taught by
Ziyan LUO
