一、 教学目标
人工神经网络是二十世纪80年代中期以来迅速发展的信息技术前沿研究领域。作为一种并行信息处理系统,神经网络对于计算机科学、人工智能、认知科学、脑神经科学、信息科学、自动控制与机器人、系统工程等领域均有重要影响。
“神经网络理论及应用”课程为面向工科专业及所有工科研究生开设的信息技术类课程。该课程的教学目的是通过传统经典的神经网络模型以及前沿深度神经网络的学习,掌握主流神经网络的结构和工作原理,并能够应用其完成实际的预测回归、分类聚类、模式识别等智能化任务,为学习者今后从事人工智能等相关研究打下良好的基础。
二、 课程的主要内容
北京工商大学“神经网络理论及应用”课程主要讲授传统与深度神经网络的典型结构、基本理论、设计基础及相关应用实例。
课程共分8章,各章内容如下:
第一章 绪论,本章讨论了人脑与计算机信息处理能力的差异,分析了两者在信息处理机制方面的特点,并阐述了人工神经网络的概念。通过对人工神经网络曲折的发展过程的叙述,展示了该领域的主要研究内容与理论成果。此外,简要说明了神经网络的基本特征与主要功能,并通过简要介绍神经网络的广泛应用使学生初步了解了神经网络在信息处理方面表现出来的巨大潜力。
第二章 神经网络基础知识
本章重点介绍了生物神经元的结构及其信息处理机制、人工神经元数学模型、常见的网络拓扑结构以及学习规则。其中,神经元的数学模型、神经网络的连接方式以及神经网络的学习规则是决定神经网络信息处理性能的三大要素,因而是本章学习的重点。
第三章 感知器神经网络
本章重点介绍了单层感知器的功能和局限性,由非线性单元组成的多层前馈网络,误差反向传播(BP)算法,BP神经网络设计基础及其相关应用案例。其中BP学习算法和BP网络设计是本章的学习重点。
第四章 自组织竞争神经网络
本章重点介绍采用无导师学习的竞争学习神经网络、自组织神经网络(SOM)的网络结构、学习规则及在模式识别与分类方面的应用;另外还介绍了组合竞争学习和有导师学习的学习向量量化网络和对偶传播神经网络的网络结构、学习规则及应用等。本章重点是SOM网络结构、运行原理和学习算法。
第五章 径向基函数神经网络
本章首先介绍了正则化径向基函数神经网络和广义径向基函数神经网络基础知识,重点介绍了径向基函数神经网络学习算法及其在数据拟合、分类方面的应用案例。
第六章 支持向量机
本章首先介绍了线性和非线性支持向量机的基本原理,随后以实际案例为基础,介绍了支持向量机最优分类超平面的数学求解方法和支持向量机的多分类方法。
第七章 深度卷积神经网络
本章介绍了卷积神经网络的基本功能层及其操作原理,全面阐述了卷积神经网络架构的拓扑构成与层级关联,并嵌套于计算机视觉任务之目标检测的背景下,讲解了卷积神经网络的应用示例。最后,我们聚焦于卷积神经网络中的两个代表性问题,即网络退化问题、过与欠拟合问题,从网络性能和提升手段方面进行了更深入的剖析。
第八章 循环神经网络
本章首先介绍了循环神经网络的网络结构和传递函数,随后介绍了其变体长短时记忆网络、门控循环单元的网络结构和传递函数,最后以实际案例为基础,介绍了长短时记忆网络在解决回归、分类问题时的建模方法。
三、 课程团队及优势
北京工商大学“神经网络理论及应用”课程团队早在2000年初就开始为本科自动化专业开设“人工神经网络”选修课程;自2004年至今为硕士研究生控制理论与控制工程专业开设“神经网络理论及应用”专业基础课;自2007年至今为硕士研究生控制检测技术与自动化装置专业开设“神经网络理论及应用”专业基础课;自2009年至今为控制工程专业硕士研究生开设“神经网络应用”专业基础课;2019年开始为模式识别与智能系统专业开设“神经网络理论及应用”专业基础课。自开课至今,除上述授课专业学生学习外,同时也吸引了我校管理科学与工程、计算机科学与技术、物流工程、计算机技术、应用统计、统计学、机械工程等专业学生通过选修课方式加入学习。
目前该课程已获批我校研究生精品课程。团队共有教师6人,教授3名、副教授2名、讲师1名,人员结构组成合理且富有活力。课程团队紧扣人工神经网络发展潮流不断更新教学内容,创新教学方式,从传统人工神经网络基本理论的讲授延伸到深度神经网络,从关注神经网络基本理论学习拓展到网络设计和应用实践,秉持理论教学和实践教学并重的教学理念,注重教学与科研工作相得益彰。目前已出版了在行业内具有较高知名度的4本教材和1本专著,其中2017年出版的《人工神经网络理论及应用》教材成为了普通高等教育十三五规划教材,累计出版上述教材印数已达100000册,教材被国内985、211等50多所院校的多个本科、硕士专业使用。由于教材写作简明扼要,深入浅出,深受各高等院校相关专业的好评。教学成果的应用不仅使我校的相关本科专业、硕士专业学生直接受益,而且对我校其它硕士专业及国内相关硕士专业、本科专业产生了较大影响,具有良好的示范性作用。
[1] 韩力群,施彦编著,人工神经网络理论及应用[M],机械工业出版社,2017.7
[2] 施彦,韩力群,廉小亲著,神经网络设计方法与实例分析[M],北京邮电大学出版社,2009.1
[3] 韩力群编著,人工神经网络教程[M],北京邮电大学出版社,2006.12
[4] 韩力群编著,人工神经网络理论、设计及应用第二版[M],化学工业出版社,2007.11
[5] 韩力群编著,人工神经网络理论、设计及应用[M],化学工业出版社,2002.1
四、 课程主讲教师简介
1、 廉小亲
博士、教授、硕士生导师,北京高校优秀青年教师、北京市属高校中青年骨干教师、北京市优秀教师。现任北京工商大学人工智能学院副院长,兼任中国自动化学会应用专业委员会委员、中国人工智能学会智能服务专委会委员、信息技术新工科产学研联盟第一届理事会理事。2020年获批国家虚拟仿真实验教学一流课程,2021年负责的课程《人工神经网络导论》入选教育部在线教育研究中心“拓金计划”首批示范课程,2022年获批国家级一流本科专业建设点(信息工程)、北京市高等教育教学成果奖二等奖,曾获省部级科技奖2项。主要从事智能信息处理、物联网技术应用等方面的教学和科研工作。主讲“神经网络理论及应用“、”信息论与编码“及”DSP技术“等课程。主要负责在线课程内容总体设计、第4章4.5、第5章MOCC录制及测试出题等工作。
2、吴静珠
博士、教授,硕士生导师,北京市组织部优秀人才,美国杜克大学、华盛顿大学公派访问学者。现任北京工商大学人工智能学院电子信息系副主任,兼任中国仪器仪表学会近红外光谱分分会理事、中国人工智能学会会员。主要从事农副产品光电无损检测机理、光谱成像智能计算、便携式光谱系统集成应用等科研工作。获第一届全国高校电子信息类专业课程实验教学案例设计竞赛二等奖、第五届高等学校青年教师电路、信号与系统、电磁场课程教学竞赛二等奖。主讲“神经网络应用”、“信号与系统”、“数字信号处理”等课程。主要负责在线课程第2章、第3章、第4章的MOOC录制及测试出题等工作。
3、韩力群
博士、北京工商大学教授,北京科技大学、北京邮电大学、装甲兵工程学院客座教授、博导。历任中国人工智能学会第五届/第六届理事会副理事长, 北京工商大学信息工程学院院长,教育部自动化专业教学指导委员会第一/二届委员。现任:发展中世界工程技术院院士、中国人工智能学会首批会士、智能产品与产业工作委员会主任、全国智能机器人创新联盟常务副理事长,中国教育发展战略学会-人工智能与机器人教育专业委员会常务副理事长兼秘书长、中文核心期刊《计算机仿真》编委会副主任、中核期刊《智能系统学报》副主编。长期从事神经网络理论及应用、模式识别与智能系统、智能控制等人工智能领域的研究。主要负责在线课程内容总体设计、教材建设以及访谈、绪论的MOOC录制等工作。
4、张洁
博士、副教授。2018年6月博士毕业于北京航空航天大学仪器科学与光电工程学院,2016-2018年间于英国爱丁堡大学信息学院国家公派联合培养,曾获国家奖学金、北京市优秀毕业生、中航工业奖学金等多项荣誉。主要从事三维视觉感知、生物特征识别、机器视觉领域的算法研究及应用工作。主讲“神经网络理论及应用”等课程。主要负责在线课程第7章的MOOC录制及测试出题等工作。
5、高超
博士,副教授。2019年6月博士毕业于北京林业大学机械工程专业。主要从事智能检测与控制、数据挖掘与分析等科研工作。主讲 “嵌入式系统原理及应用”、“神经网络理论及应用”等课程。主要负责在线课程第6章、第8章的MOOC录制及测试出题等工作。
6、郑彤
博士,讲师。2021年11月于博士毕业于北京航空航天大学信号与信息处理专业。主要从事合成孔径雷达图像处理、深度学习等科研工作。主讲“信号与系统”、“人工智能导论”等课程。主要负责在线课程题库建设、话题讨论等工作。
五、 课程大纲
0 访谈
1 绪论
2 人工神经网络基础
2.1 人工神经元模型
2.2 人工神经网络模型及学习
3 感知器神经网络
3.1 单层感知器基础知识
3.2 单层感知器功能与局限性
3.3 多层感知器引入
3.4 基于BP算法的多层感知器
3.5 标准BP算法的实现
3.6 标准BP算法的局限性与改进
3.7 BP神经网络设计基础
3.8 基于MATLAB的BP网络应用实例-数据拟合
3.9 基于MATLAB的BP网络应用实例-分类
4 自组织竞争神经网络
4.1 竞争学习神经网络
4.2 自组织神经网络
4.3 自组织神经网络应用实例
4.4 学习向量量化神经网络
4.5 对偶传播神经网络
5 径向基函数神经网络
5.1 正则化径向基函数神经网络基础
5.2 广义径向基函数神经网络基础
5.3 径向基函数神经网络学习算法
5.4 基于MATLAB的RBF网络应用实例——数据拟合
5.5 基于MATLAB的RBF网络应用实例——鸢尾花分类
6.支持向量机
6.1支持向量机基本原理
6.2支持向量机应用案例
7 卷积神经网络
7.1 卷积神经网络的基本架构
7.2 卷积功能层
7.3 池化层与全连接层
7.4 卷积神经网络在目标检测的应用
7.5 卷积神经网络退化问题
7.6 卷积神经网络模型的过与欠拟合问题
8.循环神经网络
8.1初识循环神经网络
8.2循环神经网络
8.3长短时记忆网络
8.4 LSTM回归应用案例
8.5 LSTM分类应用案例