《大数据导论》是数据科学与大数据技术专业的专业基础课,也可以作为理工科本科生的通识教育课程,本课程介绍大数据采集、存储、访问和分析的趋势、问题、解决方案,主要内容分为九部分,第一章是大数据概述、2大数据技术基础、3大数据的采集与清洗,4大数据的存储与管理、5大数据计算框架、6大数据分析挖掘、7大数据可视化、8大数据与云计算、9大数据行业案例。课程重点是数据存储、数据分析、数据可视化等部分,其中课程难点是机器学习算法和大数据计算框架。
通过这门课程的学习,学生能够掌握大数据基础技术,包括操作系统、编程语言、数据库、算法;了解大数据计算与云存储相关技术,包括MapReduce、Spark、Flink、云计算;掌握数据采集与分析技术,包括网络爬取、数据集成、Python数据分析;了解大数据在金融、医疗、教育、环境、交通等行业的应用等。
本课程旨在培养学生并行化思考问题的能力和大数据时代更宏观和全面的数据分析视角。