Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

XuetangX

大数据导论

Shandong University via XuetangX

Overview

《大数据导论》是数据科学与大数据技术专业的专业基础课,也可以作为理工科本科生的通识教育课程,本课程介绍大数据采集、存储、访问和分析的趋势、问题、解决方案,主要内容分为九部分,第一章是大数据概述、2大数据技术基础、3大数据的采集与清洗,4大数据的存储与管理、5大数据计算框架、6大数据分析挖掘、7大数据可视化、8大数据与云计算、9大数据行业案例。课程重点是数据存储、数据分析、数据可视化等部分,其中课程难点是机器学习算法和大数据计算框架。

通过这门课程的学习,学生能够掌握大数据基础技术,包括操作系统、编程语言、数据库、算法;了解大数据计算与云存储相关技术,包括MapReduce、Spark、Flink、云计算;掌握数据采集与分析技术,包括网络爬取、数据集成、Python数据分析;了解大数据在金融、医疗、教育、环境、交通等行业的应用等。

本课程旨在培养学生并行化思考问题的能力和大数据时代更宏观和全面的数据分析视角。


Syllabus

  • 1.大数据概述
    • 1.1大数据概念
    • 1.2大数据行业应用
    • 1.3大数据安全
  • 2.大数据技术基础
    • 2.1操作系统
    • 2.2编程语言
    • 2.3数据库
    • 2.4算法
    • 2.5大数据系统
    • 2.6大数据应用开发流程
  • 3.大数据的采集与清洗
    • 3.1数据采集方法
    • 3.2数据采集工具
    • 3.3数据清洗方法
    • 3.4数据清洗工具
  • 4.大数据的存储与管理
    • 4.1数据管理与存储概述
    • 4.2关系型数据库
    • 4.3非关系型数据库
    • 4.4 分布式文件系统
  • 5.大数据计算框架
    • 5.1大数据计算框架简介
    • 5.2 MapReduce
    • 5.3 Spark
  • 6.大数据分析与挖掘
    • 6.1 数据分析介绍
    • 6.2 机器学习的模型与算法
    • 6.3 数据分析的工具与介绍
    • 6.4 数据分析案例
  • 7.大数据可视化
    • 7.1 大数据可视化概述
    • 7.2 大数据可视化常用工具
    • 7.3 可视化案例
  • 8.大数据与云计算
    • 8.1云计算概念与特点
    • 8.2云计算的分类
    • 8.3云计算与分布式计算的区别
    • 8.4云计算的体系结构
    • 8.5大数据与云计算的关系
  • 9.大数据行业案例
    • 9.1行业案例介绍
    • 9.2用户贷款风险预测解析
  • 10.考试

    Taught by

    Yan Zhongmin, Cui Lizhen, and Xudong Lu

    Tags

    Reviews

    Start your review of 大数据导论

    Never Stop Learning.

    Get personalized course recommendations, track subjects and courses with reminders, and more.

    Someone learning on their laptop while sitting on the floor.