Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

XuetangX

大数据技术

Southwestern University of Finance and Economics via XuetangX

Overview

本课程内容以大数据技术学习为主线,涵盖了大数据的完整生命周期。

在大数据概述模块,包含了大数据的基本概念、大数据的生命周期和典型技术架构等的学习,帮助我们建立对大数据的整体认知;在大数据采集技术模块,包含了针对不同来源的大数据采集技术的学习,以及数据预处理的相关知识和技术的学习;在大数据存储和管理模块,包含了大数据存储基础知识和核心技术的学习,如分布式文件系统、NoSQL数据库。大数据基础实验环境搭建将学习如何在虚拟机上搭建大数据实验环境,并熟悉Linux系统的基础操作。最后,在大数据处理与应用实践模块,将学习到Hadoop的安装与配置以及HDFS、HBase、Spark等大数据处理技术的使用,并最后通过实际项目案例体验大数据处理的全过程。

Syllabus

  • 第一章 大数据概述
    • 1.1 从数据到大数据
    • 1.2 大数据带来的机遇和挑战
    • 1.3 大数据的来源和分类
    • 1.4 大数据的生命周期和技术架构
  • 第二章 大数据采集技术
    • 2.1 大数据采集技术概述
    • 2.2 网络爬虫
    • 2.3 日志采集
    • 2.4 消息中间件
    • 2.5 数据预处理与ETL
  • 第三章 大数据存储与管理
    • 3.1 大数据存储技术概述
    • 3.2 文件系统
    • 3.3 分布式文件系统
    • 3.4 数据库技术
    • 3.5 分布式数据存储的一致性
    • 3.6 NoSQL数据库技术
  • 第四章 大数据基础实验环境搭建
    • 4.1 virtualbox安装
    • 4.2 ubuntu安装
    • 4.3 ubuntu联网
    • 4.4 远程连接ubuntu
    • 4.5 虚拟机联网与环境设置
    • 4.6 linux常用命令
    • 4.7 java安装与配置
  • 第五章 大数据处理与应用实践
    • 5.1 hadoop安装与配置
    • 5.2 hdfs shell操作
    • 5.3 hdfsapi简单介绍
    • 5.4 zookeeper的安装与配置
    • 5.5 hbase安装与配置
    • 5.6 hbase shell的操作
    • 5.7 hbase api使用
    • 5.8 spark安装与配置
    • 5.9 数据处理演示
  • 期末考试

    Taught by

    Du Fang and Fan Jiangbo

    Tags

    Reviews

    Start your review of 大数据技术

    Never Stop Learning.

    Get personalized course recommendations, track subjects and courses with reminders, and more.

    Someone learning on their laptop while sitting on the floor.