在本课程中，您将了解 Google Cloud 数据工程、数据工程师的角色和职责，以及相关的 Google Cloud 产品和服务。您还将了解如何应对数据工程挑战。
Overview
Syllabus
- 课程简介
- 这一部分欢迎您学习《Google Cloud 数据工程简介》课程，并简要介绍课程结构和学习目标。
- 数据工程任务和组件
- 本单元介绍数据工程师的职责。内容涵盖数据源和接收器、数据格式、Google Cloud 存储方案、元数据管理、使用 Analytics Hub 进行组织内部和外部的数据共享等重要概念。
- 数据复制和迁移
- 本单元简要介绍 Google Cloud 的数据复制和迁移。内容涵盖基本架构、gcloud 命令行工具、Storage Transfer Service、Transfer Appliance、Datastream 及其功能和用例。
- 提取和加载”数据流水线模式
- 本单元重点介绍 Google Cloud 数据提取和加载流程，特别是使用 BigQuery 进行这些操作的方法。内容涵盖基本的提取和加载架构、bq 命令行工具、BigQuery Data Transfer Service，以及替代传统提取/加载模式的 BigLake。
- 提取、加载和转换”数据流水线模式
- 本单元简要介绍 Google Cloud ELT（提取、加载、转换）流程。内容涵盖基本的 ELT 架构、常用 ELT 流水线示例、BigQuery 的 SQL 脚本编写和调度功能，以及 Dataform 的功能和用例。
- 提取、转换和加载”数据流水线模式
- 本单元简要介绍 Google Cloud ETL（提取、转化、加载）流程。内容涵盖基本的 ETL 架构、GUI 工具、批量和流式数据处理方案（Dataproc 和 Dataproc Serverless），以及 Bigtable 对数据流水线的作用。
- 自动化技术
- 本单元重点介绍 Google Cloud 流水线的自动化模式和选项。内容涵盖 Cloud Scheduler、Workflows、Cloud Composer、Cloud Run functions 和 Eventarc 等各种工具和服务及其自动化功能和用例。
- 课程总结
- 在最后这一部分中，我们会复习本课程中介绍的内容，并讨论您的上云之旅的后续步骤。
Taught by
Google Cloud Training
Related Courses
-
Introduction to Data Engineering on Google Cloud - 繁體中文
-
Google Cloud Customer Care Fundamentals - 简体中文
-
Introduction to AI and Machine Learning on GC - 简体中文
-
Architecting with Google Kubernetes Engine: Foundations 简体中文
-
Getting Started with Google Kubernetes Engine - 简体中文
-
Essential Google Cloud Infrastructure: Core Services - 简体中文
