在本課程中，您會學到 Google Cloud 上的資料工程、資料工程師的角色與職責，以及這些內容如何對應至 Google Cloud 提供的服務。您也將瞭解處理資料工程難題的許多方法。
Overview
Syllabus
- 課程簡介
- 在本節中，我們會歡迎學員參加「Introduction to Data Engineering on Google Cloud」，並簡要說明課程架構和目標。
- 資料工程工作與元件
- 本單元將介紹資料工程師的角色，並說明許多重要概念，例如資料來源和接收器、資料格式、Google Cloud 的儲存空間選項、中繼資料管理，以及如何使用 Analytics Hub 在組織內外共用資料。
- 資料複製及遷移
- 本單元將概略說明 Google Cloud 的資料複製及遷移功能，涵蓋基本架構，以及 gcloud 指令列工具、Storage 移轉服務、Transfer Appliance 和 Datastream 的功能和用途。
- 擷取及載入資料 pipeline 模式
- 本單元將著重在 Google Cloud 的資料擷取及載入，並特別說明 BigQuery 相關用法。內容涵蓋資料擷取及載入的基本架構、bq 指令列工具、BigQuery 資料移轉服務，以及如何將 BigLake 做為傳統擷取及載入模式的替代方案。
- 擷取、載入及轉換資料 pipeline 模式
- 本單元將概略說明 Google Cloud 的 ELT (擷取、載入、轉換) 程序，涵蓋 ELT 基本架構、常見的 ELT pipeline 範例、BigQuery 的 SQL 指令碼編寫和排程功能，以及 Dataform 的功能和用途。
- 擷取、轉換及載入資料 pipeline 模式
- 本單元將概略說明 Google Cloud 的 ETL (擷取、轉換、載入) 程序，涵蓋 ETL 基本架構、GUI 工具、批次與串流資料處理選項 (Dataproc、Dataproc Serverless)，以及 Bigtable 在資料 pipeline 中的角色。
- 自動化技巧
- 本單元著重在 Google Cloud 上 pipeline 的自動化模式和選項，涵蓋各種工具及服務的功能和自動化用途，例如 Cloud Scheduler、Workflows、Cloud Composer、Cloud Run functions 和 Eventarc。
- 課程摘要
- 在最後一節中，我們會回顧本課程介紹的內容，並說明後續步驟，繼續雲端學習之旅。
Taught by
Google Cloud Training
Related Courses
-
Introduction to AI and Machine Learning on GC - 繁體中文
-
Boost Productivity with Gemini in BigQuery - 繁體中文
-
Essential Google Cloud Infrastructure: Core Services - 繁體中文
-
Reliable Cloud Infrastructure: Design and Process - 繁體中文
-
Getting Started with Google Kubernetes Engine - 繁體中文
-
Architecting with Google Kubernetes Engine: Foundations - 繁體中文
