Building Batch Data Pipelines on GCP auf Deutsch

Overview

Class Central Tips

Datenpipelines folgen in der Regel dem Muster Extrahieren und Laden (EL), Extrahieren, Laden und Transformieren (ELT) oder Extrahieren, Transformieren und Laden (ETL). Im Kurs wird beschrieben, welcher Ansatz in welcher Situation für Batchdaten geeignet ist. Außerdem werden verschiedene Technologien der Google Cloud Platform zur Datentransformation behandelt, wie BigQuery, das Ausführen von Spark in Cloud Dataproc, Pipelinediagramme in Cloud Data Fusion und die serverlose Datenverarbeitung mit Cloud Dataflow. In Qwiklabs erstellen die Kursteilnehmer dann selbst Komponenten einer Datenpipeline in der Google Cloud Platform.

Syllabus

Einführung
-In diesem Modul werden der Kurs und die Agenda vorgestellt.

Einführung in Batch-Datenpipelines
-In diesem Modul werden verschiedene Methoden für das Laden von Daten vorgestellt – EL, ELT und ETL – und wann welches Modell zum Einsatz kommt.

Spark in Cloud Dataproc ausführen
-In diesem Modul wird behandelt, wie Sie Hadoop in Cloud Dataproc ausführen, wie Sie Google Cloud Storage nutzen und Dataproc-Jobs optimieren.

Datenpipelines mit Cloud Data Fusion und Cloud Composer verwalten
-In diesem Modul wird gezeigt, wie Sie Datenpipelines mit Cloud Data Fusion und Cloud Composer verwalten.

Serverlose Datenverarbeitung mit Cloud Dataflow
-In diesem Modul geht es darum, wie Sie mit Cloud Dataflow eigene Pipelines zur Datenverarbeitung erstellen.

Zusammenfassung
-In diesem Modul werden die Themen des Kurses noch einmal kurz wiederholt.