Introduction to Data Engineering on Google Cloud - Français

Overview

Dans ce cours, vous allez explorer l'ingénierie de données sur Google Cloud, les rôles et responsabilités des ingénieurs de données, et la façon dont ces éléments se retrouvent dans les offres Google Cloud. Vous apprendrez également à relever les défis liés à l'ingénierie de données.

Syllabus

Tâches d'ingénierie de données et composants associés

Cette section sert d'introduction au cours "Data Engineering on Google Cloud". Elle fournit une vue d'ensemble de sa structure et de ses objectifs.

Tâches d'ingénierie de données et composants associés

Ce module présente le rôle d'ingénieur de données. Il introduit les principaux concepts tels que les sources et récepteurs de données, les formats de données, les options de stockage disponibles sur Google Cloud, la gestion des métadonnées, ainsi que l'utilisation d'Analytics Hub pour le partage de données interne ou externe à l'organisation.

Réplication et migration des données

Ce module présente la réplication et de la migration des données sur Google Cloud. Il aborde l'architecture de base, l'outil de ligne de commande gcloud, le service de transfert de stockage, Transfer Appliance et Datastream, ainsi que les fonctionnalités et cas d'utilisation de ces outils.

Modèle de pipeline d'extraction et de chargement de données

Ce module est consacré aux processus d'extraction et de chargement de données dans Google Cloud, notamment avec BigQuery. Il présente l'architecture d'extraction et de chargement de base, l'outil de ligne de commande bq, le service de transfert de données BigQuery, ainsi que BigLake en tant qu'alternative aux schémas d'extraction et de chargement traditionnels.

Modèle de pipeline d'extraction, de chargement et de transformation de données

Ce module traite des processus ELT (extraction, chargement et transformation) sur Google Cloud. Il présente l'architecture ELT de base, un exemple de pipeline ELT courant, les capacités de BigQuery pour l'écriture de scripts et la planification SQL, ainsi que les fonctionnalités et les cas d'utilisation de Dataform.

Modèle de pipeline d'extraction, de transformation et de chargement de données

Ce module présente les processus ETL (extraction, transformation et chargement) de Google Cloud. Il aborde l'architecture ETL de base, les outils IUG, les options de traitement des données par lot ou par flux (Dataproc, Dataproc sans serveur), ainsi que le rôle de Bigtable dans les pipelines de données.

Techniques d'automatisation

Ce module est consacré aux schémas et options d'automatisation des pipelines sur Google Cloud. Il présente divers outils et services, tels que Cloud Scheduler, Workflows, Cloud Composer, Cloud Run Functions et Eventarc, ainsi que leurs fonctionnalités et cas d'utilisation pour l'automatisation.

Résumé du cours

Dans cette dernière section, nous passerons en revue les sujets abordés dans le cours, puis nous parlerons des prochaines étapes de votre parcours d'apprentissage lié au cloud.