En este curso, aprenderás sobre la ingeniería de datos en Google Cloud, los roles y las responsabilidades de los ingenieros de datos y cómo estos se corresponden con las ofertas de Google Cloud. También aprenderás sobre los métodos para enfrentar los desafíos de la ingeniería de datos.
Overview
Syllabus
- Introducción al curso
- En esta sección, se te da la bienvenida al curso Introduction to Data Engineering on Google Cloud y se presenta una descripción general de su estructura y sus objetivos.
- Tareas y componentes de ingeniería de dato
- En este módulo, se presenta el rol de un ingeniero de datos. Se abordan conceptos clave, como los de fuentes y receptores de datos, formatos de datos, opciones de almacenamiento en Google Cloud, administración de metadatos y el uso de Analytics Hub para compartir datos dentro y fuera de una organización.
- Replicación y migración de datos
- En este módulo, se ofrece una descripción general de la replicación y la migración de datos en Google Cloud. Se abordan la arquitectura básica, la herramienta de línea de comandos de "gcloud", el Servicio de transferencia de almacenamiento, Transfer Appliance y Datastream, así como sus funciones y casos de uso.
- Patrón de canalización de datos de extracción y carga
- Este módulo se enfoca en los procesos de extracción y carga de datos en Google Cloud, específicamente con BigQuery. Se abordan la arquitectura básica de extracción y carga, la herramienta de línea de comandos de bq, el Servicio de transferencia de datos de BigQuery y BigLake como una alternativa frente a los patrones tradicionales de extracción y carga.
- Patrón de canalización de datos de extracción, carga y transformación
- En este módulo, se proporciona una descripción general de los procesos de ELT (extracción, carga y transformación) en Google Cloud. Se abordan la arquitectura básica de ELT, un ejemplo de una canalización de ELT común, las funciones de BigQuery para escribir secuencias de comandos y planificar en SQL, y las funciones y casos de uso de Dataform.
- Patrón de canalización de datos de extracción, transformación y carga
- En este módulo, se proporciona una descripción general de los procesos de ETL (extracción, transformación y carga) en Google Cloud. Se abordan la arquitectura básica de ETL, las herramientas de GUI, las opciones de procesamiento de datos por lotes y de transmisión (Dataproc y Dataproc Serverless) y el rol de Bigtable en las canalizaciones de datos.
- Técnicas de automatización
- Este módulo se enfoca en los patrones y las opciones de automatización para canalizaciones en Google Cloud. Se abordan varias herramientas y servicios, como Cloud Scheduler, Workflows, Cloud Composer, Cloud Run Functions, Eventarc y otras funciones y casos de uso de automatización.
- Resumen del curso
- En la sección final, revisaremos lo que se presentó en este curso y conversaremos sobre los próximos pasos para continuar tu recorrido de aprendizaje de Cloud.
Taught by
Google Cloud Training