Serverless Data Processing with Dataflow: Operations en Español

Overview

En esta última parte de la serie de cursos de Dataflow, presentaremos los componentes del modelo operativo de Dataflow. Examinaremos las herramientas y técnicas que permiten solucionar problemas y optimizar el rendimiento de las canalizaciones. Luego, revisaremos las prácticas recomendadas de las pruebas, la implementación y la confiabilidad en relación con las canalizaciones de Dataflow. Concluiremos con una revisión de las plantillas, que facilitan el ajuste de escala de las canalizaciones de Dataflow para organizaciones con cientos de usuarios. Estas clases asegurarán que su plataforma de datos sea estable y resiliente ante circunstancias inesperadas.

Syllabus

Introducción

En este módulo, se aborda la descripción del curso.

Monitoring

En este módulo, aprenderemos a usar la página Lista de trabajos para filtrar los trabajos que deseamos supervisar o investigar. Observaremos cómo las pestañas Gráfico del trabajo, Información del trabajo y Métricas del trabajo brindan en conjunto un resumen completo de su trabajo de Dataflow. Por último, aprenderemos a usar la integración de Dataflow en el Explorador de métricas a fin de crear políticas de alertas para métricas de Dataflow.

Informes de errores y registros

En este módulo, aprenderemos a usar el panel Registro ubicado al final de las páginas Grafo de trabajo y Métricas del trabajo, y sobre la página Informes de errores centralizada.

Solución de problemas y depuración

En este módulo, aprenderemos a depurar canalizaciones de Dataflow y solucionar sus problemas. También revisaremos los cuatro modos habituales de fallas de Dataflow: falla en la compilación de canalizaciones, falla en el inicio de la canalización de Dataflow, falla en la ejecución de canalizaciones y problemas de rendimiento.

Rendimiento

En este módulo, analizaremos las consideraciones de rendimiento que se deben tener presentes cuando se desarrollan canalizaciones por lotes y de transmisión en Dataflow.

Testing y CI/CD

En este módulo, analizaremos cómo realizar pruebas de unidades de las canalizaciones de Dataflow. También presentaremos los frameworks y las funciones disponibles a fin de optimizar su flujo de trabajo de CI/CD para las canalizaciones de Dataflow.

Confiabilidad

En este módulo, analizaremos métodos para compilar sistemas que sean resilientes ante la corrupción de datos y las interrupciones de los centros de datos.

Plantillas Flexibles

En este módulo, se abordan las plantillas flexibles, una función que ayuda a los equipos de ingeniería a estandarizar y reutilizar el código de las canalizaciones de Dataflow. Muchos desafíos operativos se pueden solucionar con las plantillas flexibles.