Serverless Data Processing with Dataflow: Operations em Português Brasileiro

Overview

Class Central Tips

Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.

Syllabus

Introduction

Este módulo mostra o resumo do curso

Monitoring

Neste módulo, aprendemos a usar a página Lista de jobs para filtrar os jobs que queremos monitorar ou investigar. Vimos como as guias Gráfico de job, Informações do job e Métricas do job mostram um resumo abrangente do job do Dataflow. Por fim, aprendemos a usar a integração do Dataflow com o Metrics Explorer e criar políticas de alertas para as métricas do Dataflow.

Logging e Error Reporting

Neste módulo, aprendemos a usar o painel Registro na parte inferior das páginas Gráfico de job e Métricas do job e mostramos a página centralizada Error Reporting.

Solução de problemas e depuração

Neste módulo, vamos aprender a resolver problemas e depurar pipelines do Dataflow. Também vamos analisar os quatro modos comuns de falha do Dataflow: ao criar o pipeline, ao iniciar o pipeline no Dataflow, durante execução do pipeline e problemas de desempenho.

Desempenho

Neste módulo, veremos as considerações de desempenho que devemos saber ao desenvolver pipelines em lote e de streaming no Dataflow.

Testes e CI/CD

Este módulo vai mostrar o teste de unidade dos pipelines do Dataflow. Também vamos abordar os frameworks e os recursos disponíveis para otimizar o fluxo de trabalho de CI/CD dos pipelines do Dataflow.

Confiabilidade

Neste módulo, veremos os métodos para criar sistemas resilientes a dados corrompidos e falhas temporárias do data center.

Modelos Flex

Este módulo aborda os modelos Flex, um recurso que ajuda as equipes de engenharia de dados a padronizar e reutilizar o código de pipeline do Dataflow. Vários desafios operacionais podem ser resolvidos com esses modelos.