Serverless Data Processing with Dataflow: Foundations em Português Brasileiro

Overview

Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.

Syllabus

Introdução

Neste módulo, apresentamos os detalhes do curso, além de um resumo rápido sobre o modelo de programação Apache Beam e o serviço gerenciado do Dataflow do Google.

Portabilidade do Beam

Este módulo é dividido em quatro seções: portabilidade do Beam, Runner v2, ambientes de contêiner e transformações entre linguagens.

Como separar a programação do armazenamento com o Dataflow

Neste módulo, ensinaremos como separar a programação do armazenamento com o Dataflow. Ele é dividido em quatro seções: Dataflow, serviço do Dataflow Shuffle, Dataflow Streaming Engine e programação flexível de recursos.