Overview

Dataflow シリーズの最後のコースでは、Dataflow 運用モデルのコンポーネントを紹介します。パイプラインのパフォーマンスのトラブルシューティングと最適化に役立つツールと手法を検証した後で、Dataflow パイプラインのテスト、デプロイ、信頼性に関するベストプラクティスについて確認します。最後に、数百人のユーザーがいる組織に対して Dataflow パイプラインを簡単に拡張するためのテンプレートについても確認します。これらの内容を習得することで、データプラットフォームの安定性を保ち、予期せぬ状況に対する回復力を確保できるようになります。

Syllabus

はじめに

このモジュールではコースの概要を説明します。

モニタリング

このモジュールでは、ジョブリストのページを使用して、モニタリングまたは調査を行うジョブをフィルタする方法を学習します。ジョブグラフ、ジョブ情報、ジョブの指標の各タブがどのように連携して Dataflow ジョブの包括的な概要を提供しているかを見ていきます。最後に、Dataflow と Metrics Explorer との統合を利用して、Dataflow 指標のアラートポリシーを作成する方法を学びます。

ロギングと Error Reporting

このモジュールでは、ジョブグラフページとジョブの指標ページの両方の下部にあるログパネルの使用方法と、一元化されたエラーレポートページについて学習します。

トラブルシューティングとデバッグ

このモジュールでは、Dataflow パイプラインのトラブルシューティングとデバッグの方法を学習します。また、Dataflow における 4 つの一般的な障害モード（パイプラインの構築に関する障害、Dataflow でのパイプラインの開始に関する障害、パイプライン実行中の障害、パフォーマンスの問題）についても確認します。