Lakeflow SDP ワークショップ:宣言型パイプラインで学ぶデータエンジニアリング
Lakeflow Spark Declarative Pipelinesを使い、宣言型パイプラインによるデータ処理開発をハンズオンで学ぶ実践ワークショップです。
Beginner / 240 min / Data Engineer / Lakeflow・Spark・Unity Catalog・Workflows
本ワークショップでは、Lakeflow Spark Declarative Pipelines(SDP)を使い、Databricks上で宣言型のデータパイプラインを構築する流れを学びます。 前半では、Databricksの基本概念、データガバナンスとUnity Catalog、データエンジニアリングの基礎、Lakeflow SDPの構成要素を整理します。 後半では、メダリオンアーキテクチャを意識しながら、販売履歴データを加工するパイプラインをハンズオン形式で構築します。 さらに、イベントログの活用、CI/CD対応、外部システムとのデータ連携など、Lakeflow SDPを実運用で活用するための発展的なポイントも紹介します。
対象者・前提
Databricks上でデータパイプライン開発を行いたいデータエンジニア、分析基盤担当者、アーキテクト向けのワークショップです。 Sparkやデータエンジニアリングの基礎を学びたい方、既存のETL処理をDatabricks上でモダン化したい方、Lakeflow SDPの実践的な使い方を理解したい方を対象としています。
学べること
・Databricks、Unity Catalog、データエンジニアリングの基本概念を理解する ・Lakeflow Spark Declarative Pipelines(SDP)の特徴と構成要素を理解する ・メダリオンアーキテクチャに沿ったデータパイプラインをハンズオンで構築する ・イベントログ、CI/CD、外部データ連携など、Lakeflow SDPの実運用に向けた活用ポイントを把握する
スライド · GitHub ノートブック
← ワークショップ一覧