データエンジニアリングワークショップ:データ取り込みから加工・可視化・ジョブ化まで
クラウドストレージからのデータ取り込み、PySparkによる加工、AI/BIでの可視化、Lakeflow Jobsでの自動化を実践
Beginner / 150 min / Data Engineer / Lakeflow Connect・Auto Loader・Apache Spark・Delta Lake・AI/BI Dashboards・Lakeflow Jobs
本ワークショップでは、データエンジニア向けに、Databricksを活用した代表的なETLワークロードの実装方法をハンズオン形式で学びます。
最初にDatabricksのデータエンジニアリングソリューションの全体像を理解し、環境セットアップとサンプルデータの確認を行います。その後、Lakeflow ConnectやAuto Loaderによるデータ取り込み、PySpark・Spark SQLによるデータ加工、オープンテーブルフォーマットへの保存、AI/BI Dashboardでの可視化、Lakeflow Jobsによる処理の自動化までを順番に実践します。
各パートでは説明とハンズオンを繰り返し、ETLパイプラインをエンドツーエンドで構築するための基本的な知識と操作方法を習得します。
対象者・前提
データの取り込みや加工を行うETLパイプラインの構築・運用を担当するデータエンジニア、またはPythonやSQLの基本的なコーディング経験があり、Databricksを使ったデータパイプライン構築を学びたい方
学べること
Databricksのデータエンジニアリング機能の全体像を理解し、クラウドストレージからのデータ取り込み、PySpark・Spark SQLによる加工、AI/BI Dashboardでの可視化、Lakeflow Jobsによるジョブ化までを自身で実装できる
スライド · GitHub ノートブック
← ワークショップ一覧