はじめに

GLB事業部Lakehouse部のメイです。

現地でのData + AI SUMMIT2023（DAIS）に参加しているメンバーの報告をもとに、「Unlock the Next Evolution of the Modern Data Stack With the Lakehouse Revolution」を共有します。このセッションは、DatabricksのAllison Baker、Roberto Salcido、Kyle Hale、Franco Pitanoが登壇し、Lakehouse revolutionを通じて、モダンデータスタックの次の進化を紹介し、データアナリストやデータサイエンティストがデータの価値を引き出すための情報を提供することを目的としています。ターゲット視聴者は、データアナリスト、データサイエンティスト、データエンジニア、データアーキテクトの方々です。

本ブログは全2部構成で、今回は第2部をお届けします。第1部では、Lakehouse revolutionがモダンデータスタックの進化をもたらすことや、最新の概念、機能、サービスについて紹介しました。第2部では、FivetranとDBT Cloudを用いたデータ統合と変換の方法や、DBT Cloudを活用したデータモデリングとTableauを用いたデータ可視化のパフォーマンス向上について解説します。

Fivetranを用いたデータ統合

まずはじめに、Fivetranを使用してデータソースに接続し、データをSQLウェアハウスに取り込む方法が紹介されました。Fivetranは、データ統合プラットフォームであり、さまざまなデータソースからデータを簡単に取り込むことができます。以下に、Fivetranを使用してデータ統合を行う手順をまとめました。

Fivetranアカウントの作成
データソースの選択
データソースとの接続設定
SQLウェアハウスへのデータ取り込み

これにより、データアナリストやデータサイエンティストは、簡単にデータソースにアクセスし、データを統合することができます。

DBT Cloudを活用したデータ変換とクレンジング

次に、DBT Cloudを使用してデータを変換・クレンジングし、TPC-DIフレームワークを実装する方法が説明されました。DBT Cloudは、データ変換やクレンジングを行うためのプラットフォームであり、データ品質を向上させることができます。以下に、DBT Cloudを使用してデータ変換とクレンジングを行う手順をまとめました。

DBT Cloudアカウントの作成
プロジェクトの設定
データ変換・クレンジングの実装
TPC-DIフレームワークの適用
データ品質の確認

これにより、データアナリストやデータサイエンティストは、データの品質を向上させ、より正確な分析を行うことができます。

まとめ

この講演では、FivetranとDBT Cloudを用いたデータ統合と変換の方法が紹介されました。また、Lakehouse revolutionを通じて、モダンデータスタックの次の進化が紹介されました。データアナリストやデータサイエンティストは、これらの情報を活用することで、データの価値を最大限に引き出すことができます。最新の概念や機能、サービスについても触れられ、データ活用の幅が広がっていることがわかりました。今後もこのような技術の進化に注目し、日本の読者にわかりやすい情報を提供していきたいと思います。