DatabricksのEmanuel Zgraggen氏とJason Messer氏が登壇したLakeflow Designer: No-code ETL— Authored With AI, Built for Productionのセッションでは、ビジネスユーザーがコードを書かずにデータ整備・結合・集計・可視化を行えるノーコードETLツールが紹介された。Lakeflow Designerはドラッグ＆ドロップのUIとGenie CodeによるAI支援を組み合わせ、背後で本番環境対応のPySparkコードを生成する。生成コードはGit連携やスケジューリング、マテリアライズドビューの出力と組み合わせることで本番投入が容易になる。対話時はデータサンプルで高速にフィードバックを返し、実行時はSparkでフルデータ処理を行う点も強調された。
※サイトの更新により、リンクが無効になる可能性があります。
― エーピーコミュニケーションズ GDAI部 Lakehouse
データ準備における課題
多くの組織で、業務を深く理解するユーザーが必ずしも本番対応のデータパイプラインを構築できるとは限らない。既存のローコードツール（例: Alteryxやスプレッドシート）は中央のデータプラットフォームと分断されがちで、ガバナンスやデプロイが複雑になる。ライセンス費用や利用者の偏りも課題だ。
ソリューションアーキテクチャ
Lakeflow DesignerはDatabricksネイティブのノーコードデータ準備ソリューションで、作業をDatabricksのガバナンス下に収めることを目的としている。直感的なキャンバスで変換フローを組み立てると、AI支援で変換案が提示され、バックグラウンドで本番向けPySparkコードが生成される。これによりGit連携やスケジュール実行、リソース課金に基づく運用が可能になる。
データ取り込みと対話的変換
ノーコードAIデータパイプライン
Lakeflow Designerは既存テーブルの参照、ファイルからのテーブル作成、ローカルファイルのドラッグ＆ドロップ、Google DriveやSharePointへの接続など多様な取り込みをサポートする。UIはオペレーター、キャンバス、設定パネル、出力テーブルで構成され、視覚的にワークフローを作成できる。対話時はサンプルで高速に結果を確認でき、実行時はSparkで大規模データを処理する。各ステップのデータプロファイリング機能で品質も把握できる。
「Transform by example」機能によるデモ
「Transform by example」機能によるデモ
自然言語プロンプトやスクリーンショットを使う「Transform by example」機能により、AIが複雑な変換を提案・実行するデモも行われた。セッションではワールドカップデータを統合し、東西ドイツの統一処理やパワーレーティング計算、地図上での可視化までをノーコードで示した。
ユーザー定義オペレーターでの拡張
ユーザー定義オペレーター（UDO）は緯度経度変換やカスタム可視化などをパッケージ化して再利用する仕組みだ。UDOはYAMLでメタデータや入出力を定義し、実行ロジックはPythonで記述できる。ワークスペースのルートやユーザーのホームに配置すればチームで共有でき、将来的なマーケットプレイス化も予定されている。セッションではISOコードから国旗絵文字を生成するUDOをその場で作り、可視化に組み込むデモが披露された。
本番環境への移行と期待される効果
生成されたPySparkコードはGit連携やDatabricks Asset Bundles、マテリアライズドビューと組み合わせて本番デプロイを楽にする。Emanuel Zgraggen氏とJason Messer氏は、Lakeflow Designerがコード不要のデータ変換と容易な拡張を示したとまとめた。ビジネスユーザーはコーディング負担を減らして分析に集中でき、データエンジニアは再利用可能なコンポーネントで効率化できる点が期待される。
