はじめに

GLB事業部Lakehouse部のメイです。

現地でのData + AI SUMMIT2023（DAIS）に参加しているメンバーの報告をもとに、「Data Application Bundles: A Standard, Unified Approach to Deploying Data Products on Databricks」を共有します。

このセッションでは、Databricks上でデータ製品を展開するための新しい標準的なアプローチであるDatabricks Asset Bundlesが紹介されています。データチームやデータ製品オーナー、DevOpsやエンジニアリングなどのオペレーション部門の同僚に向けて、展開方法の選択肢とその利点と欠点を説明していきます。

Databricks Asset Bundlesの概要

Databricks Asset Bundlesは、データ製品の展開を効率化し、標準化するための新しい方法です。これにより、データチームやデータ製品オーナー、DevOpsやエンジニアリングなどのオペレーション部門が、Databricksで構築された製品のCI-CD（継続的インテグレーションと継続的デリバリー）を容易に実現できます。

展開方法の選択肢とその利点と欠点

Databricks Asset Bundlesを使用することで、以下のような利点が得られます。

標準化された展開プロセス：Databricks Asset Bundlesを使用することで、データ製品の展開プロセスが標準化され、組織全体で一貫性が保たれます。
簡素化されたデプロイメント：Databricks Asset Bundlesは、データ製品のデプロイメントを簡素化し、効率化します。これにより、データチームはより迅速にデータ製品を市場に投入できます。
セキュリティの向上：Databricks Asset Bundlesは、データ製品のセキュリティを向上させるための機能を提供します。これにより、データ漏洩や不正アクセスのリスクが軽減されます。

ただし、Databricks Asset Bundlesを使用することには、以下のような欠点もあります。

学習コスト：Databricks Asset Bundlesを使用するためには、新しい概念やツールを学習する必要があります。これには、時間と労力がかかります。
移行コスト：既存のデータ製品をDatabricks Asset Bundlesに移行する際には、移行コストが発生します。これには、既存のデータ製品の再設計や再テストが含まれます。