1.はじめに
GLB事業部Lakehouse部のメイです。
Data + AI Summit 2023に向け弊社では以下の関連ブログを掲載させていただきました。
- 「Data + AI Summit 2023特設サイトについて」
- 「デジタルツイン(Digital Twin)」
- 「【2023年の注目キーワードになるか？】LLMOpsとは」
本日は「データメッシュアーキテクチャ(Data Mesh Architecture)」についてご紹介いたします。
2. 目次
- 1.はじめに
- 2. 目次
- 3. データメッシュ in 「Data + AI Summit 2023」
- 4. データメッシュとは
- 5. データメッシュの次元変化
- 6. データメッシュの原則
- 7. データメッシュのメリット
- 8. データメッシュを実現するDatabricks機能
- 9. APC Data + AI Summit 2023 特設サイト
- 10. おわりに
3. データメッシュ in 「Data + AI Summit 2023」
サンフランシスコで開催される「Data + AI Summit 2023」では、データメッシュを実現するDatabricksレイクハウスの構築に関連する講演が6月28日、6月29日に行われる予定です。
6月28日
www.databricks.com www.databricks.com www.databricks.com
6月29日
www.databricks.com www.databricks.com www.databricks.com www.databricks.com www.databricks.com
4. データメッシュとは
データメッシュは大規模かつ複雑な環境で分析用データ（analytical data）を組織内・組織間に共有、アクセス、管理するための社会技術的なアプローチです。
データメッシュの組織理論におけるチームトポロジー理論は以下のブログに掲載させていただきました。
5. データメッシュの次元変化
データ メッシュは以前のデータ管理方法に比べると組織の変化や技術的変化をもたらします。
リファレンス: Data Mesh by Zhamak Dehghani, O'Reilly Media, Inc
6. データメッシュの原則
データメッシュアーキテクチャには 4 つの原則があります。
- ドメインの所有権 (Domain Ownership)
- 製品としてのデータ(Data as a Product)
- セルフサーブのデータ プラットフォーム(Self-Serve Data Platform)
- 連合計算ガバナンス (Federated Computational Governance)
6.1. ドメインの所有権 (Domain Ownership)
データの所有権をデータのソースまたは対象となる消費者いずれかのビジネスドメインに分散させ、 さらにビジネスドメインに基づいて論理的に分解したデータのライフ サイクルを独立して管理することです。
6.2. 製品としてのデータ(Data as a Product)
データ製品は従来製品の思考を論理的に拡張したものであり、情報、知識、洞察発見、知能が含まれています。目的としては外部データを収集するだけでなく既存のプロセスやシステムにデータを埋め込むことでより価値のある製品を開発することです。（ジョブ理論 Jobs-To-Be-Done Theory）
6.3. セルフサーブのデータ プラットフォーム(Self-Serve Data Platform)
分散型データ管理プラットフォームで部門横断チームがデータを共有できるようになり、知識グラフ（Knowledge Graph）とデータリネージ（Data Lineage）を利用してデータ製品のライフ サイクル全体を管理することができます。
6.4. 連合計算ガバナンス (Federated Computational Governance)
データガバナンス標準（ポリシー）は一元的に定義されますが、 ローカルドメインチームには定義された標準を実行するための自主性とリソースがあります。 リスクが管理され、組織全体でデータコンプライアンスとプライバシーを確保することができます。
7. データメッシュのメリット
データ メッシュ アーキテクチャは
- 企業の規模、変化、成長に伴う適応性がある
- さまざまなシステムからのデータを同時に収集、統合、分析することができる
- ドメイン チームはデータを完全にコントロールしながら高品質のデータ製品を開発できる
などいくつかのメリットがあります。
8. データメッシュを実現するDatabricks機能
データメッシュを実現するDatabricks機能が多数あります。
例えば:
- 柔軟な共有を可能にする (Delta sharing)
- カタログおよびガバナンスツール (Unity Catalog)
- セルフサービスデータパイプライン(Workflow, Delta Live Tables)
- データサイエンス・機械学習チーム間の共有、再利用(Feature Store)
- 高性能BIとSQLクエリーを実現し、データチームによるデータ製品に対する複数のコピー(Databricks SQL)
9. APC Data + AI Summit 2023 特設サイト
「Data + AI Summit 2023」ではDatabricks社とパートナー契約を締結しているエーピーコミュニケーションズが、現地より基調講演や最新アップデート情報などを弊社特設サイトから順次配信する予定です！
開催までの期間ではDatabricksの魅力や見どころをなどを掲載する予定となります。 Databricks社の方々にもご協力していただきますので、少しでもご興味のある方は1か月ほどの期間となりますがお付き合いいただければ幸いです。
10. おわりに
最後まで御覧いただきありがとうございます。 今回はデータメッシュアーキテクチャの紹介になります。データメッシュに関するセッションには 技術的な課題だけではなく、組織的な課題でもありますのでご興味がある方は是非ご参加ください！
私たちはDatabricksを用いたデータ分析基盤の導入から内製化支援まで幅広く支援をしております。 もしご興味がある方は、お問い合わせ頂ければ幸いです。
そして、一緒に働いていただける仲間も募集中です！ APCにご興味がある方の連絡をお待ちしております。
