Delta Sharing: The Key Data Mesh Enabler Part 2 (デルタ共有: 主要なデータメッシュ実現要因 Part 2)

はじめに

GLB事業部Global Engineering部ヨハンです。今回は、データメッシュとDelta Sharingについての講演「Delta Sharing: The Key Data Mesh Enabler」を取り上げます。講演者は、AvanadeのデータエンジニアリングディレクターであるFrancesco Pizzolong氏です。彼は、銀行、小売、交通、エネルギー、公共セクターなどの業界で12年以上のデータエンジニアリングの経験を持っています。本講演のテーマは「Delta Sharing: The Key Data Mesh Enabler」であり、データメッシュの主要なエンエーブラーについて説明することを目的としています。対象となる読者は、データ&AIに関心のある技術者や、データプラットフォームを構築する企業のCIOやビジネスリーダーです。このブログは全2部構成で、今回は第2部をお届けします。第1部では、データメッシュとDelta Sharingを用いたデータプラットフォーム構築の事例を紹介しました。今回の第2部では、中央集権型データプラットフォームとデータメッシュの比較、データメッシュを選択する際の標準化の重要性、データフォーマット標準としてDeltaの利点、そしてDelta Sharingをデータ共有標準として採用する理由について解説します。それでは、早速本題に入りましょう！

データプラットフォームの選択とDeltaの利点

中央集権型データプラットフォームとデータメッシュの比較

データプラットフォームの選択には、中央集権型とデータメッシュという2つのアプローチがあります。中央集権型データプラットフォームは、一元管理されたデータを提供することで、データの品質やセキュリティを保証します。しかし、このアプローチではデータの利用や共有が制限されることがあります。一方、データメッシュは、データを分散させて管理することで、データの利用や共有を促進します。データメッシュでは、データの所有者がデータを自由に管理し、他のチームや組織と共有することができます。これにより、データの利用が容易になり、イノベーションが促進されます。

データメッシュを選択する際の標準化の重要性

データメッシュを導入する際には、データの標準化が重要です。標準化されたデータフォーマットやAPIを使用することで、データの利用や共有が容易になります。また、標準化により、データの品質やセキュリティも保証されます。データ標準化のポイントは以下の通りです。

データフォーマットの統一
APIの標準化
データ品質の確保
セキュリティの確保

データフォーマット標準としてDeltaの選択とその利点

データメッシュのデータフォーマット標準として、Deltaが注目されています。Deltaは、以下のような利点があります。

スキーマの進化: Deltaは、スキーマの変更を柔軟に対応できるため、データの進化に迅速に対応できます。
トランザクションのサポート: Deltaは、ACIDトランザクションをサポートしているため、データの整合性が保証されます。
高速なクエリ実行: Deltaは、データの圧縮やパーティショニングにより、クエリの実行速度が向上します。
オープンフォーマット: Deltaは、オープンなフォーマットであるため、様々なデータ処理ツールと互換性があります。

データメッシュを実現するためには、Deltaのようなデータフォーマット標準が不可欠です。Deltaを活用することで、データの利用や共有が容易になり、データプラットフォームの効果的な運用が可能になります。

Delta Sharingをデータ共有標準として採用する理由

Delta Sharingは、データメッシュの成功に欠かせない要素として注目されています。データメッシュは、データを簡単に共有・活用できる環境を提供することを目指しており、そのためにはデータ共有の標準化が不可欠です。Delta Sharingは、以下の理由からデータ共有標準として採用されるべきです。

オープンソース: Delta Sharingはオープンソースであり、誰でも自由に利用・改変・配布が可能です。これにより、データ共有のハードルが下がり、より多くの人がデータメッシュに参加できるようになります。
データの互換性: Delta Sharingは、様々なデータソースやデータフォーマットに対応しており、データの互換性が高いです。これにより、データの取り扱いが容易になり、データメッシュの利便性が向上します。
セキュリティ: Delta Sharingは、データのアクセス制御や暗号化など、セキュリティ面でも優れています。これにより、データの安全性が確保され、データメッシュの信頼性が向上します。

データメッシュプラットフォームの成功指標と現状

データメッシュプラットフォームの成功を測るためには、以下の指標が重要です。

データの利用率: データメッシュプラットフォームが提供するデータが、どれだけ活用されているかを示す指標です。利用率が高いほど、データメッシュプラットフォームの価値が高まります。
データの品質: データメッシュプラットフォームが提供するデータの品質が高いほど、データの信頼性が向上し、データメッシュプラットフォームの価値が高まります。
データのアクセシビリティ: データメッシュプラットフォームが提供するデータが、容易にアクセスできるほど、データメッシュプラットフォームの価値が高まります。

現状では、データメッシュプラットフォームはまだ発展途上であり、これらの指標を満たすプラットフォームは少ないと言われています。しかし、Delta Sharingのような技術の普及により、データメッシュプラットフォームの成功が現実的になってきています。

今後の展望とマーケットプレイスの導入、機械学習データプロダクトの開発

今後のデータメッシュの展望として、以下の2つの要素が重要視されています。

マーケットプレイスの導入: データメッシュプラットフォームにマーケットプレイスを導入することで、データの取引が容易になり、データの価値がより明確になります。これにより、データメッシュプラットフォームの利便性が向上し、データの活用が促進されます。
機械学習データプロダクトの開発: データメッシュプラットフォーム上で機械学習データプロダクトを開発することで、データの活用範囲が広がります。これにより、データメッシュプラットフォームの価値が高まり、データの活用が促進されます。

これらの展望を実現するためには、Delta Sharingのようなデータ共有標準が重要な役割を果たします。今後もDelta Sharingの普及が進むことで、データメッシュの成功が加速されることが期待されています。

まとめ

今回のブログでは、データプラットフォームの選択とDeltaの利点、Delta Sharingをデータ共有標準として採用する理由について解説しました。データメッシュとDelta Sharingは、データの利用や共有を促進し、イノベーションを加速するための重要な要素です。これらの技術を活用することで、データプラットフォームの効果的な運用が可能になります。今後もデータメッシュとDelta Sharingの普及が進むことで、データの活用が促進され、データプラットフォームの価値が高まることが期待されています。皆さんもぜひ、データメッシュとDelta Sharingを活用して、データの活用を進めてみてください。