APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

DatabricksとD&Bが拓く、次世代マスターデータ管理(MDM)の現実解

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部

企業活動の根幹をなすデータ。しかし、そのデータが部署ごとにサイロ化し、重複や不整合に悩まされている現場は少なくありません。この普遍的な課題に対する強力な処方箋が「マスターデータ管理(MDM)」です。本記事では、Data + AI Summitで発表された講演「Scaling Modern MDM With Databricks, Delta Sharing and Dun & Bradstreet」の内容をもとに、現代の企業が直面するデータ品質問題と、それを解決する新しいアプローチについて深く掘り下げます。

多くの企業が直面する、従来型MDMの壁

マスターデータ管理(MDM)とは、企業内の顧客、製品、サプライヤーといった重要データを統合し、「唯一無二の信頼できる情報源(Golden Record)」を構築・維持するための戦略です。しかし、従来のアプローチには大きな課題がありました。

講演でも示されたように、多くの企業では各部署のCRMやERPでそれぞれ別々にデータ処理が行われ、個別のデータスチュワードが管理するサイロ化した状況にあります。そのため、従来は手作業による名寄せや修正に頼るケースが多く、プロセスは遅く、エラーリスクや運用負荷が高いままでした。

DatabricksとD&Bがもたらす、新しいMDMアプローチ

この膠着状態を打破するのが、Databricks LakehouseとDun & Bradstreet(D&B)のデータを組み合わせた新しいアプローチです。単一のプラットフォーム上で社内データと外部の信頼性あるデータをシームレスに統合し、ゴールデンレコードの品質を飛躍的に高めます。

  1. Databricks Lakehouse: データとAIのための統合プラットフォーム。データエンジニアリング、データサイエンス、AI開発を一つの環境で完結できます。

  2. Dun & Bradstreetの企業データ: D&Bが提供するグローバルな企業識別コード「D-U-N-Sナンバー」を活用することで、社内データと外部データの正確なマッチング・エンリッチメントが可能になります。

  3. Delta Sharing Databricksが開発したオープンなデータ共有プロトコル。異なるクラウドやシステム間でも安全かつリアルタイムにデータを共有でき、外部データの参照や取り込みを容易にします。

ノーコードで実現する、自動化されたMDMワークフロー

Databricksのパートナー、Frisco Analytics社が提供するLakeFusionは、Databricks上で動作するノーコードのMDMツールです。手作業に依存していたプロセスを自動化し、以下のステップでゴールデンレコードを構築します。

  1. データのクレンジングと統合 CRMやERPから収集したデータをLakeFusionで重複排除・名寄せし、統合レコードを生成する。
  2. D&Bデータによるマッチングとエンリッチメント CleansedデータをD-U-N-Sナンバーで照合し、法人情報や企業系列、リスク指標などを付与する。
  3. データスチュワードによる承認 自動マッチングできないケースはスチュワードシップ・インターフェース上で確認・承認し、最終的な品質を担保する。

この一連のプロセスはDatabricks Lakehouse内で完結し、レコードはDeltaテーブルとして保存されます。Databricksのカタログ機能を通じてアクセス管理や変更履歴のトラッキングが行われます。

カナダ製造業の事例:数ヶ月の作業を数週間に短縮、運用効率は57%改善

講演で紹介された事例では、あるカナダの製造業がこのアプローチを導入しました。営業部門のCRMデータを整理・統合した結果、重複アプローチが削減され、有望顧客へのターゲティングが迅速化しました。その後、調達部門や経理部門へも展開し、従来は数ヶ月を要した手作業による照合プロセスが数週間で完了され、さらに同様の取り組みを行った企業の57%が運用効率の顕著な改善を報告しています。

AI活用を見据えたMDMのベストプラクティス

講演では、AI時代のMDMに向けて次のポイントが示されました。

  • 信頼できるデータこそが基盤

標準化・検証されたゴールデンレコードが、AIモデルに投入する学習データの品質を高めます。

  • 外部データとの組み合わせでインサイトを深化

    • 供給チェーンリスク評価:サプライヤーの財務状況や地政学リスクを外部データで可視化  
    • 顧客オンボーディング迅速化:本人確認や反社チェックの自動化

    • 与信管理高度化:信用情報のリアルタイム分析による精度向上

まとめ:統合型MDMがもたらす競争優位性

MDMはもはや単なるデータ整理のタスクではなく、企業の競争力を支える戦略的な基盤です。Databricks Lakehouse上で、D&Bの外部データとLakeFusionのノーコードツールを組み合わせることで、従来の手作業に依存したプロセスから脱却し、迅速かつ確実なデータ活用環境を実現できます。データのサイロ化と手作業を乗り越え、AI時代にふさわしい統合データ基盤を構築することが、これからの企業に求められる重要な一歩となるでしょう。