統合アーキテクチャへの進化
当初、ABN Amroのデータチームは、ドメイン固有のデータアプリケーションの開発を容易にするために、中央集権型のプラットフォームを展開しました。残念ながら、結果は初期の期待と一致せず、アーキテクチャの転換が行われました。分散型アプローチが採用されたにもかかわらず、この組織は引き続き中央データレイクを維持しており、これは標準的なデータメッシュのイデオロギーから興味深い逸脱となっています。以下は、アーキテクチャの進化の方法です：
初期設定: 元々、ABN Amroの中核インフラは、中央データ配布プラットフォームを中心に展開されていました。このフレームワークは、すべての企業の「ゴールデンソース」または権威あるデータセットの処理と整合性の検証を担い、そのようなデータが許可された人員のみにアクセス可能であることを確保することが非常に重要でした。
ドメインデータアプリケーションの開発: 当初は、各ドメインが中央プラットフォームを利用して特定のデータアプリケーションを作成し、組織の異なるセグメント間でのデータ利用を促進することを目指していました。
新しいゴールデンソースの統合: 新しい「ゴールデンソース」が開発されるたびに、それは中央プラットフォームに戻され、検証された後、幅広い企業全体で普及しました。
ABN Amroの現在の戦略が中央集権と分散の要素の混合へと向かったことについてのこの反省は、大企業におけるデータアーキテクチャの実用性についての洞察に満ちた視点を提供し、効果的なデータガバナンスと利用に必要な繊細なアプローチを明らかにしています。
標準化とガバナンス：ABN Amroのデータアーキテクチャ戦略
セッション「BIからAIまでのレイクハウスの実装」において、ABN Amroのデータチームは、統合されたドメイン主導のデータおよびAIプラットフォームについて広範に議論しました。このセッションで特に興味深かったのは、「標準化とガバナンス」に焦点を当てた部分で、企業構造とデータアーキテクチャの制御の間の相互作用を強調しました。
プレゼンテーション中に、コンウェイの法則の概念が探求されました。これは、システム設計がそれを作成する組織のコミュニケーション構造を反映すると提案しています。したがって、一貫したチーム構造がなければ、成功したアーキテクチャの成果を達成することは困難です。
ABN Amroは、中央集権化と分散化の間で戦略的に航行し、データアーキテクチャを強化しています。「O4Dモデル」は、彼らの戦略に不可欠であり、作業の三つの明確なタイプに責任を分類し、データ管理とプラットフォーム開発における役割を明確にし、説明責任を確保しています。
このモデルにより、ABN Amroはデータオペレーション全体にわたって堅牢な標準化およびガバナンスプロトコルを実施することができ、データのセキュリティおよび品質が高い基準で維持されるようにしています。さらに、この構造は伝統的なビジネスインテリジェンスフレームワークから高度な人工知能アプリケーションへのシームレスな移行と統合を支援します。
ABN Amroによって共有された経験と実践は、独自のデータ戦略を洗練させようとする他の組織にとって貴重な洞察を提供します。組織構造の重要性と効果的なガバナンスを強調することは、革新的な技術の統合とデータ駆動型の成果の実現に大いに役立つことができます。
中央集権的な管理とデータ共有
ABNアムロのデータチームが議論した統合されたドメイン駆動のデータおよびAIプラットフォームでは、各ユニットは独自の研究グループを維持しており、特定の目的に合わせて細心の注意を払ってサービスが提供されています。このモデルは完全に銀行の管理下で運用され、規制順守における先駆的な基準を設定しています。
構造には4つの主要なコンポーネントが含まれています：「データ取り込みユニット」、「アプリケーションユニット」、「オーケストレーションユニット」、そして「ストレージユニット」です。 「ストレージユニット」に焦点を当てると、これはUnity Catalogによってサポートされたコアフレームワークです。このユニットは、データに焦点を当てるために青で表され、データセキュリティを強調するために黄色で補完されています。「ストレージユニット」は企業データベースにシームレスに統合されており、保管されたデータの強固な保護とセキュリティを保証します。
中央集権的な管理とデータの共有は、情報を保護するだけでなく、組織全体での効率的なアクセスも可能にします。この堅牢な基盤は、革新的でデータ駆動型の意思決定を促進します。各ユニットに特化した機能を割り当てることにより、システムは柔軟性と拡張性を確保し、これが全体的な企業データ戦略を大幅に強化します。
コンプライアンスとオーケストレーション
金融リスクの複雑な地形において、厳格な規制への迅速なコンプライアンスが求められる中、しばしば「速攻かつ荒っぽい」方法論が奨励されますが、これは表向きには特定のポリシーと矛盾しています。それにもかかわらず、各領域はその責任を保持します。これを管理するために、責任はデータエンジニアリングとデータガバナンスのセグメント間で分配されています。両セクターは、ガバナンスレベルでの不一致に対して責任を持ち、それらの不一致に対する理由を最高データ責任者（CDO）に提供する責任があります。
この責任の分配は重要な問題を提起します:「厳格なガバナンスを維持しながら、どのようにして規制要件を迅速に満たすことができるのか？」この問いは、開発段階と製造段階の運用上の違いが精査された議論で焦点になりました。さらに、Databricksをオーケストレーション用に選択することが広く議論されました。
Databricksの選択は、その優れたスケーラビリティと、さまざまなデータソースとの包括的な統合能力によって強調され、より従来の選択肢とは対照的です。この選択は、運用効率と適応性を高める戦略的決定を浮き彫りにします。
このセグメントは、規制のコンプライアンスの緊急性と熟練したオーケストレーションの必要性との間で微妙なバランスを取るために実施された実用的な戦略を詳述しています。領域ごとに具体的な責任を委任することで、それぞれが明確なガバナンスの任務を持つアプローチは、広範なデータ環境の管理の複雑さを効果的に単純化します。
要約すると、このセッションのセグメントは、Databricksのようなツールを使用して計画されたレイクハウスアーキテクチャが、ビジネスインテリジェンスから人工知能への移行を支える堅牢なフレームワークとしてどのように機能するかを明らかにしました。この進歩的なデータ管理モデルは、金融機関がコンプライアンスとオーケストレーションの複雑さを敏捷性と精度でナビゲートする方法の例です。
Databricks Data + AI Summit（DAIS）2024の会場からセッション内容や様子をお伝えする特設サイトをご用意しました！DAIS2024期間中は毎日更新予定ですので、ぜひご覧ください。
私たちはDatabricksを用いたデータ分析基盤の導入から内製化支援まで幅広く支援をしております。
もしご興味がある方は、お問い合わせ頂ければ幸いです。
また、一緒に働いていただける仲間も募集中です！
APCにご興味がある方の連絡をお待ちしております。
