From Two Hours to Two Minutes: Panasonic’s Global Scale Engineering With the Data Intelligence PlatformのセッションではBrendan Byrne氏（Panasonic North Americaのデータエンジニア）とPriyanka Kasliwal氏（DatabricksのSolutions Architect）が、パナソニックがレガシーなデータ基盤からDatabricks Data Intelligence Platformへ移行し、データとAI戦略を統合した取り組みを紹介した。セッションは、データサイロや高コストなコネクタ、SAPからの抽出遅延などの課題を解決し、パフォーマンス改善とコスト削減、将来のAI活用基盤を構築した実例に焦点を当てている。
※サイトの更新により、リンクが無効になる可能性があります。
― エーピーコミュニケーションズ GDAI部 Lakehouse
レガシーアーキテクチャの制約
パナソニック事業部一覧
パナソニックが直面した課題はストレージとインジェストにわたるデータのサイロ化、標準化の欠如、高価なサードパーティコネクタへの依存が柔軟性とコスト効率を阻害という典型的なものだった。特にSAP環境では、約200テーブルの日次のフルリフレッシュが2時間以上かかり、失敗も頻発していた。このため拡張性、保守性、価値提供スピードの観点で限界が生じていた。
Databricksへの移行戦略
データインテリジェンス基盤
目標は全社で共通に使える単一の権威あるデータバックボーンの構築だった。設定したコア目標は、(1)測定可能なビジネスインパクトの実現、(2)データインジェストの合理化と基盤統一、(3)強固なデータガバナンスの確立である。これらを達成するために段階的なロールアウトを採用し、リスクを抑えながら安定性を高めた。
コア機能とワークフロー
SAP S/4HANAに対しては、SAP DatasphereへのアップグレードとDatabricks Autoloader、Lakeflowの宣言型パイプライン、AutoCDCを組み合わせ、フル抽出から増分ロードへ移行した。これにより、抽出処理の実行時間は2時間から約2分に短縮されたと報告された。
Workdayの取り込みでは、高コストなサードパーティコネクタをネイティブのDatabricks Lakeflowコネクタに置き換え、Unity Catalogで機密データのガバナンスを強化し、月額コストの削減効果も確認された。SharePointの非構造化データ処理は、Databricks Serverless ComputeとAIクエリを活用することで、従来2週間かかっていた作業を約3時間に短縮した。
ガバナンス面ではUnity Catalogでの一元化、監査・監視・きめ細かなアクセス制御や行レベルセキュリティを導入した。さらにSFTPベースのデータ共有をDelta Sharingに置き換え、リージョン間共有の信頼性と速度を向上させた。
ビジネス価値と教訓
統合データ基盤による離職予測
導入効果は具体的に示された。SFTPの遅延は数時間から15分へ短縮、SharePoint処理は数週間から数時間へ大幅に改善した。パイプラインの予測可能性と信頼性が高まり、手動介入を削減、エンジニアは保守からイノベーションに時間を割けるようになった。重要な学びとして、個別課題の解決だけでなく全社的な統一インジェスト戦略と段階的導入の重要性が挙げられる。パフォーマンスと同等に安定性とガバナンスがイノベーションの基盤であることも示された。
まとめと今後の展望
パナソニックは断片化したシステムから統一されたガバナンス付きレイクハウスへ移行を進めた。今後はセルフサービス型のデータプラットフォーム構築、ビジネスユーザーの自律的なクエリとAI利用、グローバル展開への拡張を目指す。オープンスタンダードとオープンAPI・フォーマットに基づくアプローチは、将来の変化に対応する柔軟な基盤となる。
