巨大組織のMLOps変革：PetrobrasがDatabricksで実現した高速化

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部

Data + AI Summitで発表されたセッション「Petrobras MLOps Transformation With MLflow and Databricks」では、ブラジルのエネルギー企業PetrobrasのコンサルタントであるBruno Guberfain do Amaral氏が登壇しました。本記事では、同社が手動で非効率だったMLOpsプロセスを刷新し、デプロイ時間を大幅に短縮したそのアーキテクチャと具体的な事例を解説します。

大規模組織が直面するMLOpsの壁

機械学習モデルの価値は、本番環境で継続的に利用されて初めて発揮されます。しかし、Petrobrasもまた、モデルを本番環境へ届けるまでのプロセスに課題を抱えていました。

同社では、データサイエンティストが開発用の実験環境を持つ一方で、本番環境へのデプロイに明確なプロセスがありませんでした。Bruno氏によると、データが分散管理され、他部署への依頼ではExcelファイルで受け渡されるなど、データの鮮度や一貫性を保つのが困難でした。モデルの検証やデプロイも手作業に依存しており、時間がかかるうえにヒューマンエラーのリスクもありました。その結果、多くのモデルがビジネスに活かされる前に埋もれてしまう状況に陥っていたのです。

新アーキテクチャの心臓部：Databricksプラットフォームによる統合

このボトルネックを解消すべく、PetrobrasはDatabricksプラットフォームを全面的に採用し、データ基盤とML基盤を統合するアーキテクチャを構築しました。

講演で示されたアーキテクチャ図では、まずデータプラットフォームとしていわゆるメダリオンアーキテクチャを採用。生データを取り込んだ後、段階的に品質を担保し、集約してビジネスユーザーやアプリケーションが活用できる形に整理しています。これにより、全社で信頼できる単一のデータソースが確立しました。

一方、MLプラットフォームでは複数の環境を用意し、開発から本番までのフローを明確に分離しています。これら2つのプラットフォームを横断的に管理しているのがUnity Catalogで、モデルやデータ資産を一元管理し、アクセス制御やデータリネージをサポートしています。

自動化の鍵を握るCI/CDパイプラインと主要コンポーネント

PetrobrasのMLOps変革で重要なのは、CI/CDパイプラインの導入です。GitHubを起点に、コードの変更から本番デプロイまでを自動化しました。主に以下の3つのコンポーネントがカギを握っています。

MLflow: モデルのパラメータや評価指標を追跡し、モデル管理基盤として活用されています。これにより、どのデータで学習したかを記録し、再現性を確保しています。
Databricks Asset Bundles (DABs): 機械学習プロジェクトに必要なコードや設定を一つのバンドルとしてまとめ、インフラ構成をコードで管理します。Gitベースのワークフローとの連携が容易で、自動化を強力にサポートします。