Alkis Polyzotis氏とArthur Dooner氏（Databricks）が登壇した Closing the Agent Quality Loop Through Observability in Production のセッションでは 、GenAIエージェントを本番で運用する際の品質管理を自動化する実践的なアーキテクチャが示された。多くのプロジェクトでエージェントは実運用まで到達しにくいが、その典型的な要因として評価コストの増大、ラベル付け負担、既製のジャッジと現場評価のズレ、修正フローの欠如などが挙げられた。以下では、Databricksが示した「トレース→自動評価→SMEアライメント→自動修正→CIゲート→宣言型デプロイ」の循環的ワークフローを整理する。
※サイトの更新により、リンクが無効になる可能性があります。
― エーピーコミュニケーションズ GDAI部 Lakehouse
本番運用で陥る典型的なボトルネック
本番では毎日大量のトレースが発生し、手動レビューだけでは追いつかないという指摘が繰り返された。複雑なワークフロー（例：在庫データや輸送リードタイム、社内ポリシーの参照を伴うサプライチェーン業務）では、各ステップの可視化がなければ原因特定が難しい。登壇者は、既製ジャッジだけでは十分でない場面があること、現場の評価基準とジャッジを整合させる必要があることを強調した。
解決アーキテクチャの全体像
エージェント品質観測管理
提示されたアーキテクチャは、トレースによるオブザーバビリティを起点に、自動評価、SMEアライメント、自動修正、CIゲート、宣言型デプロイを連携させる。MLflowのトレースで実行を記録し、Unity Catalog管理下のDeltaテーブルに保存、既製・カスタムのLLMジャッジで評価し、SMEの少数ラベルでジャッジを調整する。問題がトリガーされるとIssueを自動生成してコーディングエージェントが修正案を作り、CIのゲートで評価済みのバージョンのみを展開するという流れだ。
トレースとスパンによる可視化
エージェント品質トレーシング
MLflow v3のトレース機能は、スパン単位でLLM呼び出しやツール実行、エラー情報を記録し、メトリクス（トークン数、コスト、レイテンシなど）を得られる仕組みが紹介された（参考: トレースデータへのアクセス）。実務ではサンプリング率や保管期間、負荷制御を設計し、高コスト評価を全件で回すのではなくサンプリングや条件付きで詳細ログを取得する運用が示唆された。こうした可視化によりコスト把握や原因調査の支援が期待できる。
LLMジャッジによる自動評価
既製ジャッジは安全性や関連性、正確性といった汎用指標の自動評価に使える一方、必ずしもドメイン要件を満たさないためカスタムジャッジや調整が必要とされた（参考: カスタムジャッジの利用法）。オフライン評価で基準を検証し、オンラインでは本番トレースをリアルタイムでスコアリングする運用が紹介された。
SMEアライメントとLiveScalerの運用
判定基準の動的アラインメント
登壇者は、SMEが少数のトレースにラベルを付けることでジャッジの振る舞いを現場基準に近づける手法を説明した。LiveScalerのような仕組みでは、SMEの判定をfew-shot例としてプロンプトに組み込み、少数ラベルで改善することが示唆された。簡易なレビューUIを用意して非技術者が効率的にフィードバックできる設計も紹介された。
問題の自動生成とコーディングエージェントによる修正
アライメント済みジャッジやユーザーフィードバックをトリガーにIssueを自動作成し、CIランナー上でコーディングエージェントがリポジトリを解析して修正案とPRを作成するワークフローが説明された。登壇者は、ここでのセキュリティとアクセス制御、承認フロー設計の重要性を繰り返した。
CIゲートと宣言型デプロイメントバンドル
動的なAIジャッジをCIに組み込み、PRマージ前に評価を実行して一定基準を満たすことを確認するゲート設計が示された。Databricks Asset Bundlesを使えば、Gitと連携して環境ごとの設定を宣言的に管理し、デプロイ手順の自動化に寄与することが説明された。
実運用で期待できる効果と導入ロードマップ
参照すべきKPIの例としては、修正サイクル時間、PR所要時間、自動検出率、手動レビュー削減、トークンあたりコストなどが挙げられる。登壇者は、まずトレースによる可視化から着手し、既製ジャッジで自動評価を開始、SMEアライメントで精度を高め、最後に自動修正とCI統合へ進める段階的導入を推奨した。リスク対応としては偽陽性/偽陰性の扱い、データ保護、ジャッジのドリフト監視などが重要である。
まとめると、トレース→評価→アライメント→修正→CI/CDの循環を回すことで、エージェント品質の継続的改善が現実的に達成可能になるという実務的な道筋が示された。詳細な概念はエージェント評価の基本概念に整理されている。
