Databricksの検索基盤であるDatabricks AI Searchが、AI時代に増える複雑な検索要件にどう応えるかが紹介された。従来の検索設計で陥りがちな運用負荷やスケーラビリティ、品質評価の難しさを解消することが目的だ。
※サイトの更新により、リンクが無効になる可能性があります。
― エーピーコミュニケーションズ GDAI部 Lakehouse
従来の検索システムが抱える課題
Sanjit Jhala氏は自身が過去10年間にわたり検索品質に取り組んできた経験に触れ、開発チームが直面する典型的な課題を挙げた。プロダクト側から検索結果への不満が出ても、明確な評価指標や比較できる実験基盤がないため、改善の方針決定が難しいという点だ。設定項目の多い柔軟な検索エンジンはチューニング負荷を増やし、逆にブラックボックス的なマネージドソリューションはユースケース適合やコスト面での制約が残ると指摘した。
Databricks AI Searchのアーキテクチャ
Ankit Vij氏は、Databricks AI Searchを「ゼロから再構築した」と説明し、ツール、サービング、インジェストを分離した設計がワークロードに対する柔軟性を高めると述べた。Vij氏によれば、この分離により数十億規模のデータに対応できるスケーラビリティを確保しつつ、デフォルト設定でも高品質な検索を提供することが可能になるという。Databricks AI Searchはこの考え方を具現化している。
導入事例として、 ZeroWingsはウェブサイト検索でAI Searchを採用し、関連性を改善しつつ低レイテンシを満たした例が紹介された。さらに、Google GroupはAI Searchをレコメンデーション用途に活用し、パーソナライズされたスタイルの推奨精度向上に用いていることが紹介されている。
エンドポイントとインデックスの作成
多言語対応AI検索技術
デモでは、Genieを使ってAI Searchのエンドポイントやハイブリッド／フルテキストインデックスを簡単に作れる様子が示された。Genieに自然言語で指示すると、ソーステーブルからスキーマや埋め込みモデル、プライマリキー候補を自動検出し、適切なデフォルトを適用するワークフローが自動化される。たとえば、ショッピングデータでは製品IDをプライマリキーに選び、多言語テキストに対して適切なアナライザーやトークナイザーを選定する動きができる。
検索品質評価と自動化
AI検索と品質フィードバック
現在ベータで提供されている検索品質評価ツールは、検索品質メトリクスを利用して最適なクエリタイプを見つける支援を行う。Genieは複数戦略を比較して推奨を出し、評価結果はMLflowと連携して実験比較が可能だ。デモではハイブリッド検索が最良と判定され、ファインチューニングされたリードアンサーを組み合わせたハイブリッド構成で関連性が可視的に改善する例が示された。
本番運用と継続的改善
自己改善型AI検索システム
AI Searchは本番運用に必要なスケーラビリティ、パフォーマンス、可観測性を提供する。エンドポイントの健全性やリクエストプロファイル、レイテンシ、エラー率などを監視でき、Genieはこれらのメトリクスを元にデバッグや設定最適化の提案を行う。ペイロードロギングやユーザーインタラクションの収集を通じて品質評価ツールへフィードバックし、モデルや検索戦略の継続的改善サイクルを回せる点も強調された。すべてのインデックスやデータ、ログはUnity Catalogで管理され、適切なアクセス制御を維持する。
まとめと今後の展望
Databricks AI Searchは、インフラや運用作業にかかる負担を軽減し、検索品質の評価・改善を自動化することを目指している。Jhala氏は同プラットフォームが検索バーだけでなくレコメンデーションやその他リアルタイム検索アプリケーションにも適用できると述べ、現在開発中のプレビュー機能への参加案内も行った。今後は継続的な品質監視の強化、オートコンプリートやクエリ拡張、スペル修正といったフルテキスト機能の拡充、パフォーマンスとコスト効率の改善に注力する計画だ。
