DatabricksのCan Efeoglu氏とJasmeet Jaggi氏が登壇したセッションでは、Unity Catalogのセマンティクスを、エージェントやSQL、BIツールなどで利用できる「統一されたセマンティック基盤」として提示しました。AIエージェント主導のクエリが増える中、概念の曖昧さや定義の陳腐化、データソースへのマッピングや効率的なクエリ生成といった課題が顕在化しており、これらを補うセマンティック層の重要性が高まっています。
※サイトの更新により、リンクが無効になる可能性があります。
― エーピーコミュニケーションズ GDAI部 Lakehouse
AI時代のデータ環境が直面する信頼性の課題
エージェントはしばしば自信を持って回答を返しますが、必ずしも正確とは限らず誤答や幻覚（hallucination）が問題になります。たとえば「四半期の収益」のように、一つの用語でも「収益の定義」「対象顧客」「会計年度の扱い」など前提条件が明確でないと結果が変わります。さらに、ビジネス用語やメトリクスは時間とともに変わりやすく、手作業だけで常時整合性を保つのは現実的ではありません。参考情報はGoogle Drive、Slack、Teams、社内Wikiなどに散在していることが多く、この断片化も信頼性確保の妨げになります。
Unity Catalogセマンティクスの統合アーキテクチャ
DatabricksはUnity Catalogを中心に、オープンな接続性、ユーザーが管理するセマンティクス層、そして自動推論するGenieオントロジーの3本柱で設計を示しました。Unity Catalogはデータレイクやフェデレーションされたデータソース、既存のワークスペース資産（ノートブックやダッシュボード、SQLクエリ）を連携し、分散したビジネスコンテキストを一元化できる土台を目指します。ユーザー制御の層として、正式な指標定義を保持するMetric Viewsや、概念や用語を整理するGlossary、領域別に資産をまとめるDomainsを用意し、エージェントやBIが参照しやすいコンテキストを作ります。
Genieオントロジーは、ファイルやPDF、アプリ情報、データ、セマンティクス定義を統合して関係性を推論する層で、手動で定義しにくい知識を補完します。Unity Catalogのユーザー定義とGenieの推論が協調することで、組織は「深さ」と「広さ」を兼ね備えたセマンティック環境を構築できます。
Metric Viewsの技術と最適化
時間インテリジェンス技術
Metric ViewsはUnity Catalog内の「ビューに似たオブジェクト」で、スター／スノーフレークのスキーマをモデル化し、再利用可能なメトリクス定義をSQL式として保持できます。Genie Codeによる意図ベースのオーサリングやGUIを通じてメトリクス作成を支援し、既存のツールからの移行も想定されています。大規模データに対しては物理的なマテリアライゼーションを活用でき、システムがクエリパターンを分析して最適なマテリアライゼーションを提案することで性能とコストのバランスを取ります。
LOD（詳細度）表現方法
Metric ViewsはSQLから直接クエリ可能で、他のMetric Viewsやテーブルと結合できるため、複雑な比率計算や時間比較分析などを一貫して実行できます。LOD（粒度）の異なる計算パターンやパラメータ化もサポートし、再利用性と表現力を高めます。
実務的な効果とオープン性
デモでは、Glossaryの定義とノートブックから学習した概念をGenieが組み合わせて、エージェントが信頼性の高い回答を生成する様子が示されました。Genie Codeで意図を渡すとスキーマを解釈してメトリクス定義を自動生成し、それを起点にQ&Aやダッシュボード連携が行われます）。また、Databricksはセマンティクスの相互運用を高めるためにオープン標準への貢献やコア実装のオープン化を進め、サードパーティのBIやアプリが利用しやすくなる流れを作っています。
Unity Catalogのアプローチは、概念の曖昧さに対処し、定義の陳腐化を検出・更新提案する仕組みや、データマッピングとクエリの最適化を支援することで、AIエージェントとビジネスユーザーの信頼性を高めることを目指しています。
