Building Enterprise-Grade GenAI Apps with MLflow and Vector Search（MLflowとベクトル検索を用いたエンタープライズグレード生成AIアプリの構築）

セッションでは、Mosaic AIに関わるアーキテクチャと戦略に深く掘り下げ、ジェネレーティブAIでの進歩と、プロンプトエンジニアリングおよびRAG（Retrieval Augmented Generation）に関連する実用的なアプリケーションや方法論に焦点が当てられました。これらの重要なコンポーネントは、企業環境内でのAI能力の拡大のための重要な基盤を形成し、意思決定の精度を向上させます。

このセッションの参加者は、MLflowおよびベクターサーチなどのツールを利用して、エンタープライズグレードのジェネレーティブAIアプリケーションの開発と実装に関して、深い理解を得る事ができました。

1. ファインチューニング・ファウンデーションモデル

最初のアプローチは、企業特有のデータを用いて既存のファウンデーションモデルを精緻化することについてフォーカスされました。このカスタマイズは、モデルを特殊なタスクに対応させ、与えられたシナリオに対して非常に関連性の高い正確なアウトプットを提供するようにします。

2. ファインチューニングとRAGの組み合わせ

次に議論されたパターンは、ファインチューニングとRAGの統合でした。この戦略は、モデルのファインチューニングを通じて達成された特異性と、RAGによって提供される包括的な検索能力を活用します。このシナジーは、特に微妙な企業の課題に取り組むのに効果的であり、ドメインデータにバックアップされたきめ細かな応答を提供します。

3. 事前学習

第3のアプローチは、広範なデータセットを使用してモデルを事前学習することでした。この方法により、数十億から数兆に及ぶポイントの大量データに基づいた堅牢な大規模言語モデル（LMM）の作成が可能になります。このようなモデルは、広大な基礎知識ベースの利点を持ち、類まれな多様性と適応性を実現します。

特に、セッションはRAGの役割に焦点を当て、その適用分野とファインチューニングプロセスと組み合わせた際に得られる利点について掘り下げられました。プレゼンテーションでは、この組み合わせのアプローチが、AIアプリケーションの精度と関連性を著しく向上させる数多くの企業シナリオにも焦点が当てられました。

Mosaic AIアーキテクチャとRAGの能力を活用することで、企業はAI導入サイクルを大幅に加速させ、開発されたソリューションが効果的であるだけでなく、独自の運用要求にも正確に対応することができます。

コーニング社のGenAIアプリケーション

ニューヨーク州の小さな町、コーニングに拠点を置くコーニング社は、ガラスとセラミクスの製造を専門とする材料科学において175年近い専門知識を持ち、伝統的なガラス製造技術と最先端のAI技術を統合することで大きな進歩を遂げ、革新的な方法で現代のニーズに対応しています。 iPhoneの画面用フュージョンガラスの製造プロセスなど、長年の材料科学の専門知識と最新の技術進歩との融合は、新しい技術を適応させるだけでなく、AIの進化が企業にどのように実質的な影響を与え、世界中のビジネスの未来を形作る可能性があるのかを示す成功モデルを多くの企業に示しています。この統合は、コーニング社が業界のリーダーシップとイノベーションを維持するために、ジェネレーティブAIアプリケーションをどのように活用しているかを示しています。

データ統合とガバナンス

組織向けの従来のインターフェースとしてエンタープライズポータルを構築する際には、非機能要件についてのエンタープライズアーキテクトとの初期の議論が重要です。

コーニング社のように広範囲の独自研究を行い、知的財産を管理している企業にとっては、データのセキュリティとガバナンスが最優先事項です。したがって、エンタープライズポータルがデータレコードごとにユーザーを認証し、アクセスを許可するメカニズムを必要とするように、会話型インターフェイスにも同様のセキュリティ対策を適応する必要があります。

大規模言語モデル（LLM）の統合は、その確率的な性質が出力をやや予測不可能にするため、この設定は革新的だが挑戦的なものとなります。この予測不可能性は、データの整合性とガバナンスを維持するための複雑さをもたらし、生成されたコンテンツの正確性とセキュリティを保証するために高度な戦略が必要とされます。

このセクションでは、企業でデータを保護し、運用効率を高めるために重要な技術的考慮事項について詳しく説明します。これらの技術を、ビジネス目標と確立されたガバナンスフレームワークと効果的に両立させることは、AIの利点を責任を持って活用しようとする企業にとって重要です。

実装および最適化

企業レベルでの生成AIアプリケーションの構築および機能強化するには、効率的なデータ処理とモデル管理が必要です。このセクションでは、これらのプロセスを最適化する方法に焦点を当てています。

ローカルGPUを使用したドキュメントのベクトル化

外部APIを使用してドキュメントやテキストデータをベクトル化することは、コストがかかり速度の制限が生じることがよくあります。しかし、ローカルにホストされたDatabricks GPUインフラストラクチャを利用してベクトル化を行うことで、プロセスが合理化され、コストが削減されます。この方法では、ドキュメントからコンテンツを抽出し、データを外部サービスに送信する代わりに、ローカルGPUで直接ベクトル化します。

並行ベクトル化プロセスの構築

例えば2,500万ドキュメントのような大規模なデータセットのベクトル化を効果的に管理するためには、複数のGPUを使用して並行処理を実装することが不可欠です。このセットアップにより、処理速度が速くなり、データ処理がより効率的になり、大規模なベクトル化に必要な時間が大幅に短縮されます。

埋め込みモデルのコンテキストウィンドウサイズの追跡

埋め込みまたはベクトル化を行う際には、使用されるモデルのコンテキストウィンドウサイズを監視することが非常に重要です。コンテキストウィンドウサイズは、モデルが各単語の周囲のテキストをどの程度考慮するかに影響を与え、結果として得られるベクトルの精度と一貫性に影響を与えます。最適なウィンドウサイズを維持することで、埋め込みの効果とその後のアプリケーション性能が保証されます。

まとめ

このセクションでは、企業レベルの生成AIアプリケーションの実装を最適化するためのいくつかの重要な戦略について焦点が当てられました。ローカルGPUインフラストラクチャを活用してコスト効率の良いベクトル化を行い、大規模なデータセットに対応する並行処理構造を設定し、埋め込みモデルのパラメーターを慎重に管理することによって、企業はスケーラビリティと効率性の大幅な向上を実現できます。これらの進歩は、企業での生成AIの完全なポテンシャルを実現するための基盤であり、これらのアプリケーションが強力であるだけでなく、実用的であり、現代のビジネス要求に応える準備ができていることを示しています。