はじめに
KubeCon2023にてBackstage上で様々な生成AIのサービスを利用できるBackchatというプラグインの登壇があり内部で話題になりました。 LLMをBackstage上で使う一つのユースケースとしての紹介とMVPの実装というものでした。 今回はBackChatについてお話しします。
Back Chatとはどんなプラグイン？
BackChatとは Backstageの画面から、生成AIチャットアプリのコンテナを呼び出すためのコンポネントとコンフィグ(現在はURLのみ)で構成されたプラグイン。 です。
実装は非常に簡素で、BackstageのUIコンポーネント内のiframeを使ってLLMコンテナのUIを呼び出しているだけですが、 任意の生成AIをBackstageでの画面で呼び出すというユースケースを効率よく表現しており、 また、デモのためにllama2のコンテナが入ったレポジトリも公開されておりすぐに試すことができますので、環境が用意できる方は試されると良いと思います。
プラグイン
コンテナ
アーキテクチャ図
以下に示されているように、あくまでコンテナを呼び出すだけのもの。
実際の画面
以下のように、Backstageの枠の中にChatGPT的なUIが埋め込まれており、利用者は普段の開発作業をしながら生成AIの呼び出しをタブを増やしたりツールを開かずに使うことができます。 これから頻繁に利用されるであろう各種生成AIをBackstageの中で使うことはさらなる認知負荷の低減を促すことを容易に想像することができます。
backstage-plugin-backchat/img/chatbotui.png at main · benwilcock/backstage-plugin-backchat · GitHub
コンテナを利用する理由
LLMはAIOpsにおいてはKubernets上でコンテナとして管理することが一般的です。 AIの管理は実務者以外にとってはイメージが湧きにくいかもしれませんが、
ChatGPTをイメージするとGPT3.5-> GPT-4モデルへの変更が話題になったり、GPT-4の中でも日付ベースでバージョンが頻繁に変わり新機能や性能が上がったりすることはご存じかと思います。 頻繁な更新を行うために、AIやAIを動かすアプリケーションも管理しやすいように、システム上のコンテナ化技術で管理しやすいように扱います。 従って、AI開発者にとってのPlatformEngineeringをBackstageで実践する、コンテナを呼び出すためのプラグインを作るというモチベーションにつながったということになります。
Backchatが示したLLMの運用課題や未来について私見
現在、多くの企業では汎用的な大規模言語モデルをChatGPTやAzure OpenAIなどを、自社のサーバーから呼び出して運用するケースが多く、自社のサーバー環境でLLMモデルを動かすというケースは多くはないと思います。ただ、これから業務利用においては精度面やコスト面でニーズを完全に満たすためにはハードルがあり、軽量で自社や業界の専門分野にフォーカスした小規模言語モデル、所謂SLM(small-language-model)を構築し組み合わせながら使っていくケースが増えてくることが予想しており、LLMニーズにとどまらず、LLMの管理が大きなペインとなりAI領域におけるPlatformEngineeringの在り方注目が集まるのではないかと思います。
Azureでのコンテナ技術とBackstageの構築、PEの活動を行っているACS事業部に是非ともご相談いただければと思います。
ACS事業部のご紹介
私達ACS事業部はAzure・AKSなどのクラウドネイティブ技術を活用した内製化のご支援をしております。
また、一緒に働いていただける仲間も募集中です！
今年もまだまだ組織規模拡大中なので、ご興味持っていただけましたらぜひお声がけください。
