はじめに

こんにちは、ACS事業部の佐竹です。
今回のMicrosoft Buildで発表されたGPT-4oについて、どの程度レスポンスが良くなったか是非触ってみたく、今回の記事を書くことにしました。

1.1.5.Azure OpenAI Serviceの主なAIの進化 news.microsoft.com

以前、Azure Communication ServiceとAzure OpenAI Serviceを使って、コールセンターを作ってみたのですが、そこにGPT-4oを組み込む形でGPT-4-32kとの速度比較を行いました。

上記の記事はハンズオン形式で記載しておりますので、お手隙の際に是非手を動かしていただけますと幸いです。

概要

全体アーキテクチャは以下のようになります。

全体の流れは以下の通りです。

ユーザーが Azure Communication Service に登録された電話番号に架電する。
Azure Communication Servicce の Incoming Call をトリガーとしてサーバーサイドアプリケーションの API に Webhook を実行する。
Webhook 要求にサーバーサイドアプリケーションが応答する。
ユーザー発話内容に基づいて Azure Cognitive Service が Speech-to-Text、Azure OpenAI Service からの応答内容に基づいて Text-to-Speech を実行する。
ユーザー発話内容に基づいて Azure OpenAI Service が回答内容を生成する。

総じて、ユーザが電話をかけると、OpenAIが回答を作成して通話越しから応答を返すという流れです。

今回の速度検証は5. のAzure OpenAI Serviceの回答内容を生成する箇所でGPT-4-32kとGPT-4oを用いて、それぞれで速度の検証を行いました。

以下のスライドへ検証をまとめました。

こちらからの質問に対する回答時間は以下です。

GPT-4-32k : 19s~22s

GPT-4o : 9s~11s

回答速度が1/2程度短縮されていることがわかりました。

みなさまも是非GPT-4oを使って、OpenAIとのストレスのないコミュニケーションを体感してみてください。

それでは🤙

【PR】私達ACS事業部はAzure・AKSなどのクラウドネイティブ技術を活用した内製化のご支援をしております。

また、一緒に働いていただける仲間も募集中です！今年もまだまだ組織規模拡大中なので、ご興味持っていただけましたらぜひお声がけください。