こんにちは！松崎です。 本日は、社内で実施中のChatGPT活用の検証施策の 途中経過や得られた学びをシェアしたいと思います。
生成AIの社内活用取り組まれている方々の参考になれば幸いです。
1. 忙しい方向けのサマリ
- ユースケースで見ると技術調査に使う人が大半だった。Configやコードの生成目的での利用は少数にとどまっている
- 頻繁に利用している人は、ChatGPTの回答に正確性は疑いつつも壁打ち目的での利用に価値を見出していた
2. 背景
AP Communications では現在、 生成AIは今後の我々のSI業務にどんな影響を与えるのか？ という問いに 取り組むため、一部の有志のPJメンバーを対象にChatGPTの有償アカウントを期間限定で 配布する施策を行っています。6月末より正式運用を開始したので、既に3カ月弱の運用期間を経ています。
注) セキュリティ担保のため、 お客様の情報や業務に関連する機密情報の投入は利用ポリシ上禁止 とさせて頂いております。
3. 3カ月ChatGPT(有償)を使ってもらってわかったこと
実際にChatGPTの有償アカウントを使って頂くことで 得られた学びを以降にまとめていきます。
3-1. 利用満足度とユースケース
まずは利用アンケート(n=18)から得られた学びについてです。
3-1-1. 利用満足度
66%の方が業務に際しての有用性を高く評価している結果になりました。
当初想定していたよりは、ずっといい結果で個人的に嬉しい誤算でした。
3-1-2. 利用ユースケース
利用ユースケースで見ると、技術的な調査の割合が圧倒的に多く、 対照的にIaC/プログラムの生成などの利用は少数にとどまりました。
これは、 技術的な調査の場合は回答の不正確さや揺れがある程度許容できるが、Configやコードの場合は許容が難しい(エラーが出て動かない)
という要因が大きいのではと考えています。*1
3-2. 具体的にどう使われているのか？
次に利用者へのインタビューから得られた学びについてです。
ChatGPTというと 自分の知らないことについて質問すると正解を教えてくれる
というイメージが未だ強いように思いますが、
実際の利用者の中で利用頻度が高い人たちは、ChatGPTの答えの正確性に対して必ずしも強く期待しておらず、むしろ、回答の正確性については疑いを持ちつつ、進め方を相談する壁打ち相手に近い感覚で使っている
ことがインタビューからわかりました。
例えば、アンケートのユースケースに多かった技術調査では、作業時の技術的な調べ物の際に ググるのではなく、ChatGPTの壁打ちをまずやる ことで、
- (1)対象となる技術領域のざっくりとした全体観を早期に掴む
- (2)生成AIと壁打ちを通じて、自分の中にある疑問の解像度を上げ、よりシャープにしていく
と複数の施策メンバより聞きました。 「答えを教えてもらう」という感覚ではなく、「次の一手を決めるためのヒント」として使う イメージです。
また、別のヒアリングでは、自分の担当している設計について考慮漏れ、観点漏れを減らすために使っている という方もいました。この場合も、 回答の正確さではなく対話的な壁打ち能力が評価されている という点がポイントに思います。
生成AIについては 成果物の信憑性を疑いつつも、自分の思考を加速させる壁打ち相手として接していくと上手く使いこなせる
という仮説/ヒントが得られたように思いました。
終わりに
施策の実証期間があと3カ月ほど残っていますので、
今後は、得られた学びをもとにより詳細なヒアリングを行っていきたいと思います。
生成AIの業務活用については未だ手探り状態ですが、その高いポテンシャルを上手く実際の成果につなげられるよう引き続き施策に取り組んでいきます。
*1:「コードの生成についてはGitHub Copilotなど他の生成AIツールを使うとずっと満足度が高い」という声もありました。用途に応じて生成AIを使い分けていくと、ワークスタイルも今後検討すべきなのかもしれません。
