kintoneライターチームが実践するAI活用：Difyアプリによるヘルプアンケート分析 - Cybozu Inside Out

こんにちは、kintoneライターチームの安田です。今回は、私たちのチームがAIを活用して業務改善に取り組んだ事例をご紹介します。

私たちkintoneライターチームでは、kintoneヘルプの記事の執筆や、製品文言の検討を担当しています。その業務の一環として、kintoneヘルプから匿名でお寄せいただいたお客様アンケートを分析し、「分かりにくかった」とご指摘のあったヘルプ記事を改善する活動を行っています。

ヘルプアンケート分析の課題

アンケートの回答に記載いただいたお客様のコメントを分析するにあたり、これまでは以下の課題がありました。

匿名アンケートのため、お客様がどのような状況でkintoneを使っておられるのか分からず、コメントの意図や背景を正確に読み取ることが難しい
どのヘルプ記事のどの記載内容を修正すれば改善するのか、特定に時間がかかることがある
ヘルプ記事の修正を行うことで、逆にデメリット（分かりにくくなるなど）が生じないかの見極めが難しい

課題解決のために考えたこと

そこで私たちは「AIの力を借りることで、お客様から頂いたコメントの意図や、改善すべき点の分析をより正確に短時間で行えるのでは」と考えました。最終的には人間のスタッフが判断して決断することに変わりはないのですが、事前にAIによる分析を行うことで、理解の助けになるからです。

さまざまなAIツールを比較・検討した結果、「Dify」というAIツールを使えば課題が解決できそうなことが分かりました。

Difyとは？

Difyとは、誰でも簡単にAIアプリが作れるサービスです。ユーザーが入力した情報をAIが分析して回答してくれるアプリを、直感的なマウス操作で作ることができます。

ここまで読まれたところで、「それだと、ChatGPTなどのチャットボットと変わらないのでは？」と疑問に思った方もおられるかもしれません。DifyがChatGPTなどの一般的なAIチャットボットと異なる点は、Difyは外部のサービスが提供するAPI（やり取りを行うためのインターフェース）と接続して、外部のサービスから情報を取得したり、送信したりできる点です。

たとえば、kintoneアプリでは「APIトークン」を提供しており、APIトークンを使うことで、kintone以外の製品からkintoneアプリのレコードのデータを取得することが可能です。「Difyからアンケートの回答が格納されたkintoneアプリのレコードを取得すれば、AIを使った分析ができるのでは？」と私たちは考えました。

Difyアプリで実現すること

サイボウズでは、kintoneヘルプでお客様から寄せられた匿名アンケートの回答を、1回答=1レコードとして、kintoneアプリに保存しています。このkintoneアプリに保存されているレコードのデータを、APIトークンを利用してDifyから取得することにしました。

そして、取得したレコードのデータをAIに分析させ、以下の3つの項目を出力させることにしました。

お客様のコメントの意図：お客様はどういった状況で、何がお困りなのかを明らかにする
関連するヘルプ記事：ご指摘いただいた点に関連するヘルプ記事の一覧を提示
修正を行うべきかどうかと、修正案：修正を行う場合と行わない場合のメリット・デメリットの比較や、具体的な修正案を提示

作成したワークフロー

Difyには、一連の処理を順番に行う「ワークフロー」という機能があります。

最終的に、以下のワークフローを作成しました（一部簡略化しています）。

処理の流れ

kintoneライターチームのメンバーが、Difyアプリのプルダウンメニューから分析したい期間（例：先週1週間分）などを選択し、「Execute（実行）」ボタンをクリックします。
Difyアプリのメニュー画面
DifyのHTTPリクエストブロックで、APIトークンを使ってアンケートの回答が格納されたkintoneアプリにアクセスし、選択された期間（例：先週1週間分）の複数レコードを取得します。
取得した複数レコードから、レコード番号の一覧を抽出して、イテレーション（繰り返し）ノードへ渡します。
イテレーション（繰り返し）ノードでは、レコード番号ごとに、以下の処理を行います。
1. DifyのHTTPリクエストブロックで、APIトークンを使ってアンケートの回答が格納されたkintoneアプリにアクセスし、1件のレコードを取得します。
2. お客様のコメントから、kintoneの機能に関わるキーワードのみをAIが抽出し、検索用キーワードを生成します。
3. 検索用キーワードを使って、kintoneヘルプ全体を検索します。
4. 検索結果をもとに、AIがお客様のコメントの意図の分析や、関連するヘルプ記事、そして改善案を含む回答を生成します。
5. AIが生成した回答を、レコードのコメント欄に投稿します。
  レコードのコメント欄に投稿されたAIの回答

上記ワークフローを、kintoneライターチームのメンバーがマウス操作だけで実行できるようにしました。

Difyアプリを使った結果

従来は1週間分のヘルプアンケートの分析に最低でも数時間かかっていたのですが、このDifyアプリを使うことで、30分程度で完了できるようになりました。また、入社して間もない、kintoneの機能にあまり詳しくないチームメンバーでも、ヘルプ記事のどの部分を修正すればよいか、AIのアドバイスを基に目途をつけることができるようになりました。

Difyアプリの作成にあたり苦労したこと

私たちkintoneライターチームにはDifyの使用経験があるメンバーが誰もおらず、一からDifyアプリを作ったため、次の点で苦労しました。

何を実現できるのか分からなかった

そもそもDifyを使うことで何が実現できるのか分からなかったため、過去に社内で開催されたDifyの勉強会の動画を見て概要を学びました。何度か見るうちに、何ができるのか少しずつ理解できるようになりました。

実現したい機能をどうやって実装すればよいのか分からなかった

一気にワークフロー全体を作り上げることは難しい…とすぐに気付いたため、まずは「APIトークンを使って、kintoneアプリから複数レコードを取得」といった、単一の機能を１つずつ試してみることにしました。また、サイボウズ社内で、他の部署のメンバーが公開しているDifyアプリのワークフローを参考にしつつ、どうすれば特定の機能が実現できるのか試行錯誤しながら実装しました。

回答精度が低かった

AIに回答させると、知識がないのに無理に回答しようとして、嘘の回答をすることがあります。これは「ハルシネーション」と呼ばれています。ハルシネーションを低減させるため、お客様のコメントからkintoneの機能に関わるキーワードのみを抽出して、それを検索キーワードとしてkintoneヘルプ全体を検索させることにしました。その検索結果に基づいてAIに回答を生成させ、回答に必ず出典を記載させたところ、ハルシネーションが減り回答精度が高まりました。

このような工夫を重ねることで、比較的実用性の高いDifyアプリを作ることができました。

チームメンバーの声と今後の展望

完成したDifyアプリを使ってヘルプアンケートの分析を行ったkintoneライターチームのメンバーからは、「お客様のコメントをより深く分析できるようになった」「今後はさらに業務にAIを活用したい」といった前向きな声が上がっています。今後もAIの力を借りることで、kintoneヘルプで強化すべきエリアの特定を行うなど、より良いサービス提供を目指していきます。今後ともkintoneヘルプをよろしくお願いいたします。