第3回：AIチャットボットは自動で賢くなりません｜チャットボットで失敗しないための必須知識

最終更新日：2022年7月28日

この記事シリーズでは『AIチャットボットの導入で失敗しないための必須知識』と称して、 これからチャットボットの導入を検討されている方に必ず知っておいて欲しい知識をご紹介いたします。（全5回）

チャットボットについて詳しくない方でもわかりやすいよう、前提となる知識からご紹介いたしますので、ぜひ順を追って5回まで閲覧いただければと思います！

1. 第1回：FAQシステムとAIチャットボットの使い分け方
2. 第2回：AIチャットボット導入の主な失敗要因はこれ
3. 第3回：AIチャットボットは自動で賢くなりません！担当者がハマる落とし穴
4. 第4回：AIチャットボット導入後のメンテナンス作業はこんなに大変です汗
5. 第5回：導入したけど使われない！を回避する9つの工夫

第3回では、実はAIチャットボットは自動で賢くならない！という話をします。

「AIチャットボットは使えば使うほど自動で賢くなる」ものだと勘違いしていませんか？

「AIチャットボットは導入初期は精度が低いけれども、使えば使うほど自動で精度が高くなっていきます」これは多くのAIチャットボットベンダーがセールスをする際によく使う言葉です。

確かに理論上は、AIはユーザーとの会話によって自動的に精度が高くなり、回答の正答率はあがっていきます。しかし、現実的にはAIチャットボットは自動で賢くはならないのです。今回はその理由について紹介します。

理由1：ユーザーのフィードバック結果の80%は学習に有用なデータではない

まずひとつめに、「チャットボットの利用ユーザーがAIに与えるフィードバックの80%が有効なデータではない」という理由があります。

大前提として、AIが学習するためには誰かが正解のデータを紐付けていく必要があります。具体的にいえば、「PCが起動しなくなった」という質問が「パソコンの電源が入らない」という質問とが同じ意味であると、誰かが紐付ける必要があるということです。

このフィードバックは、実際はチャットボットの回答に到達した際に表示される「参考になった」「参考にならなかった」などのボタンから与えられます。一見自動に見えるAIの教育も、根本的には人間の手動によるフィードバックによって行われているのです。

さて、ここで問題になるのは、すべてのチャットボット利用ユーザーが正しいフィードバックを与えるとは限らないということになります。

ユーザーのフィードバックの正誤について、弊社で行った調査結果を見てみましょう。

• 約40%のユーザーはフィードバックボタンを押してくれない
• 約30％のユーザーはフィードバックボタンを押すが、その結果が正しいかどうか判断がつかない
• 約10％のユーザーはフィードバックボタンを押すが、その結果は正しくない
• 約20％のユーザーはフィードバックボタンを押し、その結果も正しい

つまり、大多数のユーザーのフィードバック結果は学習に有益なデータとは言えず、むしろこれを正しいとして学習をしてしまうと、AIの精度が逆に落ちてしまうのです。

理由2：精度が悪いAIチャットボットはデータが貯まるほど使ってもらえない

AIの正答率が70%程度を超えるまでに蓄積が必要なデータ量は、恐らく一般的な認識よりもだいぶ多いです。

仮にFAQが300件あると仮定すると、1つのFAQに対して、少なくとも100件以上の類似質問文を紐付ける必要があります。
先程の例ですと「PCが起動しなくなった」という質問文に対しては

• パソコンの電源が入らない
• ノートPCの調子が悪い
• パソコンが黒い画面でフリーズしたままだ
• デスクトップの画面に青い英語が表示されて進めない

・・・という具合に、複数の類似質問文を紐づけて学習させる必要があります。しかも、これを300件ある各FAQの1件1件に行っていくため、約3万件ほどの質問文が最低でも必要になります。

たいていは、十分な教育が進む前に “使われなくなる”

もしあなたが初めてAIチャットボットに何か質問をしたときに、見当違いの回答が返ってきたら、次回もそのチャットボットを使おうと思うでしょうか？大半のユーザーは2度と使わなくなるので、結局十分量のデータが集まりません。

だからこそ、AIチャットボットの導入には特別な工夫が必要です。

「最初から賢い」教育不要なAI搭載チャットボット sAI Chat

サイシードでは、これまでに紹介した課題を解決する独自のアルゴリズムと運用体制を確立し、チャットボットサービスを提供しています。

その根幹には自社開発のAIエンジンと、AIトレーニングのプロフェッショナルによるFAQデータの整備があり、「使いやすい」「精度が高い」と称賛の声をお客様からいただいております。

第3回：チャットボットで失敗しないための必須知識まとめ

今回は、「現実的にはAIチャットボットは自動では賢くならない」という事実についてご紹介しました。その背景には、ユーザーのフィードバッグの不正確さと、導入初期に精度が低く十分な正答率になるまでシステムを使ってもらえないという二つの理由がありました。

「チャットボットで失敗しないための必須知識」シリーズ第4回では、チャットボット導入後のメンテナンス作業は具体的にどのようなことを行うのか、実際の運用事例に基づいてご紹介します。

AI搭載型チャットボット sAI Chat の強みや料金が気になる方は、ぜひ下のフォームからサービス概要資料をダウンロードください！

1. 第1回：FAQシステムとAIチャットボットの使い分け方
2. 第2回：AIチャットボット導入の主な失敗要因はこれ
3. 第3回：AIチャットボットは自動で賢くなりません！担当者がハマる落とし穴
4. 第4回：AIチャットボット導入後のメンテナンス作業はこんなに大変です汗
5. 第5回：導入したけど使われない！を回避する9つの工夫

2022年度版『チャットボットベンダー』徹底比較ガイドDLページ

こちらの比較集では、数多あるチャットボットベンダーを自社開発AI／OEM型AI／人工無脳に分類し、それぞれのメリットとデメリットを解説しています。 さらに、自社開発AIについては各社の導入事例を元に定量的な性能評価を行っているので、チャットボット導入を検討中の方はぜひ参考にしてみてください。