チャットボット

第3回:AIチャットボットは自動で賢くなりません|チャットボットで失敗しないための必須知識

最終更新日:2022年4月28日

この記事シリーズでは『AIチャットボットの導入で失敗しないための必須知識』と称して、 これからチャットボットの導入を検討されている方に必ず知っておいて欲しい知識をご紹介いたします。(全5回)

チャットボットについて詳しくない方でもわかりやすいよう、前提となる知識からご紹介いたしますので、ぜひ順を追って5回まで閲覧いただければと思います!

  1. 第1回:FAQシステムとAIチャットボットの使い分け方
  2. 第2回:AIチャットボット導入の主な失敗要因はこれ
  3. 第3回:AIチャットボットは自動で賢くなりません!担当者がハマる落とし穴
  4. 第4回:AIチャットボット導入後のメンテナンス作業はこんなに大変です汗
  5. 第5回:導入したけど使われない!を回避する9つの工夫

第3回では、実はAIチャットボットは自動で賢くならない!という話をします。

「AIチャットボットは使えば使うほど自動で賢くなる」ものだと勘違いしていませんか?

「AIチャットボットは導入初期は精度が低いけれども、使えば使うほど自動で精度が高くなっていきます」これは多くのAIチャットボットベンダーがセールスをする際によく使う言葉です。

確かに理論上は、AIはユーザーとの会話によって自動的に精度が高くなり、回答の正答率はあがっていきます。しかし、現実的にはAIチャットボットは自動で賢くはならないのです。そこには2つの理由があります。

理由1:ユーザーのフィードバック結果の80%は学習に有用なデータではない

まずひとつめに、「チャットボットの利用ユーザーがAIに与えるフィードバックの80%が有効なデータではない」という理由があります。

大前提として、AIが学習するためには誰かが正解のデータを紐付けていく必要があります。具体的にいえば、「PCが起動しなくなった」という質問が「パソコンの電源が入らない」という質問とが同じ意味であると、誰かが紐付ける必要があるということです。

このフィードバックは、実際はチャットボットの回答に到達した際に表示される「参考になった」「参考にならなかった」などのボタンから与えられます。一見自動に見えるAIの教育も、根本的には人間の手動によるフィードバックによって行われているのです。

さて、ここで問題になるのは、すべてのチャットボット利用ユーザーが正しいフィードバックを与えるとは限らないということになります。

ユーザーのフィードバックの正誤について、弊社で行った調査結果を見てみましょう。

  • 約40%のユーザーはフィードバックボタンを押してくれない
  • 約30%のユーザーはフィードバックボタンを押すが、その結果が正しいかどうか判断がつかない
  • 約10%のユーザーはフィードバックボタンを押すが、その結果は正しくない
  • 約20%のユーザーはフィードバックボタンを押し、その結果も正しい

つまり、大多数のユーザーのフィードバック結果は学習に有益なデータとは言えず、むしろこれを正しいとして学習をしてしまうと、AIの精度が逆に落ちてしまうのです。

理由2:精度が悪いAIチャットボットはデータが貯まるほど使ってもらえない

AIの正答率が70%程度を超えるまでに蓄積が必要なデータ量は、恐らく一般的な認識よりもだいぶ多いです。

仮にFAQが300件あると仮定すると、1つのFAQに対して、少なくとも100件以上の類似質問文を紐付ける必要があります。
先程の例ですと「PCが起動しなくなった」という質問文に対しては

  • パソコンの電源が入らない
  • ノートPCの調子が悪い
  • パソコンが黒い画面でフリーズしたままだ
  • デスクトップの画面に青い英語が表示されて進めない

・・・という具合に、複数の類似質問文を紐づけて学習させる必要があります。しかも、これを300件ある各FAQの1件1件に行っていくため、約3万件ほどの質問文が最低でも必要になります。

たいていは、十分な教育が進む前に “使われなくなる”

もしあなたが初めてAIチャットボットに何か質問をしたときに、見当違いの回答が返ってきたら、次回もそのチャットボットを使おうと思うでしょうか?大半のユーザーは2度と使わなくなるので、結局十分量のデータが集まりません。

だからこそ、AIチャットボットの導入には特別な工夫が必要です。

「最初から賢い」教育不要なAI搭載チャットボット sAI Chat

サイシードでは、これまでに紹介した課題を解決する独自のアルゴリズムと運用体制を確立し、チャットボットサービスを提供しています。

その根幹には自社開発のAIエンジンと、AIトレーニングのプロフェッショナルによるFAQデータの整備があり、「使いやすい」「精度が高い」と称賛の声をお客様からいただいております。

第3回:チャットボットで失敗しないための必須知識まとめ

今回は、「現実的にはAIチャットボットは自動では賢くならない」という事実についてご紹介しました。その背景には、ユーザーのフィードバッグの不正確さと、導入初期に精度が低く十分な正答率になるまでシステムを使ってもらえないという二つの理由がありました。

「チャットボットで失敗しないための必須知識」シリーズ第4回では、チャットボット導入後のメンテナンス作業は具体的にどのようなことを行うのか、実際の運用事例に基づいてご紹介します。

AI搭載型チャットボット sAI Chat の強みや料金が気になる方は、ぜひ下のフォームからサービス概要資料をダウンロードください!

  1. 第1回:FAQシステムとAIチャットボットの使い分け方
  2. 第2回:AIチャットボット導入の主な失敗要因はこれ
  3. 第3回:AIチャットボットは自動で賢くなりません!担当者がハマる落とし穴
  4. 第4回:AIチャットボット導入後のメンテナンス作業はこんなに大変です汗
  5. 第5回:導入したけど使われない!を回避する9つの工夫
自動と半自動に対応するハイブリットチャットボット『sAI Chat』概要資料

sAI ChatはAIを使った完全自動のチャットボットと、AIがオペレーターに回答を提示する半自動の有人対応をシームレスに切り替えられるチャットシステムです。 こちらの製品概要資料では、機能・特徴・価格・他社との違いなどサービスの詳細について紹介しています。 チャットボットやチャットシステムの導入を検討している方は、ぜひ検討いただければと思います。

資料をダウンロードする

この記事をかいた人

東京大学工学部および同大学院工学系研究科修了。マッキンゼー&カンパニーでM&Aや製造業での成長戦略のコンサルティングを経験。2015年に株式会社サイシードを創業。
2022年度版『チャットボットベンダー』徹底比較集

約70社のチャットボットベンダーをAIの有無、自社開発か否かで分かりやすく分類!
さらに自社開発のAIチャットボット22社について、回答精度・機能・デザインなどについて独自に性能評価をしました。
チャットボットの導入を検討している方必見の資料です。

資料をダウンロードする