チャットボット

第３回：AIチャットボットは自動で賢くなりません｜チャットボットで失敗しないための必須知識

公開日:2022/04/12 最終更新日:2025/02/03

最終更新日：2024年10月30日

この記事シリーズでは『AIチャットボットの導入で失敗しないための必須知識』と称して、 これからチャットボットの導入を検討されている方に必ず知っておいて欲しい知識をご紹介いたします。（全５回）

チャットボットについて詳しくない方でもわかりやすいよう、前提となる知識からご紹介いたしますので、ぜひ順を追って５回まで閲覧いただければと思います！

第３回では、実はAIチャットボットは自動で賢くならない！という話をします。

「AIチャットボットは使えば使うほど自動で賢くなる」ものだと勘違いしていませんか？

「AIチャットボットは導入初期は精度が低いけれども、使えば使うほど自動で精度が高くなっていきます」これは多くのAIチャットボットベンダーがセールスをする際によく使う言葉です。

確かに理論上は、AIはユーザーとの会話によって自動的に精度が高くなり、回答の正答率はあがっていきます。しかし、現実的にはAIチャットボットは自動で賢くはならないのです。今回はその理由について紹介します。

理由１：ユーザーのフィードバック結果の80%は学習に有用なデータではない

まずひとつめに、「チャットボットの利用ユーザーがAIに与えるフィードバックの80%が有効なデータではない」という理由があります。

大前提として、AIが学習するためには誰かが正解のデータを紐付けていく必要があります。具体的にいえば、「PCが起動しなくなった」という質問が「パソコンの電源が入らない」という質問とが同じ意味であると、誰かが紐付ける必要があるということです。

このフィードバックは、実際はチャットボットの回答に到達した際に表示される「参考になった」「参考にならなかった」などのボタンから与えられます。一見自動に見えるAIの教育も、根本的には人間の手動によるフィードバックによって行われているのです。

さて、ここで問題になるのは、すべてのチャットボット利用ユーザーが正しいフィードバックを与えるとは限らないということになります。

ユーザーのフィードバックの正誤について、弊社で行った調査結果を見てみましょう。

約40％のユーザーはフィードバックボタンを押してくれない
約30％のユーザーはフィードバックボタンを押すが、その結果が正しいかどうか判断がつかない
約10％のユーザーはフィードバックボタンを押すが、その結果は正しくない
約20％のユーザーはフィードバックボタンを押し、その結果も正しい

つまり、大多数のユーザーのフィードバック結果は学習に有益なデータとは言えず、むしろこれを正しいとして学習をしてしまうと、AIの精度が逆に落ちてしまうのです。

理由２：精度が悪いAIチャットボットはデータが貯まるほど使ってもらえない

AIの正答率が70%程度を超えるまでに蓄積が必要なデータ量は、恐らく一般的な認識よりもだいぶ多いです。

仮にFAQが300件あると仮定すると、１つのFAQに対して、少なくとも100件以上の類似質問文を紐付ける必要があります。
先程の例ですと「PCが起動しなくなった」という質問文に対しては

パソコンの電源が入らない
ノートPCの調子が悪い
パソコンが黒い画面でフリーズしたままだ
デスクトップの画面に青い英語が表示されて進めない

・・・という具合に、複数の類似質問文を紐づけて学習させる必要があります。しかも、これを300件ある各FAQの１件１件に行っていくため、約３万件ほどの質問文が最低でも必要になります。

たいていは、十分な教育が進む前に “使われなくなる”

もしあなたが初めてAIチャットボットに何か質問をしたときに、見当違いの回答が返ってきたら、次回もそのチャットボットを使おうと思うでしょうか？大半のユーザーは二度と使わなくなるので、結局十分量のデータが集まりません。

だからこそ、AIチャットボットの導入には特別な工夫が必要です。

「最初から賢い」教育不要なAI搭載チャットボット sAI Chat

サイシードでは、これまでに紹介した課題を解決する独自のアルゴリズムと運用体制を確立し、チャットボットサービスを提供しています。

その根幹には自社開発のAIエンジンと、AIトレーニングのプロフェッショナルによるFAQデータの整備があり、「使いやすい」「精度が高い」と称賛の声をお客様からいただいております。

第３回：チャットボットで失敗しないための必須知識まとめ

今回は、「現実的にはAIチャットボットは自動では賢くならない」という事実についてご紹介しました。その背景には、ユーザーのフィードバッグの不正確さと、導入初期に精度が低く十分な正答率になるまでシステムを使ってもらえないという二つの理由がありました。

「チャットボットで失敗しないための必須知識」シリーズ第４回では、チャットボット導入後のメンテナンス作業は具体的にどのようなことを行うのか、実際の運用事例に基づいてご紹介します。

AI搭載型チャットボット sAI Chat の強みや料金が気になる方は、ぜひ下のフォームからサービス概要資料をダウンロードください！

最後までお読みいただき、ありがとうございます。
こちらのフォームから、「sAI Chat』概要資料」をDLいただけます！
コールセンターの効率化を検討する際の参考として、ぜひご活用ください。

自動と半自動に対応するハイブリットチャットボット『sAI Chat』概要資料

sAI ChatはAIを使った完全自動のチャットボットと、AIがオペレーターに回答を提示する半自動の有人対応をシームレスに切り替えられるチャットシステムです。こちらの製品概要資料では、機能・特徴・価格・他社との違いなどサービスの詳細について紹介しています。チャットボットやチャットシステムの導入を検討している方は、ぜひ検討いただければと思います。