2024年9月10日
株式会社東芝

曖昧な質問でも適切に回答できる生成AIを用いた対話エージェントを開発
ー「応答生成AI」と「応答評価AI」の2つのAIの協調により実現。インフラ分野における経験の浅い作業者にも適切に作業手順を提示し業務効率改善に貢献ー

概要
　当社は、保守点検やトラブル対応の作業手順を適切に提示できる対話エージェント技術を開発しました。近年、OpenAI社のChatGPTなどに代表される高性能な大規模言語モデル（Large Language Model: LLM）を活用した生成AIが登場し、これらのAIを搭載したチャットボット（応答生成AI）が普及してきました。ところが、例えば作業手順など、ユーザーが知りたい適切な回答を引き出すには、具体的な質問を入力するなど質問の仕方にコツが必要です。今般開発した技術は、従来技術である「応答生成AI」に、新たに開発した「応答評価AI」を加え、役割の異なる二つのAIを協調させることで、曖昧な質問に対しても適切な回答ができます。ユーザーから質問が入力されると、「応答生成AI」が応答の候補を複数生成し、「応答評価AI」がそれらの良さを評価し、最も良い応答候補を選択してユーザーへ回答します。「応答評価AI」が、質問が曖昧で回答が難しいと判断すると、質問に直接回答せず、問い返しによって質問が具体化するように自動的に誘導します。これにより、曖昧な質問に対しても適切に回答することができるようになりました。
　当社は、実際の設備の保守作業を想定し、作業中の不明点に対する作業手順を提示するユースケースに本技術を適応しました。その結果、経験の浅い作業者が使いがちな曖昧な質問に対して正しい作業手順が得られる比率は、従来の「応答生成AI」技術のみでは30%でしたが、本技術により73.3%まで向上しました。本技術は、保守点検などの現場への生成AIの導入を促進し、作業者の熟練度に関わらず、作業手順を適切に提示することで業務効率改善が期待できます。
　当社は本技術の詳細を、9月10日から13日に日本工業大学で開催される電子情報通信学会ソサイエティ大会で発表します。また、本技術の実用性を確認するため、当社グループ内において、設備の保守作業の現場への適用に向けて取り組んでいきます。

開発の背景
　橋やトンネルなどのインフラや工場やプラントなどにおける設備は老朽化が進み、効率的な維持管理が課題となっています。また、少子高齢化により労働人口が減少し、高い技能を持つ熟練者が退職し、保守点検作業者の人手不足が顕在化する中、省人化につながる保守点検サービスの市場規模は25年に2兆9,350億円（*1）となる見込みで、より効率的なサービスへの期待が高まっています。
　経験が浅い作業者が効率良く作業をするためには、準備時の下調べや作業中に生じる不明点や疑問点をすぐに解消し、できるだけ作業を停滞させないことが重要です。そのため、保守現場において、対象に関する知識や過去の事例などを、人に聞くように自然な文で質問して回答を得られる生成AIを搭載したチャットボットの導入が進められています。
　しかし、従来のチャットボットでは、質問文が具体的な場合は、知りたい情報に対して適切な回答が得られますが、曖昧な場合は、質問とは関係のない情報を含んだ回答になってしまいます。そのため、ユーザーは必要な情報を回答の中から自ら探さなくてはならず、作業の停滞につながります。曖昧な質問をしがちな、経験の浅い作業者でも、知りたい情報を適切に引き出すことができるチャットボットが求められていました。

本技術の特徴
　当社は、従来技術である「応答生成AI」に、新たに開発した「応答評価AI」を加え、役割の異なる2つのAIを協調させることで、曖昧な質問に対しても適切な対応を可能にする対話エージェント技術を開発しました（図1）。「応答生成AI」は、ユーザーの質問文から複数の応答候補を生成し（図1①）、「応答評価AI」は応答生成AIで生成された応答候補それぞれについて、適切さを評価します（図1②）。これら二つのAIの協調により、ユーザーの質問文に対する複数の応答候補とそれらの適切さの点数を導き出します。この点数に基づき最適な応答を選択し、ユーザーに対して応答します。

図1： 対話エージェントの概要

　具体的には、「応答生成AI」は、ユーザーの質問に対して『回答する場合の応答候補』、追加の情報をユーザーに入力してもらうために『問い返す場合の応答候補』のような複数のパターンの応答候補を生成します。「応答評価AI」は、各応答候補が、（a）質問文に対して正しい情報をだけを含むか、（b）冗長でないか、という二つの観点で回答の適切さを採点します。次に、点数が最大となる応答候補をユーザーに対して応答します。ユーザーの質問文が十分に具体的であった場合は、対話エージェントは“回答する場合”の応答候補の中から選んで回答を返しますが、質問文が曖昧で具体化が必要な場合には“問い返す場合”の応答候補から選び、ユーザーへ問い返します。問い返された場合には、ユーザーは指示に従って追加の情報を入力します。このようなやり取りを行うことで、曖昧な質問でも的確かつ正確に知りたい情報が得られるようにサポートします。
　当社は、実際の設備の保守作業を想定し、作業中に生じる不明点を質問してその対処法を提示するユースケースにおいて、本技術の有効性を検証しました。本検証では、従来技術である「応答生成AI」のみのチャットボットと、当社が開発した対話エージェントを用いたチャットボットの性能を比較しました。困りごとを入力する際、情報を具体的に入力したパターン（「機器Ａの画面にエラーコード1234が表示されている」など）と、曖昧に入力したパターン（「動かない」、「ジョブエラー」など）のそれぞれで検証しました（*2）。検証の結果、従来技術では具体的な質問での成功率が76.7%であったのに対して曖昧な質問では30.0%にまで低下しましたが、本技術では、曖昧な質問に対しても具体的な質問の場合とほぼ同等の73.3%の成功率を達成しました（図2）。曖昧な質問文に答える際、従来技術は全て1ターン目で回答していたのに対して、本技術は平均で2.3ターンのやり取りを行っており、この結果から、本技術が問い返しによる質問の具体化を通して適切に回答できていることを確認しました。

図2： 本技術の性能評価

今後の展望
　当社は、今年度中に当社グループ内において、設備の保守作業の現場で問い合わせ業務の実証実験を開始予定です。さらに社外へのサービス提供を目指し、研究開発を進めてまいります。

*1：富士経済グループ　調査レポート『2021年版 設備メンテナンス・ビジネス関連市場の現状と将来展望』
　　https://www.fuji-keizai.co.jp/report/detail.html?code=162012846
*2：曖昧な質問と具体的な質問のそれぞれで30パターンの質問を使い検証

※商標について：本文中の社名、製品名はそれぞれ各社の商標または登録商標です。