２０２３－３－１３
株式会社　東芝

熟練者の知識を高度な保守に生かすインフラ文書理解AIを開発
～インフラ分野における専門文書を高精度に理解し、迅速で効率的なインフラ保全に貢献～

概要
　当社は、工場やプラントなどのインフラ分野において、蓄積された機器の図面・仕様書や、点検・トラブル記録といった専門的な文書（以下、専門データ）を高効率・高精度に認識し、保守点検の効率化を実現する、専門分野に特化した文書理解AIを開発しました。本AIは、一般的に入手可能な大規模な汎用言語モデル（教師モデル）から効率よく一般用語を学びながら、少ない専門データを用いた別カリキュラムで適用分野の専門用語も学習します。一般用語および専門用語ともに効率よく学習することで、小規模な言語モデル（生徒モデル）の生成を実現し、少ない計算リソースで高精度に専門的な文書を理解します。
　本AIをインフラ保守の現場に適用すると、従来のAIでは認識が困難だった熟練者の経験や知識が蓄積された専門データを活用することができます。過去に発生したトラブルの現象や対策などを高精度に抽出することができ、インフラの事後保全の迅速化、さらには予防保全の実現への貢献が見込めます。
　当社は本AIの詳細を、2023年3月13日から17日にかけて沖縄およびオンラインでハイブリッド開催される言語処理学会第29回年次大会（NLP2023）で発表します。
　今後、当社は熟練者の知識を生かしたインフラの予防保全をはじめとする「攻めの保守」の実現を目指します。

開発の背景
　工場・プラント・ビルなどに数多く導入されている設備は、老朽化と慢性的な人手不足が課題となっています。そのため、省人化につながるリモートメンテナンスなどの保守点検サービスが求められており、その国内の市場規模は2025年に2兆9,350億円となる見込みです(*1)。
　老朽設備の保守点検を高い精度で実施するには、対象設備に関する高度な知識や過去に実施された保守点検の経緯を把握することが必要です。しかし、熟練者の知識や経験が蓄積されている保守点検記録などの専門データは、現状、それらを保守点検業務に活用できるほど十分に整理されていないといった課題があります。
　文書を高精度に理解するための基盤技術として、大規模な汎用言語モデルが知られています。これは、一般的な文書で構成される文書データベース(*2)を大量に学習することにより、教師なしで提示された文章の文脈を理解する言語モデルで、質問応答や機械翻訳などの様々なサービスに適用できる技術として注目を集めています。しかし、汎用言語モデルは計算規模が大きく、インフラ保守の現場では計算リソースを確保することが難しいという課題があります。また、汎用言語モデルでは、活用したい事業分野ごとに専門的な文書を追加学習することが一般的ですが、事業分野ごとに大量の専門データが必要となり、さらなる計算リソースが必要となります。
　専門データを少ない計算リソースで高精度に理解することができれば、記載不備のある報告書の自動チェック、類似のトラブル事例を参考にした早急な対策立案、故障傾向の把握による故障前の部品交換など、保守点検業務を大幅に効率化することが可能になります。

本技術の特長
　そこで当社は、一般用語と専門用語を少ない計算リソースで学習できる、高精度な分野特化型の文書理解AIを開発しました。
　本AIは、一般用語を習得した大規模な汎用言語モデルを教師モデルとして、教師モデルからの継承（モデル蒸留）で一般用語を学習すると同時に、別カリキュラムで専門用語も学習する小規模な特化言語モデル（生徒モデル）を生成します（図1）。具体的には、教師モデルと生徒モデルそれぞれに、複数の単語を隠した同じ専門データを入力します。生徒モデルは、隠された単語の一般用語部分については教師モデルと同じ答えを出力するように学習し、隠された単語の専門用語部分については正解と同じ答えを出力するように学習します。生徒モデルは、一般用語と専門用語を同時に学習することで、一般用語を忘却することなく専門用語を習得することが可能になります。
　当社は、電力設備の保守点検記録に記載されたトラブルに関する表現を見つける言語解析試験（情報抽出タスク）において、本AIの有効性を検証しました。本AIで生成する生徒モデルの計算規模は、一から学習する大規模な汎用言語モデル（従来手法）の半分、本AIが学習時に使用する文書量は、従来手法の1/100としました。試験の結果、当社は、本AIが、保守点検記録の中からトラブルが発生した機器の状況を示す「現象」や機器を修理するために保守員が実施した「対策」が記載された場所を、正解率89%で抽出できることを確認しました（図2）。この精度は、実用水準と言われる正解率90％に迫る高い精度です。さらに、一から学習する大規模な汎用言語モデル（従来手法）の学習時間1週間程度と比較し、本AIの学習時間は5時間（約97%削減）に短縮できることを確認しました。