概要
当社は、現場ごとに異なる設備音や警報音、作業者の発話を高精度に認識し、フィジカルAIの実現を支える二つのAI技術を開発しました。
近年、製造業や社会インフラの現場では、設備監視や保守を担う人材の不足や、熟練者が持つ知識やノウハウの継承が課題となっています。これらの解決に向けてAI活用が進められており、特に、現実空間の情報を認識し判断・行動するフィジカルAI*1の実現に向けては、設備音や警報音、作業者の発話などの音・音声情報を正確に理解する技術が重要となっています。一方、現場ごとに異なる設備音や専門用語を含む作業者の発話をAIに認識させるには、大量のデータ収集やAIモデルの追加学習*2、辞書の継続的な更新が必要であり、導入と運用に多くの時間と手間がかかっていました。
今回開発した一つ目の技術は、検出したい音の見本を数個登録するだけで、現場で収集した音の中から検出対象の音を検出できる「Few-shot（フューショット）*3音響イベント検出技術」です。現場ごとの大量データ収集や追加学習を必要とせず、現場や用途に応じて検出対象を柔軟に変更できることが特長です。リアルタイムでも音を検出できるため、設備監視や異常検知など即時性が求められる用途にも適用可能です。また、背景雑音や騒音がある環境下でも安定した検出性能を実現し、公開ベンチマーク評価においてトップクラスの性能を達成しました。
二つ目の技術は、利用者が認識誤りを訂正した記録を活用して、専門用語や固有名詞を含む発話の認識精度を向上させる「誤り訂正記録活用型音声認識技術」です。蓄積された訂正記録の中から、現在の発話に関連するものだけを活用する独自技術により、AIの処理負荷を抑えながら高い認識性能を維持できます。
これらの技術は検出対象となる音や発話の内容を現場に応じて設定できるため、設備異常検知、警報監視、設備保守、運転監視、作業記録作成や保守報告書作成支援など、幅広い用途への適用が可能です。今後、製造業や社会インフラの現場に限らず、物流、建設、コンタクトセンターなどさまざまな分野へ展開し、現場DXの推進や熟練者のノウハウ継承を支援します。
なお、本技術は、オーストラリア・シドニーで開催された音声・音響分野のトップクラスの国際会議「Interspeech2026」において発表しました*4。
開発の背景
製造業や社会インフラの現場では、設備監視や保守を担う人材の不足や、熟練者が持つ知識やノウハウの継承が課題となっており、設備の状態把握や作業支援に向けたAI活用が進められています。設備音や警報音、作業音、作業者の発話などの音・音声情報には、設備の状態や異常の兆候、作業状況、現場固有の知識や運用ノウハウが含まれています。そのため、設備の状態把握や作業支援に向けて、これらの情報を有効に活用することが重要となっています。
一方で、設備監視や保守の現場では、設備や監視目的によって検出対象の音が異なるため、従来は検出対象や現場が変わるたびに音のデータを収集し、AIモデルを追加学習させる必要がありました。しかし、異常音は発生頻度が低く、学習に必要なデータの収集が困難であることに加え、設備の稼働音や作業者の発話などの背景雑音の影響により、検出精度の確保が課題となっていました。
また、一般的な音声認識では、使用頻度が低い新製品名、専門用語、設備名などの現場固有の言葉を正しく認識できないことがあり、新しい言葉が増えるたびに認識誤りの修正や辞書更新が必要でした。
そこで当社は、追加学習や辞書更新の負担を抑えながら、少量のデータで現場ごとの音や発話に柔軟に対応できる二つのAI技術を開発しました。

本技術の特長
（1）数個の音の見本を登録するだけで、検出対象の音を切り替えることができる「Few-shot音響イベント検出技術」
本技術は、検出したい音の見本を数個登録するだけで、長時間の収録データから同種の音が発生した区間を検出し、その開始時刻と終了時刻を出力します。あらかじめ多様な音の特徴を学習したAIを利用し、登録した数個の見本に共通する音の特徴と収録データ中の音の特徴を比較するため、現場ごとに大量のデータを収集したり、検出モデルを追加学習したりすることなく、検出対象を設定できます。異常音、警報音、作業音など、現場や用途に応じて検出対象を柔軟に切り替えることができます。
一方で、実際の現場では、設備の稼働音や作業者の発話などの背景雑音が検出対象の音に重なることがあるため、登録された音の見本が少ないと、検出対象の音の見逃しや誤検出が生じやすくなります。そこで本技術は、音の見本と収録データから背景雑音の特徴を推定し、検出対象の音の特徴から背景雑音の影響を抑制した上で比較する方式を採用しました。これにより、背景雑音が重なる状況でも高い検出性能を実現します（図2）。
当社は、音響イベント検出分野の国際コンペティションDCASE 2024 Task 5の検証用データを用いて本技術を評価しました*5。その結果、追加学習を行うことなくF値62.35％*6を達成し、公開されている追加学習を行った手法に匹敵する性能を確認しました。
また、収録データからだけでなく、リアルタイムに対象の音を検出できることも確認しています。
（2）利用者の訂正を登録し、新しい専門用語を正しく書き起こす「誤り訂正記録活用型音声認識技術」
本技術では、音声認識モデルによる「誤った書き起こし」と、利用者が音声認識の誤りを訂正した「正しい表現」の組み合わせを訂正記録として蓄積します。新たに音声を認識する際には、これを大規模言語モデル（LLM）*7へ入力し、同様の認識誤りの補正に活用します。
一方で、運用を続けるにつれて訂正記録が増加すると、すべての記録を毎回LLMへ入力する方式では、処理負荷が増大するとともに、現在の発話と無関係な記録が補正精度を低下させる可能性もあります。そこで本技術は、まず元の音声から発話された可能性のあるキーワードを検出します。次に、検出したキーワードに関連する記録だけを抽出してLLMへ入力します。これにより、LLMへ入力するデータ量を抑えながら、現在の発話に関連する情報のみを利用して、処理負荷の低減と補正精度の向上を両立した書き起こし補正を実現します（図3）。
当社は、英語と日本語の音声データを用いて本技術を評価しました。その結果、直近の訂正記録を利用する比較方式に対し、LLMへの入力文の文字数を英語で70.9％、日本語で71.7％削減しながら、専門用語や固有名詞などのキーワード認識のF値を、英語で83.6％から85.6％へ、日本語で64.8％から67.3％へ向上させました*8。
 
今後の展望
当社は今後両技術を、製造、エネルギー、社会インフラ、物流、建設などにおける設備監視や保守業務、専門用語を含む作業記録や保守報告書の作成支援、コンタクトセンターの応対記録など幅広い業務に適用させることを検討していきます。利用者が検出したい音の見本や音声認識の訂正記録を追加することで、設備や業務、使用される言葉の変化に柔軟に対応できる技術として発展させ、現場DXの推進や熟練者のノウハウ継承を支援します。
さらに将来的には、現場の状況や知識をAIが理解・活用するための音・音声理解基盤として、フィジカルAIを含む現場支援技術の実現を支えていきます。


*1 フィジカルAI：機械やロボットなどが現実空間の情報を認識し、その情報に基づいて判断・動作するAI。
*2 追加学習：既存のAIモデルに新たなデータを与え、特定の検出対象や用途に合わせて調整すること。
*3 Few-shot：少数の見本データを使って、新しい検出対象に対応する方法。
*4 Kagoshima, T. (2026) POP-SED: Prototype Orthogonal Projection for Robust Few-shot Sound Event Detection. Proc. Interspeech 2026, 3909-3913
Ashikawa, T., Hayakawa, D., Kagoshima, T., Watanabe, T. (2026) Audio-KWS-Gated Error Memory Retrieval for Incremental ASR Post-Correction. Proc. Interspeech 2026, 4779-4784
＊5 Few-shot音響イベント検出技術の評価条件：生物の鳴き声を検出するDCASE 2024 Task 5の検証用データを使用し、各録音の冒頭にある5つの音の見本を用いて評価しました。F値62.35%は生物音の公開データによる結果であり、設備音での実証結果ではありません。比較対象は、同じ検証用データで評価結果が公開されている手法です。本技術と比較対象では、追加学習の有無などの条件が異なります。
*6 F値：見逃しと誤った検出・出力の少なさを総合的に評価する指標で、高いほど良い性能
*7 LLM（大規模言語モデル）：大量の文章を学習し、文章の理解、生成、修正などを行うAIモデル
*8 音声認識後訂正技術の評価条件：英語のEarnings-21と日本語の日本語話し言葉コーパスCSJを使用しました。各言語で誤認識されやすい20語と、それらを含む英語417発話、日本語442発話を評価対象としています。比較方式は元の音声との関連性で選別せず、直近最大200件の訂正記録をLLMに渡します。削減率は、指示文・訂正記録・現在の認識結果を含む入力文全体の総文字数に基づき、訂正記録の件数、処理時間、利用料金の削減率ではありません。