【東芝】1枚の写真から撮影場所や被写体の大きさを自動認識・管理する「点検情報管理AI」を開発
発電プラント施設等の巡視・保守点検作業の自動化とニューノーマル時代に向けた働き方改革へも貢献
概要
当社は、インフラ設備の点検作業において、一般のカメラ(*1)で撮影した1枚の写真から、撮影場所と、ひび割れ等の劣化箇所の被写体の大きさを認識する「点検情報管理AI」を開発しました。当社がこれまでに開発した、画像から撮影位置を特定する「位置認識AI(*2)」と、大きさを認識する「立体認識AI(*3)」の2つの技術を組み合わせたもので、GPSからの電波が届かない発電プラント施設内等の巡視・保守点検作業の効率化に貢献します。
GPSが届かない発電プラント施設内等の巡視・保守点検作業では、一般的に点検員がひび割れ等の被写体を撮影し、手作業で撮影場所やメジャーで計測した被写体の大きさを記録しています。その後、撮影した写真を図面と照合・整理する必要があり、点検員の大きな負担になっています。本AIを用いることで、点検員のみならずロボット・ドローン等が撮影した写真をサーバーにアップロードするだけで、撮影場所やひび割れ等の被写体の大きさをAIが自動的に認識し、サイバー空間上で一括管理出来るようになります。本AIは作業の自動化を支援し、リモートワークでの情報共有も容易となります。
当社は本AIを、東芝エネルギーシステムズ株式会社のエネルギーシステム向けIoTプラットフォーム(*4)を使って公開する予定です。
開発の背景
国内では、高度経済成長期に整備された道路、橋、トンネルやプラント施設といった社会インフラの老朽化が急速に進み、そのメンテナンスの市場規模は約5兆円と言われています。また、世界では、老朽化に加えインフラ整備の需要拡大も重なり、市場規模は約200兆円と試算されています(*5)。一方で、特に国内においては、メンテナンスに携わる作業員の高齢化や人手が不足する中で作業員の確保が難しくなってきており、限られた人員で効率的に点検作業を行うことが求められています。さらに、ニューノーマル時代に向けてテレワークが普及したことで、リモートで現場状況を確認できる新しい仕組みに対するニーズが高まっています。
従来技術と課題
インフラ設備の巡視・保守点検作業では、カメラで現場や設備の状態を撮影し記録することから始めるのが一般的です。撮影した写真は、点検情報として、撮影位置をサイバー空間上の図面にポイントとして残すことで管理します(*6)。しかし、GPSが届かないプラント施設などの屋内では、撮影位置の特定に手間がかかります。
屋内での測位方法として、無線基地局の建物内への設置や、看板など位置を特定するための目印（マーカー）を設置する方法があります。しかし、無線基地局の設置は追加機材の導入にコストがかかります。またマーカーの設置は、一枚の写真内に撮影したい劣化箇所とマーカーの両方を収める必要があるため、膨大なマーカーを設置する必要が出てきます。
写真に写した劣化箇所の大きさの測定も課題です。メジャーを直接当てて計測する方法が一般的ですが、手の届かない場所では計測できないほか、測り忘れた箇所があると、現地で再び計測する必要があります。非接触型の計測法であるレーザースキャナやデプスセンサでは、劣化箇所を撮影するカメラ以外の機材を現場に持ち込まなくてはなりません。
開発した技術
そこで当社は、これまでに開発した、画像から撮影位置を特定する位置認識AIと、大きさを認識する立体認識AIの2つの技術を組み合わせ、発電プラント施設の巡視・保守点検に適した点検情報管理AIを開発しました。
位置認識AIでは、導入時にインフラ施設内の写真を撮影し、それぞれの写真の撮影位置と図面上の位置とを紐づけたデータベース（位置データベース）を作成します。運用時には、位置データベースにより、撮影した写真のカメラの撮影方向と空間位置を図面上で自動的に認識できます。当社の位置認識AIは、深層ニューラルネットワークモデルにより構成しており、ディープラーニングにより低解像度の画像からでも高精度に方向・位置を認識することが可能です。
立体認識AIは、被写体までの距離に応じて生じる画像のぼけをディープラーニングで解析することにより、背景に映る情報がどのようなものであっても距離を計測します。このため、市販の単眼カメラでステレオカメラ並みに高精度な距離計測を実現することができます。
今回開発した点検情報管理AIは、点検の際に撮影した1枚の写真をサイバー空間にアップロードするだけで、撮影位置と被写体の大きさの認識を同時に行います。これにより、追加の機材を導入することなく、点検情報をサイバー空間上の図面に蓄積することができます。蓄積された点検情報は、図面の該当箇所にアクセスすることで簡単に入手することが可能です。
本技術は、実世界（フィジカル）におけるデータを収集し、サイバー空間で活用しやすい情報や知識構築をすることが目的であり、当社グループが目指すCPSテクノロジーの具現化の一端を担ってまいります。
今後の展望
当社は今回開発した点検情報管理AIを、東芝エネルギーシステムズ株式会社のエネルギーシステム向けIoTプラットフォームを使って公開し、2022年度の実用化を目指します。今後、ひび割れやさびなどの「異常検知AI」や「メーター読取りAI」、さらに、蓄積したデータからの「経年変化検知・予測AI」を追加することで、点検情報管理AIの用途はさらに拡大すると考えており、対応分野の拡充に、合わせて取り組んでまいります。また、発電プラント施設以外にもGPSの届かない建物内（倉庫など）や、橋梁点検などのGPSの届きにくい場所への展開も目指します。
*1 単眼カメラのこと。対象物を複数の異なる方向から撮影することにより、その奥行き方向の情報も記録できるようにしたステレオカメラを用いる必要がないことを示す。
*2 2019年9月にInternational Conference on 3D Vision (3DV)で発表済み。題名は「SIR-Net: Scene-Independent End-to-End Trainable Visual Relocalizer」。
*3 東芝のニュースリリース https://www.toshiba.co.jp/rdc/detail/1910_03.htm
*4 エネルギー分野における製造およびメンテナンスの技術と、CPSテクノロジーとを融合させ、発電や送配電、電力需給調整といった垣根を超えてサービスを開発するための共通基盤。「東芝IoTリファレンスアーキテクチャー(TIRA)」に準拠したサービス共通基盤。
https://www.global.toshiba/jp/company/digitalsolution/articles/tsoul/32/003.html
*5 インフラメンテナンスを取り巻く状況（国土交通省）
https://www.mlit.go.jp/common/001124697.pdf
*6 実世界のデータを空間的に管理・加工、視覚的に表示し、高度な分析や迅速な判断を可能にする技術は地理情報システム（GIS）と呼ばれており、都市計画等で広く利用されています。
当社は、インフラ設備の点検作業において、一般のカメラ(*1)で撮影した1枚の写真から、撮影場所と、ひび割れ等の劣化箇所の被写体の大きさを認識する「点検情報管理AI」を開発しました。当社がこれまでに開発した、画像から撮影位置を特定する「位置認識AI(*2)」と、大きさを認識する「立体認識AI(*3)」の2つの技術を組み合わせたもので、GPSからの電波が届かない発電プラント施設内等の巡視・保守点検作業の効率化に貢献します。
GPSが届かない発電プラント施設内等の巡視・保守点検作業では、一般的に点検員がひび割れ等の被写体を撮影し、手作業で撮影場所やメジャーで計測した被写体の大きさを記録しています。その後、撮影した写真を図面と照合・整理する必要があり、点検員の大きな負担になっています。本AIを用いることで、点検員のみならずロボット・ドローン等が撮影した写真をサーバーにアップロードするだけで、撮影場所やひび割れ等の被写体の大きさをAIが自動的に認識し、サイバー空間上で一括管理出来るようになります。本AIは作業の自動化を支援し、リモートワークでの情報共有も容易となります。
当社は本AIを、東芝エネルギーシステムズ株式会社のエネルギーシステム向けIoTプラットフォーム(*4)を使って公開する予定です。
開発の背景
国内では、高度経済成長期に整備された道路、橋、トンネルやプラント施設といった社会インフラの老朽化が急速に進み、そのメンテナンスの市場規模は約5兆円と言われています。また、世界では、老朽化に加えインフラ整備の需要拡大も重なり、市場規模は約200兆円と試算されています(*5)。一方で、特に国内においては、メンテナンスに携わる作業員の高齢化や人手が不足する中で作業員の確保が難しくなってきており、限られた人員で効率的に点検作業を行うことが求められています。さらに、ニューノーマル時代に向けてテレワークが普及したことで、リモートで現場状況を確認できる新しい仕組みに対するニーズが高まっています。
従来技術と課題
インフラ設備の巡視・保守点検作業では、カメラで現場や設備の状態を撮影し記録することから始めるのが一般的です。撮影した写真は、点検情報として、撮影位置をサイバー空間上の図面にポイントとして残すことで管理します(*6)。しかし、GPSが届かないプラント施設などの屋内では、撮影位置の特定に手間がかかります。
屋内での測位方法として、無線基地局の建物内への設置や、看板など位置を特定するための目印（マーカー）を設置する方法があります。しかし、無線基地局の設置は追加機材の導入にコストがかかります。またマーカーの設置は、一枚の写真内に撮影したい劣化箇所とマーカーの両方を収める必要があるため、膨大なマーカーを設置する必要が出てきます。
写真に写した劣化箇所の大きさの測定も課題です。メジャーを直接当てて計測する方法が一般的ですが、手の届かない場所では計測できないほか、測り忘れた箇所があると、現地で再び計測する必要があります。非接触型の計測法であるレーザースキャナやデプスセンサでは、劣化箇所を撮影するカメラ以外の機材を現場に持ち込まなくてはなりません。
開発した技術
そこで当社は、これまでに開発した、画像から撮影位置を特定する位置認識AIと、大きさを認識する立体認識AIの2つの技術を組み合わせ、発電プラント施設の巡視・保守点検に適した点検情報管理AIを開発しました。
位置認識AIでは、導入時にインフラ施設内の写真を撮影し、それぞれの写真の撮影位置と図面上の位置とを紐づけたデータベース（位置データベース）を作成します。運用時には、位置データベースにより、撮影した写真のカメラの撮影方向と空間位置を図面上で自動的に認識できます。当社の位置認識AIは、深層ニューラルネットワークモデルにより構成しており、ディープラーニングにより低解像度の画像からでも高精度に方向・位置を認識することが可能です。
立体認識AIは、被写体までの距離に応じて生じる画像のぼけをディープラーニングで解析することにより、背景に映る情報がどのようなものであっても距離を計測します。このため、市販の単眼カメラでステレオカメラ並みに高精度な距離計測を実現することができます。
今回開発した点検情報管理AIは、点検の際に撮影した1枚の写真をサイバー空間にアップロードするだけで、撮影位置と被写体の大きさの認識を同時に行います。これにより、追加の機材を導入することなく、点検情報をサイバー空間上の図面に蓄積することができます。蓄積された点検情報は、図面の該当箇所にアクセスすることで簡単に入手することが可能です。
本技術は、実世界（フィジカル）におけるデータを収集し、サイバー空間で活用しやすい情報や知識構築をすることが目的であり、当社グループが目指すCPSテクノロジーの具現化の一端を担ってまいります。
今後の展望
当社は今回開発した点検情報管理AIを、東芝エネルギーシステムズ株式会社のエネルギーシステム向けIoTプラットフォームを使って公開し、2022年度の実用化を目指します。今後、ひび割れやさびなどの「異常検知AI」や「メーター読取りAI」、さらに、蓄積したデータからの「経年変化検知・予測AI」を追加することで、点検情報管理AIの用途はさらに拡大すると考えており、対応分野の拡充に、合わせて取り組んでまいります。また、発電プラント施設以外にもGPSの届かない建物内（倉庫など）や、橋梁点検などのGPSの届きにくい場所への展開も目指します。
*1 単眼カメラのこと。対象物を複数の異なる方向から撮影することにより、その奥行き方向の情報も記録できるようにしたステレオカメラを用いる必要がないことを示す。
*2 2019年9月にInternational Conference on 3D Vision (3DV)で発表済み。題名は「SIR-Net: Scene-Independent End-to-End Trainable Visual Relocalizer」。
*3 東芝のニュースリリース https://www.toshiba.co.jp/rdc/detail/1910_03.htm
*4 エネルギー分野における製造およびメンテナンスの技術と、CPSテクノロジーとを融合させ、発電や送配電、電力需給調整といった垣根を超えてサービスを開発するための共通基盤。「東芝IoTリファレンスアーキテクチャー(TIRA)」に準拠したサービス共通基盤。
https://www.global.toshiba/jp/company/digitalsolution/articles/tsoul/32/003.html
*5 インフラメンテナンスを取り巻く状況（国土交通省）
https://www.mlit.go.jp/common/001124697.pdf
*6 実世界のデータを空間的に管理・加工、視覚的に表示し、高度な分析や迅速な判断を可能にする技術は地理情報システム（GIS）と呼ばれており、都市計画等で広く利用されています。
