概要
　当社は、深層学習を用い、複数の吸着パッドを持つロボットハンドがピッキングする対象物の形状や姿勢に合わせて掴む位置と掴み方（把持計画）を正確かつ高速に計算するAI技術を開発しました。「把持計画」は、ロボットが物体を正確に掴むための「位置推定」と「姿勢推定」から計算されます。ピッキングロボットは、正確な把持計画を計算することで効率的かつ確実に物体を取り扱うことができ、従来自動化が難しかった、乱雑に置かれた、形状や外観の異なる物品のピッキング作業を自動化することができます。
　当社は本AIの有効性を計算機で検証したところ、同様の条件の他の研究(*1)と比較し、計算時間が10分の1以下の0.47秒、成功率は6.2％向上し80.1%を実現したことを確認し、世界最高の平均計算速度と平均成功率を達成しました(*2)。また、本AIを実機のピッキングロボットに適用しピッキング作業を行ったところ、94.5％の確率で乱雑に置かれた形状や外観の異なる物品のピッキングに成功し、実用化レベルであることを確認しました。
　これにより、封筒や書類などの平面の物品から、各種サイズの箱や円筒容器、チューブ容器やブリスターパックなどの高さや奥行、凹凸のある物品など、形状や外観の異なる多種多様な物品をロボットハンドで高速かつ正確に自動でピッキングすることができるようになります。また、学習にあたっては技術者によるプログラミングが不要で、ロボット導入後に対象物の種類が増えた場合でも追加学習が容易となり、ロボット全体のコスト低減につながります。
　当社は、本技術の詳細を、10月14日から18日にかけてアブダビ首長国で開催されるロボティクス分野で世界トップクラスの国際学会「IROS(IEEE/RSJ International Conference on Intelligent Robots and Systems)2024」にて発表します。

開発の背景
　近年、EC(電子商取引)市場は拡大の一途をたどる一方、国内では人口減少に伴う労働力不足が深刻化しており、物品の搬送など物流倉庫内の様々な作業で自動化が求められています。しかし、顧客からの注文に従って物流倉庫内の保管箱から物品を取り出す「ピッキング作業」は、大規模な物流倉庫では数千から数万種の物品を扱っており、それぞれ異なった形状や外観にロボットが対応することは困難です。現在実用化されているピッキングロボットの多くは、対象物が同じ形状や平面の物品に限定されているとともに、各対象物品に対して、技術者が知見に基づき、位置や向き・姿勢を検出する「認識」や、把持する位置を計算する「動作計画」などのプログラムを組んで設計・開発しています。物品の特徴ごとにプログラムを用意するコストがかかるため、技術者によるプログラミングが不要で、多種多様な物品を取り出せるロボット技術が期待されています。
　こうした背景から、従来技術者が知見に基づきプログラムしていた対象物の認識や動作計画に、「深層学習」を活用する研究開発が進められています。ロボットによるピッキング手法は、吸着パッドを使って対象物を吸着する「吸着ハンド」や、人間の手に似た複数の指を持つグリッパーで対象物を挟み込む「挟持ハンド」などがありますが、柔軟性・操作性・動作速度や、デリケートな物品の取り扱いの観点で、多くの場合「吸着ハンド」が用いられます。多種多様な対象物を扱うには複数の吸着パッドを有するハンドを使用するのが効果的ですが、複数の吸着パッドのハンドは動作の計算に時間がかかったり、接触する箇所を間違えると、搬送中に対象物を落下させてしまったり、誤って2個取ってしまうなど、精度も不十分という課題がありました。

本技術の特徴
　当社は、深層学習を用いて、技術者によるプログラミングが不要で、複数の吸着パッドを持つハンドが対象物の形状に合わせて把持する動作を正確かつ高速に計算可能なAI技術を開発しました。今般の開発は4つの吸着パッドを持つハンドを用いており、それぞれの吸着パッドを個別に制御することが可能です。吸着パッドをいくつ使うか、またどれを使うかといった計算を対象物のサイズや形状に合わせて行うことができます。
　従来手法では、対象物を画像として写し、吸着パッドの吸着候補位置を推定する計算を繰り返し行い、その中からベストな把持位置を決定していたため、吸着位置の計算に時間がかかっていました。今般開発した手法は、ハンドが対象物に接触できる面を検出する１段目のモデルと、検出した面の法線方向に基づいて射影変換(*3)させた画像からハンドの向きと吸着位置を決定する2段目のモデルで構成されています（図1、図2）。1段目のモデルで出力される情報（特徴マップ）を2段目のモデルの計算にも活用することで、繰り返しの計算が不要となります。一回で把持可能な吸着位置を特定することが可能となり、計算時間を大幅に短縮することに成功しました。また、従来技術では対象物が密集している場合に精度が低下する傾向がありましたが、当社独自技術により、対象物の傾きに合わせたハンド姿勢の正確な学習を実現し、物体の向きがバラバラで乱雑に置かれていても把持することができるようになりました。
　当社は、実際のロボットに搭載したカメラから取得した画像約4千枚を事前学習させた本AIを272枚の画像を対象に把持位置の計算時間と精度を検証・評価したところ、同様の先行研究例の計算時間5.62秒、成功率73.9％と比較し、計算時間は0.47秒と10分の1以下、成功率は80.1%と6.2％向上し、世界最高の平均計算速度と平均成功率を達成しました（図3）。また、本AIを実機ロボットに適用したところ、94.5％の平均成功率で対象物を把持することができ、実用化レベルであることを確認しました。これにより、封筒や書類などの平面の物品から、各種サイズの箱や円筒容器、チューブ容器やブリスターパックなどの高さや奥行、凹凸のある物品など、形状や外観の異なる多種多様な物品をロボットで高速かつ正確に自動でピッキングすることができるようになります（図4）。また、学習にあたっては技術者によるプログラミングが不要なため、ロボット導入後に対象物の種類が増えた場合でも追加学習が容易で、ロボット全体のコスト低減につながります。


※「動画：本AIを用いたピッキングの様子」は以下の当社webサイトでご覧いただけます。
https://www.global.toshiba/jp/technology/corporate/cmc/news/2024/2410-01.html


今後の展望
　当社は今後、実際の物流倉庫での実証やさらなる研究開発を進め、2026年度以降に本技術を搭載した製品の実用化を目指します。

*1 : P. Schillinger, M. Gabriel, A. Kuss, H. Ziesche, and N. A. Vien,“Model-free grasping with multi-suction cup grippers for robotic bin picking,” in IROS 2023. IEEE, 2023, pp. 3107–3113.
*2 :深層学習を用いて4つの吸着パッドを有するロボットハンドで行うピッキング作業について、平均計算速度と平均成功率が世界最高。2024年10月東芝調べ。
*3 :法線方向に基づく射影変換は、傾いて写っている面に対して真正面から見たように加工し、計算している。