【お知らせ】

Adobe Acrobat Readerの特定のバージョンに、一部のPDFが開けないバグが発生しております。PDFが開けない場合、お使いのAcrobat Readerを最新版へアップデートの上お試しください。

画像：図2. (a) 実験に用いたロボットシステムの全体図。(b) ハンドカメラの出力画像の一例。(c) 触覚センサの出力画像の一例。

2022年10月3日

パナソニックホールディングス株式会社
パナソニックコネクト株式会社
学校法人立命館

IROS 2022 Best Application Paper Award Finalist選出

視覚と触覚のセンサフュージョンで精密作業を自動化する技術を開発

サプライチェーンマネジメント事業、製造業の労働力代替を目指す

パナソニックホールディングス株式会社（以下、パナソニックホールディングス）、パナソニックコネクト株式会社（以下、パナソニックコネクト）、学校法人立命館（以下、立命館大学）は、視覚と触覚のマルチモーダル情報を使ったサブミリ（1 mm以下）の精密位置決め技術Tactile-Sensitive NewtonianVAE (TS-NVAE)[1]を開発しました。本開発技術はサプライチェーンにおける現場作業の効率化・省人化に貢献することが期待されます。

サプライチェーンマネジメント事業には多くの労働者が従事していますが、コロナ禍による物流量の増加や少子高齢化により慢性的な人手不足が課題となっています。そこで、これらの事業の現場で人間が行っている作業を代替できるロボット技術への需要が高まっています。開発した「視覚・触覚運動制御技術」により、これらの事業の現場で従来のロボットでは実現できなかった非定型な作業を自動化することが期待されています。パナソニックコネクトが培ってきたサプライチェーンマネジメント事業におけるコアテクノロジー、顔認証に代表されるセンシングの技術やFA事業で長年培ってきた制御技術、カメラ・プロジェクタ事業で培ってきた光学技術を組み合わせることで、2030年の実用化を目指します。

本技術は10月23～27日に国立京都国際会館で開催されるロボット技術の国際学会 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2022) にてBest Application Paper AwardのFinalistに選出されています。
なお、本技術は立命館大学とパナソニックホールディングスとの間で導入したクロスアポイントメント制度^※1により、客員総括主幹研究員として参画する立命館大学情報理工学部谷口忠大教授と協働した成果となります。

【視覚・触覚運動制御技術の詳細説明】

概要
人間は、視覚や触覚のマルチモーダル情報を無意識に脳内で統合し、最適な動作を行うことで精密な作業を行っています。例えば、USBコネクタを挿入することを考えます（図1）。この作業を達成するためには、まず視覚によってソケットの位置を正しく認識しなければなりません。次に、指先で把持しているプラグの把持位置－例えば、指の先端の方で把持しているか、根元の方で把持しているかなど－の認識が必要です。最後に、これらの情報を統合し、適切な挿入位置をサブミリの精度で算出しなければなりません。本技術は、上記のような人間が無意識に行っている高度な視覚・触覚運動制御の仕組みをAIで実現する技術を開発し、USBコネクタの挿入作業において成功率100%、位置決め精度0.3 mmを達成しました（表1）。

画像：表1 — 表1. USBコネクタ挿入作業における成功率と位置決め精度の他の手法との比較表。TS-NVAEが提案手法。

ロボットの構成
図2 (a) に実験に用いたロボットシステムの構成を示します。ロボットアームにはUniversal Robots社の協働ロボットUR5eを使用し、ロボットアーム先端にはROBOTIS社の二指グリッパ RH-P12-RN(A)とハンドカメラを取り付け、二指グリッパの片方の指には後述する光学式触覚センサを装着しています。図2 (b) (c) はそれぞれハンドカメラと触覚センサからの出力の一例になります。ハンドカメラでソケットの位置を推定し、触覚センサでプラグの把持位置を推定しています。

画像：図2 — 図2. (a) 実験に用いたロボットシステムの全体図。(b) ハンドカメラの出力画像の一例。(c) 触覚センサの出力画像の一例。

潜在空間を用いたマルチモーダル情報の統合と比例制御
視覚情報と触覚情報のセンサ信号は性質が大きく異なります。本技術では、潜在空間^※2と呼ばれるサイバー空間において視覚情報と触覚情報の関係性を学習することで、マルチモーダル情報の統合を実現しました。

図3 (a)は深層学習によって得られた潜在空間を可視化したものです。触覚センサの出力から推定された挿入位置（USBプラグがソケットの真上に位置する時の潜在変数）が潜在空間において青い☆マークの位置に写像されています。

また、機械学習のアルゴリズムの工夫によって、潜在空間の性質をコントロールすることが可能です。特に、観測データからの特徴抽出と潜在空間における動力学的挙動を同時に最適化する手法を「世界モデル」と呼び、画像のような超多次元データを柔軟に扱えるロボットのAI制御技術として近年注目を集めています[2][3]。TS-NVAEも世界モデルの一種であり、制御にとって重要な情報であるロボットの手先座標に相当する情報が潜在変数として獲得できるように学習します。具体的には、潜在空間において実世界におけるニュートンの運動方程式^※3に相当する関係式が成立するような制約を与えて学習することで、上記のような潜在空間を獲得することができます[4]。これにより、潜在空間において比例制御^※4を直接適用することが可能となりました。図3 (b) は横軸をロボットの手先のx座標、縦軸を潜在変数の一次元目の値としてプロットしたものになります。フィジカル空間における座標（横軸）とサイバー空間における座標（縦軸）が高い相関を獲得しているのが分かります。また、図3 (c) は本技術における制御アーキテクチャを示しており、学習によって得られた潜在空間上で比例制御を行っています。
本技術は、深層学習とPID制御^※5に代表される従来の制御技術の架け橋となる技術です。パナソニックコネクトがFA事業で長年培った高速・精密なロボットの動作に、マルチモーダルセンサ情報の活用や非定型作業への適応など、柔軟性を与えます。これにより、ロボットの応用先を、工場の定型作業のみならずサプライチェーンの様々な現場へと広げることが期待されます。

画像：図3 (c) — 図3. (a) TS-NVAEで得られた潜在空間を可視化したグラフ。(b) 物理空間上の座標と潜在空間上の座標の相関関係を表すグラフ。(c) TS-NVAEの制御アーキテクチャ。

光学技術を応用した高精度触覚センサ
本技術ではGelSight[5]と呼ばれるタイプの光学式の触覚センサを採用しました（図4）。透明なゲルの表面に拡散反射コーティングを施し、裏面からRGB三色のLED光を照射し、ロボットの指先に物体が接触した時のゲルの変形を小型カメラで撮影します。人間の指先の触覚による2点弁別能は2 mm程度と言われていますが、光学式触覚センサを用いることで人間を超えるサブミリ精度の把持位置推定が可能です。
今後は、カメラ、プロジェクタ事業を通してパナソニックグループ内で培ってきた撮像・照明光学技術を活用し、センサの更なる小型化、高精度化が期待されます。

現場において手軽に学習
提案手法であるTS-NVAEは、学習が簡単で低く手軽に扱えるという特長を有しています。一般に深層学習は訓練に必要なデータ量が非常に多く学習コストが高いと言われています。TS-NVAEは、今回のコネクタ挿入実験においては、ロボットの動作時間にしてわずか5分相当のデータしか用いていません。
また、ロボットのAI制御技術においては、強化学習と呼ばれるロボットが試行錯誤を繰り返すことでデータを収集する手法が良く使われます。ところが、ロボットが現場において試行錯誤でデータを集めるのは安全性の観点から現実的ではありません。また、一般に強化学習では学習中にロボットを動かし続けなければならず、学習のために数時間～数十時間ロボットを占有してしまうという課題がありました。TS-NVAEは学習前に集中してデータ収集を行い、学習自体はロボットと切り離してサーバやクラウド上でまとめて実行できるという特徴があります。これを「オフライン学習」と呼びます。オフライン学習により、学習に必要なロボットの占有時間を数分～数十分と極めて短くすることが可能となりました。
以上の特長から、TS-NVAEは現場において手軽に扱えるAI制御技術として、様々な応用先に展開していくことが可能であると期待されています。

【用途】

サプライチェーンマネジメント事業（製造、物流、流通）の中でも特に精密組み立て、梱包、部品供給等の分野での活用が期待できます。

パナソニックホールディングスは、グループ横断で製造現場や物流倉庫など、あらゆる現場からムダや滞留を失くし、サプライチェーン全体を整流化することで、現場のオペレーション力を強化する取り組みに注力しています。今回開発したマルチモーダル情報を用いた運動制御技術を現場に導入することで、人がより付加価値の高い業務に専念することが可能になり、現場の生産性を向上できると考えています。

【参考文献】

[1] R. Okumura, N. Nishio and T. Taniguchi, "Tactile-Sensitive NewtonianVAE for High-Accuracy Industrial Connector Insertion," in IROS, 2022.
[2] M. Okada and T. Taniguchi, "DreamingV2: Reinforcement Learning with Discrete World Models without Reconstruction," in IROS, 2022.
[3] A. Kinose, M. Okada, R. Okumura and T. Taniguchi, "Multi-view dreaming: Multi-view world model with contrastive learning," in arXiv, 2022.
[4] M. Jaques, M. Burke and T. M. Hospedales, "NewtonianVAE: Proportional control and goal identification from pixels via physical latent spaces," in CVPR, 2021.
[5] M. Johnson and E. Adelson, "Retrographic sensing for the measurement of surface texture and shape," in CVPR, 2009.

【学会出展情報】

2022年6月14日～17日 JSAI 2022 ＠国立京都国際会館
2022年10月23日～27日 IROS 2022 ＠国立京都国際会館

【詳細情報】

論文プレプリントサーバ (arXiv) へのリンク
https://arxiv.org/abs/2203.05955

※1. クロスアポイントメント制度とは、研究者等が大学、公的研究機関、企業の中で、二つ以上の機関に雇用されつつ、一定のエフォート管理の下で、それぞれの機関における役割に応じて研究・開発及び教育に従事することを可能にする制度です。
出展：経済産業省
https://news.panasonic.com/jp/press/jn170331-3
※2. センサの生データ（例えば画像）の特徴を表現する低次元のベクトル空間のことを潜在空間と呼びます。また、潜在空間における変数のことを潜在変数と呼びます。
※3. 物体に外力が作用して運動するとき、外力は物体の加速度に比例するという物理法則です。
※4. 目標位置と現在位置の差分に定数をかけることで制御指令値を決める最もシンプルな制御手法です。通常はフィジカル空間（物理空間）における位置を用いて比例制御を行いますが、TS-NVAEではサイバー空間（潜在空間）における位置で比例制御を行います。
※5. 目標位置と現在位置の差分に加え、その積分および微分の3つの要素を加味して制御を行う手法です。目標位置に対するオーバーシュートや偏差を最小化することで、より正確な位置決めが可能となります。