パナソニック コネクトと中央大学、つかんだものを落とさずに回し続けられるロボットハンド制御技術を開発

この課題に対して、パナソニック コネクトでは、ロボットビジョン技術^注3を活かし、対象物の形状や姿勢に応じてフィンガとベルトを制御するシステムを開発しました。対象物を落とさずに把持するためには、対象物の表面とロボットハンドとが接触しつづける必要があります。接触を維持するためには、対象物の形状や回転中の姿勢に合わせてフィンガ同士の幅を調節する必要があります。しかし、フィンガが必要な幅の分だけ開閉しない状況もあり、その場合に対象物を掴み続けられなくなります。そこで、この状況を引き起こす2つの原因に対してアプローチする手法を開発しました。
まず、対象物の形状や姿勢によっては、回転中に、対象物とハンドとが接触している部位が変化することがあります。これを接触点の切り替わりと呼びます。そして、接触点が切り替わる前後において、必要なフィンガ幅は急激に変わりやすくなります。急な幅変化が起こると、フィンガの制御が追い付かずに対象物を落下させてしまうことがあります。一方で、対象物の回転速度が遅い場合には、接触点が切り替わる前後であっても、この変化が小さいこともわかっています。そこで、カメラ画像を基に、接触点がいつ切り替わるのかを予測し、その前後において対象物の回転速度が最も遅くなるようにベルトを制御することで、幅変化を抑えるのが1つ目のアプローチです。
2つ目の原因として、フィードバック制御による遅延に着目しました。電子機器を制御する際には、センサにより現在の状態を観測し、観測値に基づいて次の時刻における制御値を決定するフィードバック制御が広く採用されています。フィードバック制御においては、次の時刻までの制御値は現在の観測値に基づきます。インハンドマニピュレーションによりハンド内で対象物を動かし続ける場合、現在観測している対象物の位置や姿勢と次の時刻での状態は異なります。従って、現在に観測している幅の分だけフィンガを開閉させても、次に必要な幅とは差が生じ、対象物を落下させることが予想されます。そこで、次の時刻における対象物の位置や姿勢を予測し、次の時刻で必要となる幅の分だけフィンガを制御することで遅延の影響を低減するのが2つ目のアプローチです。

動画掲載ページ
https://connect.panasonic.com/jp-ja/about/who-we-are/research/robot-ihm

開発した制御システムにおいては、各フィンガ表面を無限循環するベルトを備えた2指ハンドと、ハンドに正対する位置に設置したステレオカメラを用います。

1つ目のアプローチに対しては、まずステレオカメラから取得した画像中から対象物の領域を抽出し、その領域を囲う輪郭を取得します。この輪郭に対して多角形近似および凸包算出を行います。凸包の頂点のうち、最も左および右に位置する点を対象物とハンドとの現在の接触点とします。さらに、残りの頂点の中から、対象物が回転し続ける場合に次にハンドと接触する点を予想し、次の接触点と定義します。そして、現在の接触点と次の接触点を結んだ線分が鉛直軸となす角を算出します。これは、算出した角度の分だけ対象物が回転すると、接触点が切り替わることを示します。この角度が小さい場合は、接触点の切り替わりが近いことを表し、その際には必要なフィンガ幅の変化が大きくなると考えられます。このとき、対象物の回転量が小さければ、落下を防ぐことができます。そこで、算出した角度に正比例するように対象物の目標回転量を定め、それに合わせてベルトを制御します。この制御手法により、接触点の切り替わりが近いときには、ベルトが遅く動き、対象物の回転量も小さくなります。これにより、フィンガ幅の変化を小さく抑えることができます。

2つ目のアプローチにおいても、1つ目の処理の中で取得した輪郭と対象物の目標回転量を用います。1つ目のアプローチにより理想的に操作できた場合、次の時刻において、対象物の輪郭は目標回転量の分だけ姿勢変更した状態になると考えられます。そこで、現在の輪郭に対して、目標分だけ回転した輪郭を算出し、次の時刻での輪郭を推定します。推定した輪郭のうち、最も左および右に位置する点を検出します。この点を次の時刻での接触点推定位置とし、この点に合わせてフィンガを制御します。この制御により、現在の観測値ではなく、次の時刻の推定値に合わせてフィンガが動くため、遅延の影響を減らすことができます。

本技術は、パナソニック コネクトが目指す製造・物流・流通といったサプライチェーンの現場への貢献が見込まれます。中でも、これらの現場で扱われるモノのピックアンドプレース作業への活用が想定されます。置かれたモノをロボットハンドでピックし、インハンドマニピュレーションを行うことで、姿勢を変えた状態でプレースすることが可能となります。
モノの姿勢を変える動作が必要な現場は、例えば、製造においては部品組立作業が該当します。部品をピックし、組立可能な姿勢に変更した後に、相手側の部品にプレースする作業を実現できます。また、物流現場においては、倉庫や青果場での箱詰めやパック詰めに応用可能です。様々な形状のモノを整列させて箱内に配置することで高密度な箱詰めが可能となります。また、形状に個体差がある青果等についても、カメラ画像から個体毎の形状をリアルタイムで検出し、各個体に合わせた制御を行うことができます。現状は人手でパック詰めされているそれらのモノも、ロボットにより整列配置することができ、集荷場等での自動化に貢献することが期待されます。さらに、小売店舗等の流通現場においても、商品陳列等のモノを決まった姿勢で並べる作業への応用が見込まれます。