光沢などのノイズがあっても動く対象物を1ミリ秒以下で検出し、ロボット作業を止めないセンシング技術を開発

近年の人手不足により、物流や製造の現場ではロボット導入が進んでいます。これまでの規定の動作を自動で止まらずに行うロボットに加え、近年カメラを利用し対象物を見て、検出することで現場に即した動作が行えるロボットのニーズが非常に高まっています。ただし動く対象物を検出してロボットの動作に反映するためには、画像検出からフィードバックまでにかかる時間を超低遅延で行える必要があり、それに付随した様々な課題があります。

通常、指定対象物を検出するには、事前に登録した画像を比較対象として用意し、動かした際にカメラで撮影した対象物の画像が登録画像と一致するかどうかで検出します。しかしながら、照明の影響により、対象物の表面に光沢などのノイズが生じ、登録画像と異なる画像と認識されるために、指定対象物を検出できないといった問題が発生します。これを解決するには、照明の環境を整えたり、AIなどの高度な画像処理を行い、光沢の抑制を行うなどの方法があります。しかし、照明環境の場合にはコストが増加し、またAIなどの高度な画像処理を使用する場合には処理時間が厖大になるといった課題があります。また、AIなどの高度な画像処理を利用し、時間をかけて光沢の抑制を行ったとしても、特定対象物が止まっている場合は登録画像と一致させることができても、動いている特定対象物の場合には、計算時間中に対象物が移動してしまい、撮影時とロボット動作時で対象物の位置が異なってしまい、必要な処理ができないといった結果になりがちです。

画像データからロボットの動作に必要な情報を抽出し、ロボットにフィードバックして制御を行う場合、カメラ、プロセッサ、アクチュエータ^（※3）が必要になります。さらに、対象物の表面に光沢があると、画像から対象物を正確に検出するのが難しくなることがあります。このような場面では、通常CPUやGPUが装備されるパソコンを使った光沢検出が一般的に利用されます。画像認識を行う際には、ピクセル単位でカメラから転送されてきた画像の全てのピクセルが揃ったところで画像処理を開始します。これによって画像転送や画像処理を行う際に、カメラ、データや命令を処理するプロセッサ、ロボットを動作させるアクチュエータの間で、逐次メモリとのやり取りが発生します。具体的には、カメラ画像をキャプチャしメモリに保存、そのデータがプロセッサに送信されて処理されメモリで保存、さらにメモリから処理済みデータがアクチュエータに送信というプロセスが連続して行われます。この一連の処理の中で、メモリに依存した処理と、各処理にかかるプロセスが逐次処理になるため、全体として数十秒から数百ミリ秒の遅延が発生します。

パナソニック コネクトでは、FPGA^（※4）を活用して、カメラから転送されるピクセル単位の画像データの転送速度に同期し、画像データの一部を使用して光沢検出する特殊なアルゴリズムを活用します。それにより、順に転送されてきた画像データを即時に画像処理するため、データを保存するためのメモリが不要となり、低遅延な情報提供によって高速なロボット制御を可能とする技術開発を行いました。この開発に当たり、毎秒1,000枚の画像データ（毎秒1,000フレーム^（※5））を撮影する高速カメラを使って実現したことにより、全ての処理が1ミリ秒以下で行えるという画期的な性能を達成しました。

ただし、メモリを介さない処理を実現するために、転送されてきた画像データがすべてそろってから処理を開始するのではなく、転送されてきた画像データの一部を使用して光沢検出する特別なアルゴリズムであるため、処理遅延は短くなりますが、検出性能が落ちてしまうという課題があります。そこで、本技術では、一般的なカメラ（毎秒60フレーム）と比べて、高速カメラ（毎秒1,000フレーム）ではフレーム間の情報変化が非常に小さい点に着目しました。毎秒60フレームのカメラでは、動く対象物の場合、フレーム間の情報変化が大きくなります。結果、フレーム間の情報を利用しようとすると、情報を補完するなどの特別な処理が必要になります。一方、高速カメラは、動く対象物であっても、フレーム間の情報変化が小さいめ、ひとつ前のフレームで処理した結果を活用することが可能となります。

カメラから転送される画像データの速度に同期して、順に転送されてきた画像データを即時処理しつつ、高速カメラの特長を生かして、前フレームでの情報を活用するハイブリッドなアルゴリズムで1ミリ秒以下で正確な検出を高速処理で実現します。