AI・ロボティクス分野のトップカンファレンスECCV2022、およびIROS2022に論文採択

パナソニック ホールディングス株式会社（以下、パナソニックHD）は、AI・コンピュータビジョンのトップ国際会議European Conference on Computer Vision (ECCV) 2022、およびロボティクスのトップ国際会議IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2022に、主著および共著論文が採択されました。2022年10月23日から27日まで開催される2つの国際会議にて発表を行います。

パナソニックHDでは、家電・住宅、自動車、B2Bソリューションなどの主要な事業領域で、くらしや社会課題を解決する革新的な製品やサービスをお届けするため、先進AI技術の研究・開発・運用に注力しています。加えて、先進AI技術の研究開発内容を対外発表することを通じて技術分野の発展に貢献できるよう、国際会議への投稿を積極的に行っています。
この度、AIの社会実装に欠かせない、コンピュータビジョン分野、ロボティクス分野の2つの領域で、複数の研究開発成果が国際的に認められました。

今後も、社内外の研究者とともに、製品やサービスを通じて、お客様の幸せに貢献するAI技術の研究開発を推進してまいります。

■ECCV、IROSについて
ECCVは、CVPR^[1]、ICCV^[2]と並ぶAI・コンピュータビジョン分野の権威あるトップカンファレンスです。世界中のAI研究者が最新の成果を発表・議論する場として知られ、採択率は20%-30%の狭き門となっています。

ECCV2022では、以下の研究が採択されました。
1. 深層学習を用いてカメラの歪みや傾きなどを画像1枚から推定するカメラ校正法
2. 教師なしで異なる環境に適用することができる物体検出技術
3. 偏りのあるデータセットに対しても適応可能な自己教師あり学習技術

IROSは、ICRA^[3]等と並ぶ、ロボティクス分野の権威あるトップカンファレンスです。AI・ロボティクス分野の幅広い研究者が分野を超えた議論を重ねる場として知られます。

IROS2022では、以下の研究が採択されました。
4. 「自己教師あり学習」を強化学習に拡張しロボティクス応用を実証

背景：
魚眼カメラは広範囲の映像を撮影できるため、広範囲監視や障害物検知など様々な応用が期待されています。一方、撮影画像の歪みが大きいため、既存の認識モデルを流用することは困難です。そのため、カメラ校正により歪みの少ない画像に変換する必要がありますが、従来の方法では校正に手間がかかることや専用の計測システムが必要という課題がありました。このような課題に対処し、レンズ歪みの大きい画像に対して、簡便かつ高性能なカメラ校正法を実現することを目指し、本研究に取り組みました。

概要：
深層学習を用いてカメラの歪みや傾きなどを、撮影した画像1枚から推定するカメラ校正法を考案しました。少ないパラメータで高精度に魚眼カメラをモデル化できるカメラの幾何モデルを提案することで、1枚のみの画像から、1つの深層学習モデルでも高精度にカメラ校正可能な設計を実現しました。加えて、これまで試行錯誤で調整する必要があった誤差関数のパラメータを、数値シミュレーションにより学習前に最適値を算出することで、精度向上と学習時間の短縮を可能にしました。本手法の有効性を大規模画像データセットと複数の実カメラで検証し、世界最高精度^[4]を実現したことが、今回採択に繋がりました。

今後の展望：
カメラを活用した様々なアプリケーションは、私たちの身の回りで当たり前のように使われていますが、実際の運用面では手間がかかることは余り知られていません。本手法は、たった1枚の画像から高精度に画像歪みを補正できるため、カメラ校正の手間を大幅に削減できます。特に、振動や接触の影響を大きく受けることが前提となる、ADAS（先進運転支援システム）、ドローンなどに搭載されるようなカメラに対しても、即座に再校正ができる本手法は、カメラアプリケーションの運用面での安定性を向上させ、画像前処理技術として汎用的に展開できる可能性があります。
カメラ幾何と深層学習の両方を用いた本手法は、これまでパナソニックグループで長年培ってきた画像処理技術と最先端のAIに関する知見による成果といえます。引き続き、上記の知見を活かした先端技術開発に取り組んでまいります。

本研究は、パナソニックHD プラットフォーム本部 若井信彦の主著論文で、同テクノロジー本部 佐藤智、石井育規と中部大学 山下教授との連携による研究成果となります。

背景：
従来の物体検出モデルは、学習時と同じ環境下では高い認識能力を持ちます。しかし、学習時と異なる環境下では十分な認識能力が発揮できず、異なる環境へ適応させるためには大量の教師ラベル付き画像が必要となるという課題があります。

概要：
本研究では、教師ラベルなしで異なる環境に適用することができる物体検出技術を提案しました。具体的には、物体検出モデルの学習に教師ラベルの代わりに疑似ラベルを利用し、正確な疑似ラベルを得るため、環境変化による特徴表現の不一致を抑制する手法を複数階層にわたり導入しました。本技術は環境変化に対するロバスト性を、公開データセットを用いて評価し、当該の分野で世界最高性能^[5]を達成しました。

今後の展望：
本技術を用いることで、ロボット・自動車などの製品における周辺環境認識機能に対して、学習時と異なる環境への適用の低コスト化、ロバスト化などの効果が見込まれます。引き続き、大学との共同研究により先端技術を創出していくとともに、先端技術の事業応用にも積極的に取り組んでまいります。

本研究は、バークレー大学AI研究所、北京大学、北京航空航天大学、Panasonic R&D Company of America AIラボラトリーと連携した研究成果でパナソニックHD テクノロジー本部 中田洋平、奥野智行が参画した共著論文となります。

背景：
ディープラーニングの社会実装が進む一方、多くの現場では、AI活用に必要な「質・量ともに十分な学習データ」の取得コストが課題となります。また、データ量が不十分な場合、学習データの環境に偏ったモデルが学習されるため、認識モデルを様々な現場に適用することは困難です。不十分なデータが引き起こす課題は、AIの実利用上における影響が大きいことから、現在、活発に研究が進められています。

概要：
提案法はまず、対照学習ベースの自己教師あり学習により、与えられたデータセットのうち見えの近い物体毎に共通する特徴（等価性＝equivalence）を学習します。しかし、学習データが偏っている場合、モデルがデータのバイアスまで学習してしまいます。そこで、不変誤差最小法（IRM：Invariant Risk Minimization）を導入することで、データの偏りの影響を除去し、各クラスにおいて本来学習されるべき、本質的に不変な特徴（不変性＝invariance）を学習可能とする手法を提案しました。

今後の展望：
不十分なデータからの学習は、汎化性能（未知のデータに対する性能）低下に留まらずバイアスなどの問題も引き起こす、機械学習の本質的な問題です。Panasonic R&D Center Singaporeでは、社内外の研究者と連携しながらAIの社会実装に欠かせないデータセットに関わる課題解決を推進してまいります。

本研究は、南洋理工大学（NTU）、シンガポール経営大学と連携した研究成果でPanasonic R&D Center Singaporeが参画した共著論文となります。

背景：
世界モデル^[6]に基づく強化学習は近年急速に研究が進められており、画像を入力とした実ロボット制御に成功するなど産業への応用が期待されています。一方で、制御・操作対象が微細な対象物の場合、ロボットがそれらを認知できず、強化学習が進行しないという課題がありました。

概要：
本研究で提案するDreamingV2は、画像分野で用いられる「自己教師あり学習」を応用することで微細な対象物を認知できる視覚モデルを実現しています。さらに、世界モデル内部の潜在状態と呼ばれる変数を離散化することで、ロボットと物体の接触などといった非連続な状態変化に追随できる運動学モデルを実現しました。シミュレーション実験の結果、DreamingV2はロボットアームによる物体のピッキングなど、実作業を想定した様々なタスクで世界最高性能^[7]を達成できることを実証しました。

今後の展望：
本技術は、視覚情報による緻密なロボット制御則の自動獲得を実現するものであり、工場での人手作業のロボットへの置き換えや、現状多くの労力を必要とする産業用ロボットのプログラム作業の削減が期待できます。今後は実機での検証・評価を進めると同時に、工場での産業応用を目指した開発を継続していきます。

本研究は、パナソニックHD テクノロジー本部 岡田雅司の主著論文で、当社 客員総括主幹技師で立命館大学教授の谷口氏との連携による研究成果になります。

なお、本リリースで紹介した4件のほか、パナソニック コネクト株式会社との連携取り組みである下記論文についても、IROS2022に採択されました。
“Tactile-Sensitive NewtonianVAE for High-Accuracy Industrial Connector Insertion”

また、ECCVと同日程で開催されるECCVワークショップでは下記論文の発表も予定しております。
“Invisible-to-Visible: Privacy-Aware Human Segmentation using Airborne Ultrasound via Collaborative Learning Probabilistic U-Net”

[1] IEEE/CVF Conference on Computer Vision and Pattern Recognition
[2] IEEE/CVF International Conference on Computer Vision
[3] IEEE International Conference on Robotics and Automation
[4] 1枚の一般風景画像から推定する歪みと回転のカメラ校正精度（2022年9月28日現在、当社調べ）
[5] 3種の環境変化シナリオ（Cityscapes to Foggy Cityscapes, Cityscapes to BDD100K, and Sim10k to Cityscapes）における、教師無しドメイン適応手法による物体検出精度（mAP）（2022年9月28日現在、当社調べ）
[6] ロボットの視覚・運動学を含む包括的なモデルを深層学習によって獲得する枠組み
[7] 強化学習の公開ベンチマークrobosuiteによる評価結果。その他、最先端の強化学習アルゴリズムとの比較に基づく（2022年9月28日現在、当社調べ）

パナソニック ホールディングス株式会社 テクノロジー本部
デジタル・AI技術センター
Panasonic×AI 事務局
tech-ai@ml.jp.panasonic.com

・発表論文 “Rethinking Generic Camera Models for Deep Single Image Camera Calibration to Recover Rotation and Fisheye Distortion”
https://arxiv.org/abs/2111.12927
・発表論文 “MTTrans: Cross-Domain Object Detection with Mean-Teacher Transformer”
https://arxiv.org/abs/2205.01643
・発表論文 “Equivariance and Invariance Inductive Bias for Learning from Insufficient Data”
https://arxiv.org/abs/2207.12258
・発表論文 “DreamingV2: Reinforcement Learning with Discrete World Models without Reconstruction”
https://arxiv.org/abs/2203.00494
・発表論文 “Tactile-Sensitive NewtonianVAE for High-Accuracy Industrial Connector Insertion”
https://arxiv.org/abs/2203.05955
・発表論文 “Invisible-to-Visible: Privacy-Aware Human Segmentation using Airborne Ultrasound via Collaborative Learning Probabilistic U-Net”
https://arxiv.org/abs/2205.05293
・パナソニック×AI パナソニックの人工知能研究開発 ウェブサイト
https://tech-ai.panasonic.com/jp/