【お知らせ】

Adobe Acrobat Readerの特定のバージョンに、一部のPDFが開けないバグが発生しております。PDFが開けない場合、お使いのAcrobat Readerを最新版へアップデートの上お試しください。

2024年2月16日

～従来の1/3のパラメータ数で雨も霧もまとめてクリアに～

パナソニックHD、屋外での画像認識精度を上げる悪天候除去AIを開発

パナソニックホールディングス株式会社（以下、パナソニックHD）は、カリフォルニア大学バークレー校（以下、UC Berkeley）、南京大学、北京大学の研究者らと、画像認識精度を著しく低下させる雨や雪、霧などを画像から除去することで、画像認識精度を向上させる悪天候除去AIを共同開発しました。本技術は、多重悪天候画像に対する画像認識およびセグメンテーションタスクにおいて、パラメータを72％以上、推論時間を39％節約しながら、従来法より認識精度を上げられる画像復元性能を示しました。

モビリティやインフラ分野など、屋外で利用される画像認識AIの応用が進んでいます。一方、屋外で取得される画像は天候の影響をうけるため雨、雪、霧などの悪天候下では、物体の見えが大きく変化し、認識精度が著しく低下することが知られています。そこで昨今、全天候で利用できる実用的なAIを実現するために雨、雪、霧などを画像から除去する“悪天候除去（Weather Removal）”と呼ばれるタスクが注目を集めています。
これまで、天候の種類に応じ異なるモデルを準備したり、全天候で利用できるようモデルを統合する手法も提案されていますが、計算量の多さがネックとなっていました。

そこで本研究チームでは、異なる天候のパラメータを重みで表現することで、少ないパラメータ数で高精度に天候の影響を除去し、一つのモデルで、複数種類の天候とタスクに対応できる技術を開発しました。本技術は、車載センサにおける危険検知やセキュリティカメラなど全天候で高精度な画像認識が必要とされる様々な場面での活用が期待できます。

本技術は先進性が国際的に認められ、AI・機械学習技術のトップカンファレンスであるThe 38th Annual AAAI Conference on Artificial Intelligence（AAAI 2024）に採択されました。2024年2月22日から2024年2月25日にカナダ・バンクーバーで開催される本会議で発表します。

■技術の内容

AI技術の進展に伴い、モビリティやインフラ分野など、屋外でもロバストな画像認識が求められる場面が増えています。一方、屋外では屋内と比べてコントロールできない要因が格段に増えます。特に、雨、雪、霧などの悪天候が画像中の物体の見えを大きく変化させ、認識精度を著しく下げることが産業応用上の課題とされ、雨粒の除去（Raindrop Removal）や、霧除去（Dehaze）など、悪天候除去（Weather Removal）タスクの研究開発が活発に進められています。
特定の天候やタスクに特化したAIモデル（エキスパートモデル）を構築する取り組みは一定の成果を見せていますが、現実世界には「複数の天候が混在する悪天候」が存在し、より信頼性の高い判断が求められます。そこで、複数のエキスパートモデルを混合するアンサンブルモデルの研究もなされていますが、パラメータが激増することから、計算量の面で実用的なモデルは存在していませんでした。

上記課題を解決するために、本研究チームはMoFME（Mixture-of-Feature-Modulation-Experts）を共同開発しました。本技術は、画像認識精度を低下させる雨や雪、霧を1つのアンサンブルモデルで、かつ従来の1/3のパラメータ数で除去することが可能な悪天候除去AIです。

従来、天候やタスクに応じて複数のエキスパートモデルを用意する必要があった画像認識やセグメンテーションなどのタスクを、1つのアンサンブルモデルにより実用的な計算量で実現するため、2つの新しい手法を導入しました。
1つ目は、複数のエキスパートモデルのパラメータを線形変換の重みで表現する「特徴変調エキスパート（Feature Modulated Expert）」という手法です。異なるエキスパートモデルのパラメータを個別に学習するのではなく、特定のエキスパートモデルの線形変調により表現することで、総パラメータ数と計算量を削減しました。
2つ目は、入力画像の特徴に応じて、各エキスパートモデルの寄与度を切り替える「不確実性を考慮したルーター（Uncertainty-aware Router）」という手法です。各エキスパートモデルは、それぞれ得意とする天候が異なります。そこで、あるエキスパートモデルが、天候除去結果に余り自信がない（不確実性が高い）場合は、そのモデルの寄与度を下げ、逆の場合は寄与度を上げるよう最適化することで、アンサンブルモデルの信頼性を高め、画像認識性能を向上させました。

図2に、データセット“RainCityscapes”に対するMoFMEによる悪天候除去およびセグメンテーションの結果を示します。本技術は、雨と霧が混在するような複雑な画像に対しても、雨と霧の両方を除去し正解画像同等の結果を得ました。さらに、悪天候下ではセグメンテーションの精度が著しく低下しますが、MoFMEにより事前に悪天候除去を行うことで、セグメンテーションの精度低下を抑制することができました。
本技術は、多重悪天候画像に対する画像認識およびセグメンテーションタスクにおいて、パラメータを72％以上、推論時間を39％節約しながら、従来法より認識精度を上げられる画像復元性能を示しました。

図2 雨と霧が混在した入力画像に対するMoFMEの悪天候除去結果とセグメンテーションタスクへの効果

■今後の展望

今回、共同開発したMoFMEは、画像認識精度を著しく低下させる雨や雪、霧などを画像から除去することで、それらが画像認識AIの性能に与える影響を低減します。従来の1/3のパラメータ数で雨も霧もクリアに復元できることから、モビリティやインフラ分野など、屋外でもロバストな画像認識が求められる場面での活用が期待できます。
今後もパナソニックHDは、AI技術の社会実装を加速し、お客様のくらしやしごとの現場へのお役立ちに貢献するAI技術の研究・開発を推進していきます。

▼論文情報

Efficient Deweather Mixture-of-Experts with Uncertainty-aware Feature-wise Linear Modulation
https://arxiv.org/abs/2312.16610
本技術は、UC Berkeleyが主導する「BAIR オープンリサーチコモンズ^（※）」の枠組みで開発したもので、Panasonic R&D Center AmericaのDenis GudovskiyとパナソニックHD テクノロジー本部の奥野智行、中田洋平が参画した研究成果です。

※産業界、学術界の垣根を越えて世界トップレベルの研究者がオープンにコラボレーションする場として設立されたAI研究機関で、2024年2月時点ではパナソニックHDのほか、Google、Metaなど10社が参画しています。