【お知らせ】

Adobe Acrobat Readerの特定のバージョンに、一部のPDFが開けないバグが発生しております。PDFが開けない場合、お使いのAcrobat Readerを最新版へアップデートの上お試しください。

2024年7月11日

～解釈可能性の高い生成AIの応用拡大へ～

パナソニックHD、Flowベース生成モデルにおいて、
従来難しかったタスク特有の知識を扱えるAI技術を開発

パナソニックR&Dカンパニーオブアメリカ（以下、PRDCA）およびパナソニックホールディングス株式会社（以下、パナソニックHD）は、解釈可能性^（*1）の高い生成AIモデルを、コンテキスト情報（機器IDやユーザーIDなど）を扱えるよう発展させ、故障予測などのベンチマークで従来法^（*2）を上回る性能を達成しました。

生成AIモデルの解釈可能性に対する要望が高まる中、Flowベース生成モデルが注目を集めています。Flowベース生成モデルは他の深層生成モデルとは異なり、入力データの分布と出力データの分布の間の複雑な関係性を一連の可逆的な変換で表すパラメータを学習する手法で、出力されたデータがどのような入力に基づくのかを解釈しやすいモデルとして知られています。一方、「可逆性」を保ったアーキテクチャであることは、既存のモデルに対してタスク特有の知識（コンテキスト）を追加で学習させることが難しく、実応用における課題でした。この課題に対し、変換の可逆性を保ちながら、既存モデルにコンテキスト情報を追加学習させられる新たなFlowベース生成モデルContextFlow++を開発しました。

本技術は、先進性が国際的に認められ、AI・機械学習技術のトップカンファレンスであるUAI 2024（The Conference on Uncertainty in Artificial Intelligence）に採択されました。2024年7月15日から2024年7月19日までスペインバルセロナで開催される本会議で発表します。

■技術の内容

図1 ContextFlow++の構成図。まず、文脈情報無しでデータエンコーダとデコーダが大規模な汎用知識を事前学習する。その後、コンテキストエンコーダと拡張デコーダが小規模な文脈情報を学習する。デコーダでは、事前学習済みのパラメータは固定のまま、コンテキストに関連するパラメータのみを更新する。

パナソニックHDとPRDCAでは、AIの解釈可能性に関する研究に取り組んでいます。近年はFlowベース生成モデルに着目し、2023年に発表した「知ったかぶらないAI（FlowEneDet）^（*3）」以降も性能向上とユースケース拡大に取り組んでいます。Flowベース生成モデルは、複雑なデータの正確な確率密度分布を推定できることが特徴で、その解釈可能性の高さから、画像生成や異常検出など幅広い用途への応用が期待されています。
一方、AIの活用現場では、大規模な事前学習済モデルが持つ汎用的な知識をもとに、小規模な追加学習により素早く低コストで現場固有の専門知識を学習させることが求められます。しかし、Flowベース生成モデルにおいては、「変換の可逆性」というメリットが逆に足枷となり、事前学習済モデルに対して専門的な知識を追加学習させることが難しく、離散変数（カテゴリカルデータなど）が扱いづらい、といった特性が実応用のうえでハードルとなっていました。例えば、機器IDごとに少しずつ特性（データの分布）が異なるような機器に対して異常検知を行う場合、「機器ID」などの機器特有のカテゴリカルな情報を取り込み、データ分布の違いを考慮して異常検知の識別境界を調整する必要がありますが、従来のFlowベース生成モデルでは困難でした。
そこで、解釈可能性の高さによりAIの信頼性を高めうるFlowベース生成モデルのメリットを生かしながら、既存モデルにコンテキスト情報を追加学習させられるContextFlow++を開発しました。

まず、変換の可逆性を保ちながら、事前学習済モデルの持つ知識とコンテキスト固有の専門的な知識を明確に分離できる新たなアルゴリズムを考案しました（図1）。これにより、従来のFlowベース生成モデルでは難しかった、特定の文脈に基づいた知識をより柔軟かつ正確にモデル化できるようになりました。また、離散変数を扱うための新しいアーキテクチャを導入したことで、従来法では扱えなかったタイプのデータも扱えるようになりました。

図2 劣化画像ベンチマークデータセットCIFAR-10Cに対する分類タスクの結果。画像劣化のないCIFAR-10に対する汎用モデル（緑）、およびCIFAR-10Cに対する汎用モデル（青）、従来法（紫）、提案法（赤）を用いた場合の正解割合を示す。提案法は、従来法（紫）や汎用モデル（青）に比べて最も高い精度を達成しただけでなく、収束も早い。

ContextFlow++は、事前学習モデルの知識に、現場固有の知識を追加できるため、時間のかかるフルスクラッチでのモデルのトレーニングを行うことなく、現場固有の知識を備えたモデルへと拡張できます。また、学習時には、事前学習モデルに関するパラメータは固定のまま処理できるため、学習・評価コストを大きく増やすことなく、離散変数を含む文脈情報の追加学習を行うことが可能です。

本手法は、MNIST-R^（*4）（文脈情報：回転）やCIFAR-10C^（*5）（文脈情報：劣化タイプ・劣化レベル）などの画像分類タスク、ATMの予防保全^（*6）（文脈情報：機器ID）やSMAP教師なし異常検出ベンチマーク^（*7）（文脈情報：Entity ID）などのセンサーデータを対象としたタスクなど多様なベンチマークデータセットに対して性能評価を行い、従来法を上回る性能を達成しました。特に、異常データと正常データのバランスを100倍に増やし、現実世界により近づけた不均衡なデータでATMベンチマークデータセットを検証したところ、従来法に比べて性能の低下が抑えられ、文脈を考慮したアーキテクチャならではのロバスト性が示されました。

■今後の展望

今回開発したContextFlow++は、解釈可能性の高いFlowベース生成モデルを、コンテキスト情報（機器ID等）を扱える枠組みに発展させた技術であり、幅広いデータセットに対する性能向上を検証にて確認しました。画像処理、異常検知、故障予測などの分野、なかでも文脈情報が重要な要素となるような、機器の特性や個々の設置条件に適応した高精度な故障予測などへの応用が期待できます。

今後もパナソニックHDは、AIの社会実装を加速し、お客様のくらしやしごとの現場へのお役立ちに貢献するAI技術の研究・開発を推進してまいります。

*1 AIが予測や分類結果を導き出す仕組みやプロセスが明らかである度合い。

*2 You Lu and Bert Huang. Structured output learning with conditional generative flows. AAAI, 2020

*3 パナソニックHD、AIモデルが学習していない物体の「知ったかぶり誤認識」を防ぐAI技術を開発（2023年7月28日）https://news.panasonic.com/jp/press/jn230728-1

*4 機械学習の定番データセットMNISTに、360°/64 の離散ステップでランダムな画像回転を適用し作成したデータセット

*5 Dan Hendrycks and Thomas Dietterich. Benchmarking neural network robustness to common corruptions and perturbations. In ICLR, 2019.

*6 Víctor Manuel Vargas, Riccardo Rosati, César HervásMartínez, Adriano Mancini, Luca Romeo, and Pedro Antonio Gutiérrez. A hybrid feature learning approach based on convolutional kernels for ATM fault prediction using event-log data. Engineering Applications of Artificial Intelligence, 2023.

*7 Kyle Hundman, Valentino Constantinou, Christopher Laporte, Ian Colwell, and Tom Soderstrom. Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding. In SIGKDD, 2018.

【関連情報】

発表論文 “ContextFlow++: Generalist-Specialist Flow-based Generative Models with Mixed-Variable Context Encoding”
本研究は、パナソニックR&DセンターオブアメリカのDenis Gudovskiy、パナソニックHD テクノロジー本部の奥野智行、中田洋平による研究成果です。
https://arxiv.org/abs/2406.00578
Panasonic×AI WEBサイト
https://tech-ai.panasonic.com/jp/
Panasonic×AI X
https://twitter.com/panasonic_ai

記事の内容は発表時のものです。
商品の販売終了や、組織の変更等により、最新の情報と異なる場合がありますのでご了承ください。