パナソニックHD、拡散型視覚言語モデルによるマルチモーダルAI「LaViDa」を開発

拡散モデルを用いて文章のような離散的なデータを生成する仕組みは、文章を構成する各トークン^（※2）をランダムにマスクトークンに置き換えるマスキング処理と、マスクトークンから元のトークンを復元するアンマスキング処理から構成されます（図1）。しかし、自己回帰型のマルチモーダルAIモデルを拡散モデルにそのまま置き換えただけでは（1）毎回のトークン生成に要するアテンション^（※3）計算が重くなる、（2）画像の説明文にとって重要な単語が学習されない（マスキングされない）可能性が高い、という二つの課題が現れます。
このアテンション計算が重くなる課題は、予測対象のトークンが、自己回帰型モデルの場合は既に生成した過去のトークンのみを参照してアテンション計算すれば良いのに対して、拡散モデルでは常に文章全体のトークンを参照してアテンション計算しなければならないことに起因します。
こうした課題を解決するため、当社は計算量削減のために入力画像と質問文のトークンのアテンション計算から解答文のトークンを排除する工夫を導入しました。図2に示すアテンションマスクは、アテンション計算を行うクエリとキーの組み合わせを着色（緑）で表示したものです。行がクエリ、列がキーを表しており、Iが画像トークン列、Pが質問文のトークン列、X_tがtステップにおける解答文のトークン列を表します。自己回帰型（左図）では過去のトークンのみを参照してアテンションマップを計算するので図の白い部分は計算不要です。拡散モデル（中央）では全てのトークンを参照してアテンションマップを計算する必要があります。当社が提案するPrefix-DLM（右）では画像トークンと質問文のトークンのアテンション計算から解答文のトークンを排除する（白い部分）ことで、計算を効率化しています。
（2）の課題については、学習時に同じ文章に対してお互いのマスクするトークンが被らないような相補的な2通りのマスキングを用意して両方のアンマスキングを学習する、という工夫を取り入れることにより、文章の全てのトークンが必ず学習されるようにしています。

評価実験では、自然画像のQ＆Aタスクから、数学、科学の証明問題、またチャートやグラフが多数含まれるドキュメントの内容理解などさまざまな形式のデータセットを用いて有効性を検証しました。図4に、各評価データセットにおける既存手法との性能比較結果（左）、横軸に生成にかかる時間、縦軸に生成結果の性能をプロットしたグラフ（右）を示します。右のグラフ中の“NFE”は、拡散モデルの1回のステップでどれぐらいの割合のトークンを生成するかを表す指標です。NFEが下がると1回のステップで生成するトークン数は多くなります。その分、生成に必要なステップ数が減少して速度が速くなる一方、性能は減少する右肩上がりの傾向を示します。
LaViDaはいずれのデータセットにおいても既存の自己回帰手法を上回る性能を獲得しました。また生成効率においても既存の自己回帰手法より高速に文章生成を行えることを確認しています。

また、図5では画像の内容を詩やjson形式といった特定の文章フォーマットに沿って生成する例を示しています。従来の自己回帰型の手法ではプロンプトの中に細かくルールを指定する必要があり、誤認識が起きやすい原因となっていましたが、LaViDaではアンマスキングの仕組みを使うことで生成することができます。