【お知らせ】

Adobe Acrobat Readerの特定のバージョンに、一部のPDFが開けないバグが発生しております。PDFが開けない場合、お使いのAcrobat Readerを最新版へアップデートの上お試しください。

2026年10月21日

パナソニックHD、モバイル業務支援向け世界モデルを開発

- AIエージェントの操作成功率を向上 -

パナソニックホールディングス株式会社（以下、パナソニックHD）とパナソニックR&Dカンパニーオブアメリカ（以下、PRDCA）は、カリフォルニア大学ロサンゼルス校（以下、UCLA）の研究者らと共同で、スマートフォンなどのモバイル端末上の業務をAIが先を予測しながら支援する世界モデル^（※1）を開発しました。あわせて、世界モデルを学習するための約140万件の学習データセットMobileWorldと、その性能を評価するベンチマークMobileWorldBenchを構築し、AIエージェントのモバイル端末操作の成功率を向上させることに成功しました。本研究は、2026年10月24日から10月29日までハンガリー・ブダペストで開催される自然言語処理分野のトップカンファレンスEMNLP 2026で発表します。

＜背景＞

生成AIの進展に伴い、製造・物流・保守などの現場では、人に代わってスマートフォンやタブレット上の操作を支援・実行するAIエージェントの活用が期待されています。一方で、画面を画像として予測する従来の世界モデルの方式では、時刻、通知、画面レイアウトなど操作に関係ない情報も再現する必要があり、予測が難しい場合があります。そのため、画面をピクセル単位で予測するのではなく、操作によって生じる重要な状態変化を予測し、次の操作選択に活用する新たな世界モデルが求められていました。

＜技術の特長＞

本技術は、操作後の画面を画像で再現するのではなく、「ボタンを押すと設定画面が開く」「入力欄が表示される」といった操作に関する変化を自然言語で予測します。これにより、時刻、通知、画面レイアウトなど操作に関係のない情報に左右されずに、AIエージェントは複数の操作候補について予測した状態変化を評価し、目標達成につながる操作を選択します。

今回構築したMobileWorldは、Android端末での人間の操作軌跡をもとに、操作内容、操作前後の画面、画面変化の説明、次状態に関する質問・回答などを収録したデータセットです。画面変化を説明するデータ約94.2万件と、質問・回答データ約54.3万件を含みます。視覚言語モデルを用いてデータを生成・自動選別し、一部のデータは人手でも検証しました。このMobileWorldを用いて追加学習したQwen3-VL-8B-Instruct^（※2）を、MobileWorldBenchで評価し、予測文を正確さ・完全さ・関連性の観点で採点した結果、既存手法と比較して最も高いスコアを獲得しました。さらに、本世界モデルをAIエージェントに組み込んで、AndroidWorld^（※3）で評価しました。この評価では、世界モデルが操作候補ごとの未来の状態を予測し、AIエージェントが予測を元に実際に実行する操作を選択します。その結果、今回提案した世界モデルを組み込まないベースラインとなる手法ではタスク成功率が46.9％だったのに対して、組み込んだ場合の成功率は54.3％と大きな性能向上を達成しました。

本技術を、設備管理、部品在庫、作業記録など複数のアプリケーションを横断する業務に応用することで、熟練者の知識や判断を生かしたAIエージェントによる現場の業務負担の軽減を目指します。今後は、スマートフォンに加え、WebサイトやPCアプリケーションへの適用可能性も検証し、社内の幅広い業務を支援するAI技術として、研究開発を進めていきます。

＜論文情報＞

タイトル：MobileWorldBench: Towards Semantic World Modeling For Mobile Agents
arXiv：https://arxiv.org/abs/2512.14014
本研究は、PRDCAのKonstantinos Kallidromitis、加藤祐介、パナソニックHDの小塚和紀、UCLAのShufan Liらによる共同研究です。

※1 世界モデル：環境の状態や変化の仕組みを学習し、現在の状況や行動に応じて、その後の状態を予測するモデル。

※2 Qwen3-VL-8B-Instruct：画像と文章を理解し、画像の内容に基づいて文章を生成できる、約80億パラメータのオープンソース視覚言語モデル。

※3 AndroidWorld：AIエージェントにAndroid端末上のタスクを実行させ、タスク成功率を評価するベンチマーク