松下高清开发出可处理特定情境知识的人工智能技术，而这曾经是流式生成模型的限制

日本大阪- 松下美国研发公司 (PRDCA) 和松下控股有限公司 (Panasonic HD) 开发了一种基于流的生成式 AI 模型，该模型还可以处理附加用户或设备信息等上下文信息，在故障预测等基准测试中实现了超越传统方法^*2的性能。

随着对生成式 AI 模型可解释性的需求不断增长，基于流的生成模型正受到越来越多的关注。基于流的生成模型与其他深度生成模型的不同之处在于，它们使用学习到的参数在目标数据分布和基础分布之间实现分层双射变换，从而更容易解释输出数据所基于的输入。另一方面，它们的双射性质使得使用额外的上下文特定知识来训练现有模型变得困难，这在实际应用中构成了挑战。为了解决这个问题，我们开发了一种新的基于流的生成模型 ContextFlow++，它可以使用加法运算向现有模型添加上下文信息，同时保留双射性质。

该项技术已获得国际认可，被纳入人工智能和机器学习技术顶级会议UAI 2024（人工智能不确定性会议），相关成果将于2024年7月15日至7月19日在西班牙巴塞罗那举办的会议上发表。

概述：

图 1：ContextFlow++ 架构。首先，数据编码器和解码器预学习不包含上下文信息的大规模常识。然后，上下文编码器和扩展解码器学习小规模上下文信息。在解码器处，预训练的参数保持不变，只更新与上下文相关的参数。

Panasonic HD 和 PRDCA 正在研究 AI 的可解释性。近年来，我们专注于基于流的生成模型，自 2023 年发布 FlowEneDet ^*3以来，我们一直致力于提高性能和扩展用例。基于流的生成模型已广泛应用于精确密度估计至关重要的应用中，在将 AI 模型应用于图像生成和异常检测等广泛应用时，其可解释性非常重要。
另一方面，在人工智能应用领域，通常使用大规模预训练模型的通识知识作为基础，通过小规模的额外学习快速且低成本地学习上下文（专业知识）。
然而，基于流的生成模型中的双射特性的好处可能会成为一种阻碍，因为用额外的专业知识来训练预训练模型极其困难，而且离散变量（如分类数据）很难处理。
因此，我们开发了 ContextFlow++ 作为一种新方法，利用基于流的生成模型的优势，它可以通过其高可解释性提高人工智能的可靠性，同时克服迄今为止阻碍其实际应用的局限性。

首先，我们设计了一种新算法，该算法可以在保留双射变换的同时，明确地将预训练模型中包含的知识与特定于上下文的专家知识（上下文信息）分开。这使得能够更灵活、更准确地根据特定上下文对知识进行建模，而这在传统的基于流的生成模型中很难做到。此外，通过引入一种处理离散变量的新架构，现在可以处理传统方法无法处理的数据类型。

图 2：在退化图像基准数据集 CIFAR-10C 上进行分类任务的结果。图中显示了无图像退化的 CIFAR-10 通用模型（绿色）以及 CIFAR-10C 通用模型（蓝色）、传统方法（紫色）和所提方法（红色）的准确率。与传统方法（紫色）和通用模型（蓝色）相比，所提方法不仅实现了最高的准确率，而且收敛速度更快。

ContextFlow++ 允许您将“上下文”添加到预训练模型知识中，这样您就可以使用专业知识扩展模型，而无需从头开始耗时地训练模型。此外，由于预训练模型的参数可以在训练期间保持不变的情况下进行处理，因此可以额外学习上下文信息（包括离散变量），而不会显著增加训练和评估成本。

该方法的性能在各种基准数据集上进行了评估，包括图像分类任务 MNIST-R ^*4（上下文信息：旋转）和 CIFAR-10C ^*5（上下文信息：劣化类型和劣化程度），以及 ATM 预测性维护^*6（上下文信息：设备 ID）和 SMAP 无监督异常检测基准^*7（上下文信息：实体 ID）等传感器数据任务，结果表明其性能超越了传统方法。特别是在使用不平衡数据（其中异常数据和正常数据之间的平衡增加了 100 倍以更接近现实世界）测试 ATM 基准数据集时，与传统方法相比，性能下降有限，证明了考虑上下文的架构所特有的稳健性。

未来展望：

新开发的 ContextFlow++ 是一种将基于流的生成模型扩展为可处理上下文信息（例如设备 ID）的框架的技术，并且通过监督图像分类、预测性维护和无监督异常检测的实验展示了 ContextFlow++ 的优势。预计该技术将应用于图像处理、异常检测和故障预测等领域，特别是适用于适应单个设备和单个安装条件特征的高精度故障预测，其中上下文信息是一个重要因素。

松下高清将继续加速人工智能在社会中的应用，并推动人工智能技术的研发，为改善客户的生活和工作场所做出贡献。

Note:

*1：人工智能得出预测和分类结果的机制和过程的清晰程度。

*2：You Lu 和 Bert Huang。具有条件生成流的结构化输出学习。AAAI，2020 年

*3：致力于实现负责任的 AI：松下美国研发公司和松下控股株式会社已开发出 AI 技术来应对“分布不均”的错误检测问题（2023 年 7 月 28 日）https://news.panasonic.com/global/press/en230728-2

*4：通过以 360◦/64 的离散步骤对 MNIST 进行随机图像旋转而创建的数据集，MNIST 是机器学习的流行数据集。

*5：Dan Hendrycks 和 Thomas Dietterich。对神经网络对常见损坏和扰动的稳健性进行基准测试。在 ICLR，2019 年。

*6：Víctor Manuel Vargas、Riccardo Rosati、César HervásMartínez、Adriano Mancini、Luca Romeo 和 Pedro Antonio Gutiérrez。基于卷积核的混合特征学习方法，使用事件日志数据进行 ATM 故障预测。人工智能工程应用，2023 年。

*7：Kyle Hundman、Valentino Constantinou、Christopher Laporte、Ian Colwell 和 Tom Soderstrom。使用 LSTM 和非参数动态阈值检测航天器异常。在 SIGKDD，2018 年。

关于研究：

论文“ContextFlow++：基于通才-专才流的生成模型
使用混合变量上下文编码” https://arxiv.org/abs/2406.00578
此项研究是松下美国研发中心的 Denis Gudovskiy 与松下高清技术总部的 Tomoyuki Okuno 和 Yohei Nakata 合作的成果。