Panasonic HD 开发图像识别人工智能，采用可处理多模态分布的新分类算法

日本大阪- 松下控股有限公司（以下简称松下 HD）开发了一种图像识别人工智能，采用新的分类算法，可以处理源自拍摄对象和拍摄条件的数据的多模态性质。实验表明，识别精度超过了传统方法。

图像识别人工智能通过根据外观将对象分类来识别对象。然而，在很多情况下，即使属于同一类别的对象，例如“火车”或“狗”，也会被分类到“火车类型”或“狗品种”等子类别下，而具有非常不同的外观。此外，在很多情况下，由于方向、天气、光线或背景等拍摄条件的不同，同一物体可能看起来有所不同。重要的是要考虑如何最好地处理这种外观的多样性。为了提高图像识别的准确性，目前的研究目的是实现不受多样性影响的鲁棒图像识别，并且设计了分类算法来查找子类别内的相似性以及对象的共同特征。给定的类别。

随着人工智能继续在各种环境中部署，并且正在处理大量不同的图像，“寻找共同特征”方法的局限性已经变得显而易见。特别是，当同一类别内存在不同外观倾向的子类别时（多峰分布），AI往往难以成功地将此类对象识别为同一类别，从而导致识别准确率下降。
因此，我们公司专注于利用外观差异，开发了一种新的分类算法，该算法使用二维正交矩阵捕获图像的多样性。使用基准数据集^*1，我们证明了即使对具有多模态分布的数据也可以执行高精度的图像分类，这对于人工智能来说是困难的。

该技术是松下集团AI专家培训计划REAL-AI ^*2的研究成果，并被计算机视觉顶级会议IEEE/CVF计算机视觉应用冬季会议（WACV 2024）接收场地。将于2024年1月4日至8日在美国夏威夷举行的全体会议上进行演示。

松下HD将推动AI技术的研发，加速其社会落地，同时重点培养顶尖的AI专家。

概述：

图像识别技术的应用正在不断增加，并且该技术正在扩展到以前从未使用过的领域。随着其应用扩展到更容易应用的领域之外，需要处理以多种方式出现的同一类别的对象，这是传统人工智能难以做到的。

在传统的深度学习框架中，人工智能模型基本上会学习看起来相似的事物属于同一类别。但近年来，为了提高分类性能，在学习过程中显着增加数据数量和外观变化已变得普遍。这使得可以确定给定的对象属于同一类别，即使对象根据拍摄方向、照明和背景等因素看起来完全不同。因此，人们的注意力集中在如何让人工智能成功地学习目标对象共有的基本特征，而不被大量数据中包含的各种外观所分散注意力。

一个类别内的出现分布实际上并不均匀。在同一类别内，存在多个子类别，这些子类别具有多种不同的外观趋势（多峰分布）。例如，在图1所示的“鸟类”类别中，存在不同倾向的同一只鸟的多组图像，例如“天空中飞翔的鸟”、“草原上的鸟”、“树上栖息的鸟”和“鸟头”。这些图像中的每一个都包含有关该对象的丰富信息。如果我们专注于基本特征，我们最终会丢弃图像包含的各种信息。因此，我们开发了一种算法，主动利用物体出现的各种方式的信息，以提高AI识别多模态分布图像的能力，这对AI来说是困难的。为了持续捕获特征的分布，我们将分类模型的权重向量（传统上只是一维向量）扩展为二维正交矩阵。这允许权重矩阵的每个元素代表图像的变化（不同的背景颜色、物体方向等）。
作为在基准数据集上进行的实验^*1的结果，该方法表明可以识别一组特征的边缘，这些特征应该允许人工智能对同一对象进行分类（星号表示“通过这种方法捕获的“鸟”类别）如图1所示，通过引入一个分类器，可以连续捕获包含在极其多样化的看起来像“鸟”的类别中的图像特征。
结果，如图 2 所示，即使对于“公共汽车”和“有轨电车”等外观接近且难以单独分类的类别，我们的算法也能够找到属于同一类别的图像而不会混淆其他看起来相似的车辆。
由于算法简单，将其添加到通用的基于深度学习的图像识别模型（ResNet-50）中时，实际使用（10类）时内存增加仅为0.1%左右。预计只需少量增加内存使用量即可提高识别准确性和可解释性。

图1显示了使用该方法的图像分类结果以及能够表达图像变化的权重矩阵。对于左图中绿色显示的“鸟类”类别，与AI模型权重矩阵的每个组成部分相似的图像被识别并在右图中以不同颜色显示。从顶部开始，权重向量的每一行代表类别中的多峰峰值对应的元素：飞鸟、草原鸟、树鸟和鸟头。由此可以说，分类模型已成功训练以捕获同一鸟类类别的不同变化。（引自已接受论文© 2024 IEEE）

图2显示了传统方法DNC ^*3（左）和提出的方法（右）在查询同一类别图像的任务中的识别结果。第一行是公交车图像的查询任务，第二行是火车的查询任务，第三行是有轨电车的查询任务。虽然传统方法能够找到外观相似的其他车辆，但所提出的方法能够找到具有丰富外观的同一类别的图像。（引自已接受论文© 2024 IEEE）

未来展望：

这种方法可以进行图像识别，平滑地捕捉以各种方式出现的同一物体的特征，这是传统人工智能难以完成的事情。预计这将做出贡献，特别是在具有多种视角的站点需要高级图像理解的情况下，例如与移动性、制造和机器人技术相关的站点。
松下HD将继续加速AI技术的社会落地，推动AI技术的研发，为客户的日常生活和工作提供帮助。

*1 图像识别基准数据集CIFAR-10/100、ImageNet的分类任务。

*2 整个集团组织了一个内部研究小组，通过培养能够快速部署尖端技术并创造价值的顶尖人力资源，领导松下集团的尖端人工智能研究和开发。在立命馆大学教授、松下HD员工谷口忠宏教授和中部大学山下隆吉教授的指导下，从年轻人到专家的众多成员接受了顶级会议竞争的挑战，并发表了许多论文被接受。

*3 Wang, W.、Han, C.、Zhou, T. 和 Liu, D.：具有深度最近质心的视觉识别，第十一届学习表示国际会议（2023 年）。

接受的论文：

https://openaccess.thecvf.com/content/WACV2024/html/Goto_Learning_Intra-Class_Multimodal_Distributions_With_Orthonormal_Matrices_WACV_2024_paper.html
这项研究是松下高清技术部门的 Junpei Goto、Yohei Nakata、Kiyofumi Abe 和 Yasunori Ishii 以及中部大学教授 Takayoshi Yamashita 合作的成果，是在松下 HD 技术部门的专家指导下进行的。集团的人工智能专家培训计划名为REAL-AI。