Apr 03, 2025
- 公司
- 新闻稿
- 研发
日本大阪- 松下控股 (Panasonic HD) 与加州大学伯克利分校 (UC Berkeley)、北京大学和卡内基梅隆大学的研究人员共同开发了一种“Split-Ensemble”方法，可以有效提高不确定性估计和分布外 (OOD) 检测性能。实验表明，与传统方法相比，Split-Ensemble 更有效。
人工智能的可靠性正变得越来越重要。特别是，人工智能无法对其“未知”数据空间做出判断的问题，根据用例的不同，可能会导致致命的风险。为了解决这个问题，我们开发了“Split-Ensemble”，将人工智能要解决的任务划分为多个对相似对象进行分类的子任务，并在互补的子任务中从多个角度创建“未知数据”，从而有效地获得区分未知数据的能力。
“Split-Ensemble”已被第 41 届国际机器学习会议（ICML 2024）接受（接受率 27.5%），并将在 2024 年 7 月 21 日至 7 月 27 日在奥地利维也纳举行的会议上进行展示。
概述：
最近，图像识别和检测 AI 在广泛领域支持人类决策。另一方面，AI 无法正确处理未知数据和情况，即 AI 未学习的分布外 (OOD) 数据，这会导致误判的风险，并且在许多用例中，其影响可能是致命的，例如在自动驾驶中。此外，最近，由于缺乏 OOD 检测能力而导致的幻觉* 1甚至在大型语言模型 (LLM) 中也成为一个问题，需要采取适当的措施来解决 OOD。
在处理 OOD 时，传统方法需要准备外部数据以将其训练为 OOD，这会产生额外的计算成本。相比之下，Split-Ensemble 允许您使用仅从现有数据集创建的多个子模型来处理 OOD。具体来说，我们准备多个子任务来区分相似对象，并训练多个子模型来解决每个任务（图 1）。在子任务中，架构是这样的，一些数据被视为分布内数据 (ID)，其余数据被训练为分布外数据 (OOD)。例如，通过设置“海狸、水獭、海狮和其他一切 (OOD)”和“枫树、橡树、松树和其他一切 (OOD)”等类别，AI 可以学习如何区分相似类别以及如何区分 OOD 类别（图 2）。
图1：Split-Ensemble示意图（引自已接受的论文）
图 2：解释子任务划分的图表（摘自已接受的论文）
为了解决原始任务，需要在多个子任务上训练子模型并集成它们的输出，但随着要训练的模型数量的增加，所需的计算量也会增加，即使是小规模的模型也是如此。因此，在本研究中，我们通过使用子模型之间共享主干和修剪模型等技术来抑制计算量的增加。
当我们使用基准数据集（CIFAR-10、CIFAR100）验证该方法的有效性时，结果表明，与传统方法* 2相比，Split-Ensemble 可以以四分之一的计算成本区分 OOD。除了高性能之外，无需准备和训练单独的 OOD 数据这一事实也是开发过程中的一大优势。
未来展望：
Split-Ensemble 是一种能够以传统方法四分之一的计算成本处理 OOD 的方法，预计在需要解决 OOD 挑战的各种情况下都会派上用场。该方法最大的影响在于其独特的架构提高了深度学习模型的 OOD 检测能力。在这项工作中，我们在 ImageNet 数据集等相对小规模的任务上对其进行了评估，但我们相信，将这种方法应用于大规模 LLM 将在未来实现幻觉的抑制。
松下高清将继续加速人工智能的社会化落地，推动有助于客户日常生活和工作的人工智能技术的研发。
关于研究：
“Split-Ensemble：通过任务和模型拆分实现高效的 OOD 感知集成”
https://arxiv.org/abs/2312.09148
该技术是在加州大学伯克利分校牵头的 BAIR Open Research Commons* 3框架内开发的，是松下美国研发中心的 Denis Gudovskiy 以及松下高清技术总部的 Tomoyuki Okuno 和 Yohei Nakata 参与研究的成果。
此外，在上述BAIR开放研究共享框架内，松下HD与加州大学伯克利分校、ITALAI SRL和罗马大学研究人员的合作研究论文也被接受参加ICML 2024。该论文针对领域转换下的语义分割任务，提出了一种主动学习方法，仅用1%的标签就能超越监督领域自适应的性能，加速AI在该领域的部署。
“领域转移下语义分割的双曲线主动学习”
https://arxiv.org/abs/2306.11180
此外，以下论文是松下 HD 与加州大学伯克利分校、南京大学和北京大学研究人员的合作研究，已被接受参加与 ICML 2024 一起举办的 ICML'24 先进神经网络训练 (WANT) 研讨会：计算效率、可扩展性和资源优化。该论文提出了一种新方法，用于在通过模型量化减少模型权重时优先防止特别重要的类别（人、汽车等）的准确度下降，这些类别在论文中被称为“任务关键型”。
“具有关键类别目标的 DETR 检测器的 Fisher 感知量化”
https://arxiv.org/abs/2407.03442
笔记：
*1：人工智能大胆给出无法用其所学数据证明的答案的问题
*2：Naïve Ensemble
*3：为世界顶级研究人员提供跨越产学界界限公开合作的 AI 研究机构。截至 2024 年 7 月，已有 10 家公司参与，其中包括 Panasonic HD、Google 和 Meta。
相关信息：
- ICML 2024
https://icml.cc/Conferences/2024 - 松下 × AI 网站
https://tech-ai.panasonic.com/en/
|
关于松下集团 松下集团成立于 1918 年，如今已成为全球领先的创新技术和解决方案提供商，为全球消费电子、住宅、汽车、工业、通信和能源领域提供广泛的应用。2022 年 4 月 1 日，松下集团改组为事业公司系统，松下控股株式会社作为控股公司，旗下有八家公司。截至 2024 年 3 月 31 日，集团报告的综合净销售额为 84964 亿日元。如需了解有关松下集团的更多信息，请访问：https://holdings.panasonic/global/ |
本网站内容在发布时准确无误，但可能随时更改，恕不另行通知。
因此请注意，这些文档可能并不总是包含最新信息。
请注意，德语、法语和中文版本均为机器翻译，因此质量和准确性可能有所不同。
精选新闻
