Panasonic HD entwickelt KI-Technologie zur Verarbeitung kontextspezifischen Wissens, das bisher eine Einschränkung der flussbasierten generativen Modelle darstellte

Osaka, Japan– Panasonic R&D Company of America (PRDCA) und Panasonic Holdings Co., Ltd. (Panasonic HD) haben ein flussbasiertes generatives KI-Modell entwickelt, das auch Kontextinformationen wie zusätzliche Benutzer- oder Geräteinformationen verarbeiten kann und dabei eine Leistung erreicht, die bei Benchmarks wie der Fehlervorhersage herkömmliche Methoden ^*2 übertrifft.

Da die Anforderungen an die Interpretierbarkeit von generativen KI-Modellen steigen, gewinnen flussbasierte generative Modelle an Aufmerksamkeit. Flussbasierte generative Modelle unterscheiden sich von anderen tiefen generativen Modellen dadurch, dass sie geschichtete bijektive Transformationen zwischen einer Zieldatenverteilung und einer Basisverteilung unter Verwendung gelernter Parameter implementieren, wodurch sie hinsichtlich der Eingabe, auf der die Ausgabedaten basieren, leichter zu interpretieren sind. Andererseits erschwert ihre bijektive Eigenschaft das Trainieren vorhandener Modelle mit dem zusätzlichen kontextspezifischen Wissen, was in praktischen Anwendungen eine Herausforderung darstellt. Um dieses Problem zu lösen, haben wir ein neues flussbasiertes generatives Modell entwickelt, ContextFlow++, das mithilfe der additiven Operation bestehenden Modellen Kontextinformationen hinzufügen kann, während die Bijektionseigenschaft erhalten bleibt.

Diese Technologie wurde international als fortschrittlich anerkannt und zur UAI 2024 (The Conference on Uncertainty in Artificial Intelligence) zugelassen, einer hochkarätigen Konferenz zu KI- und maschinellen Lerntechnologien. Die Ergebnisse werden auf der Konferenz präsentiert, die vom 15. bis 19. Juli 2024 in Barcelona, Spanien, stattfindet.

Überblick:

Abbildung 1: ContextFlow++-Architektur. Zunächst lernen der Datenencoder und -decoder allgemeines Wissen im großen Maßstab ohne Kontextinformationen. Anschließend lernen der Kontextencoder und der erweiterte Decoder die Kontextinformationen im kleinen Maßstab. Beim Decoder bleiben die vorab trainierten Parameter unverändert und nur die kontextbezogenen Parameter werden aktualisiert.

Panasonic HD und PRDCA arbeiten an der Erforschung der Interpretierbarkeit von KI. In den letzten Jahren haben wir uns auf flussbasierte generative Modelle konzentriert, und seit der Ankündigung von FlowEneDet ^*3 im Jahr 2023 arbeiten wir daran, die Leistung zu verbessern und die Anwendungsfälle zu erweitern. Flussbasierte generative Modelle werden häufig in Anwendungen eingesetzt, bei denen die genaue Dichteschätzung von großer Bedeutung ist, und ihre Interpretierbarkeit ist sehr wichtig, wenn KI-Modelle auf eine breite Palette von Anwendungen angewendet werden, wie z. B. Bildgenerierung und Anomalieerkennung.
Andererseits ist es im Bereich der KI-Nutzung üblich, das Generalistenwissen eines im großen Maßstab vortrainierten Modells als Basis zu verwenden, um durch zusätzliches Lernen im kleinen Maßstab schnell und kostengünstig Kontexte (Fachwissen) zu erlernen.
Der Vorteil der Bijektionseigenschaft in flussbasierten generativen Modellen kann jedoch ein Hindernis sein, da es äußerst schwierig ist, ein vorab trainiertes Modell mit zusätzlichem Fachwissen zu trainieren, und diskrete Variablen (wie kategoriale Daten) schwierig zu handhaben sind.
Daher haben wir mit ContextFlow++ einen neuen Ansatz entwickelt, der die Vorteile flussbasierter generativer Modelle nutzt, die durch ihre hohe Interpretierbarkeit die Zuverlässigkeit der KI erhöhen und gleichzeitig die Einschränkungen überwinden können, die ihre praktische Anwendung bislang verhindert haben.

Zunächst haben wir einen neuen Algorithmus entwickelt, der das im vorab trainierten Modell enthaltene Wissen explizit von kontextspezifischem Expertenwissen (Kontextinformationen) trennen kann, während die bijektive Transformation erhalten bleibt. Dadurch ist es möglich, kontextbasiertes Wissen flexibler und genauer zu modellieren, was mit herkömmlichen flussbasierten generativen Modellen schwierig war. Darüber hinaus ist es durch die Einführung einer neuen Architektur für die Handhabung diskreter Variablen nun möglich, Datentypen zu verarbeiten, die mit herkömmlichen Methoden nicht verarbeitet werden konnten.

Abbildung 2: Ergebnisse der Klassifizierungsaufgaben im Benchmark-Datensatz für degradierte Bilder CIFAR-10C. Die Genauigkeitsrate wird für das generische Modell für CIFAR-10 (grün) angezeigt, das keine Bilddegradation aufweist, und für das generische Modell für CIFAR-10C (blau), die herkömmliche Methode (lila) und die vorgeschlagene Methode (rot). Die vorgeschlagene Methode erreichte nicht nur die höchste Genauigkeit im Vergleich zur herkömmlichen Methode (lila) und dem generischen Modell (blau), sondern konvergierte auch schneller.

ContextFlow++ ermöglicht es Ihnen, dem vorab trainierten Modellwissen „Kontext“ hinzuzufügen, sodass Sie das Modell mit Fachwissen erweitern können, ohne ein zeitaufwändiges Training eines Modells von Grund auf durchführen zu müssen. Da die Parameter des vorab trainierten Modells verarbeitet werden können, während sie während des Trainings unverändert bleiben, ist es außerdem möglich, zusätzlich Kontextinformationen, einschließlich diskreter Variablen, zu erlernen, ohne die Trainings- und Auswertungskosten erheblich zu erhöhen.

Die Leistung dieser Methode wurde anhand verschiedener Benchmark-Datensätze evaluiert, darunter die Bildklassifizierungsaufgaben MNIST-R ^*4 (Kontextinformationen: Rotation) und CIFAR-10C ^*5 (Kontextinformationen: Verschlechterungsart und -grad) sowie Sensordatenaufgaben wie vorausschauende Wartung von Geldautomaten ^*6 (Kontextinformationen: Geräte-ID) und SMAP-Benchmark zur unbeaufsichtigten Anomalieerkennung ^*7 (Kontextinformationen: Entitäts-ID). Die Ergebnisse zeigten, dass die Methode eine bessere Leistung erzielte als herkömmliche Methoden. Insbesondere als der ATM-Benchmark-Datensatz mit unausgewogenen Daten getestet wurde, bei denen das Gleichgewicht zwischen abnormalen und normalen Daten um das 100-fache erhöht wurde, um der realen Welt ähnlicher zu sein, war die Leistungsverschlechterung im Vergleich zu herkömmlichen Methoden begrenzt, was die einzigartige Robustheit einer Architektur demonstriert, die den Kontext berücksichtigt.

Zukunftsausblick:

Das neu entwickelte ContextFlow++ ist eine Technologie, die das flussbasierte generative Modell in ein Framework erweitert, das Kontextinformationen (z. B. Geräte-IDs) verarbeiten kann. Experimente mit überwachter Bildklassifizierung, vorausschauender Wartung und unbeaufsichtigter Anomalieerkennung zeigten die Vorteile von ContextFlow++. Es wird erwartet, dass diese Technologie in Bereichen wie Bildverarbeitung, Anomalieerkennung und Fehlervorhersage eingesetzt wird, insbesondere bei hochpräzisen Fehlervorhersagen, die sich an die Eigenschaften einzelner Geräte und individuelle Installationsbedingungen anpassen, bei denen Kontextinformationen ein wichtiger Faktor sind.

Panasonic HD wird die Implementierung von KI in der Gesellschaft weiterhin beschleunigen und die Forschung und Entwicklung von KI-Technologien fördern, die zur Verbesserung des Lebens und der Arbeitsplätze unserer Kunden beitragen.

Note:

*1: Der Grad der Klarheit über die Mechanismen und Prozesse, mit denen die KI Vorhersagen und Klassifizierungsergebnisse ableitet.

*2: You Lu und Bert Huang. Strukturiertes Output-Lernen mit bedingten generativen Flows. AAAI, 2020

*3: Bemühungen um verantwortungsvolle KI: Panasonic R&D Company of America und Panasonic Holdings Corporation haben KI-Technologie entwickelt, um das Problem der „Out-of-Distribution“-Falscherkennung zu lösen (28.07.2023) https://news.panasonic.com/global/press/en230728-2

*4: Ein Datensatz, der durch Anwenden einer zufälligen Bildrotation in diskreten Schritten von 360°/64 auf MNIST erstellt wurde, einem beliebten Datensatz für maschinelles Lernen.

*5: Dan Hendrycks und Thomas Dietterich. Benchmarking der Robustheit neuronaler Netzwerke gegenüber häufigen Beschädigungen und Störungen. In ICLR, 2019.

*6: Víctor Manuel Vargas, Riccardo Rosati, César HervásMartínez, Adriano Mancini, Luca Romeo und Pedro Antonio Gutiérrez. Ein hybrider Feature-Learning-Ansatz basierend auf Faltungskerneln zur ATM-Fehlervorhersage unter Verwendung von Ereignisprotokolldaten. Engineering Applications of Artificial Intelligence, 2023.

*7: Kyle Hundman, Valentino Constantinou, Christopher Laporte, Ian Colwell und Tom Soderstrom. Erkennen von Raumfahrzeuganomalien mithilfe von LSTMs und nichtparametrischer dynamischer Schwellenwertbildung. In SIGKDD, 2018.

Über die Forschung:

Beitrag „ContextFlow++: Generalistisch-spezialisierte flussbasierte generative Modelle
mit gemischt-variabler Kontextkodierung“ https://arxiv.org/abs/2406.00578
Diese Forschung ist das Ergebnis einer Zusammenarbeit zwischen Denis Gudovskiy vom Panasonic R&D Center of America und Tomoyuki Okuno und Yohei Nakata vom Panasonic HD Technology Headquarters.

Zugehörige Informationen:

Panasonic × AI Website
https://tech-ai.panasonic.com/en/

Über die Panasonic-Gruppe

Die 1918 gegründete Panasonic Group ist heute ein weltweit führendes Unternehmen in der Entwicklung innovativer Technologien und Lösungen für vielfältige Anwendungen in den Bereichen Unterhaltungselektronik, Wohnen, Automobil, Industrie, Kommunikation und Energie weltweit. Am 1. April 2022 wechselte sie zu einem Betriebsgesellschaft, wobei die Panasonic Holdings Corporation als Holdinggesellschaft fungiert und acht Unternehmen unter ihrem Dach positioniert sind. Die Gruppe meldete für das am 31. März 2024 endende Geschäftsjahr einen konsolidierten Nettoumsatz von 8.496,4 Milliarden Yen. Weitere Informationen zur Panasonic Group finden Sie unter: https://holdings.panasonic/global/

スクロールできます

Der Inhalt dieser Website ist zum Zeitpunkt der Veröffentlichung korrekt, kann jedoch ohne vorherige Ankündigung geändert werden.
Bitte beachten Sie daher, dass diese Dokumente möglicherweise nicht immer die aktuellsten Informationen enthalten.
Bitte beachten Sie, dass es sich bei der deutschen, französischen und chinesischen Version um maschinelle Übersetzungen handelt, sodass Qualität und Genauigkeit variieren können.