Panasonic HD développe une technologie d'IA capable de gérer des connaissances spécifiques au contexte, ce qui constituait auparavant une limitation des modèles génératifs basés sur les flux

Osaka, Japon- Panasonic R&D Company of America (PRDCA) et Panasonic Holdings Co., Ltd. (Panasonic HD) ont développé un modèle d'IA générative basé sur les flux qui peut également gérer des informations contextuelles telles que des informations supplémentaires sur un utilisateur ou un appareil, atteignant ainsi des performances qui dépasse les méthodes conventionnelles ^*2 dans des tests tels que la prédiction des pannes.

À mesure que la demande d’interprétabilité dans les modèles d’IA génératifs augmente, les modèles génératifs basés sur les flux attirent de plus en plus l’attention. Les modèles génératifs basés sur les flux diffèrent des autres modèles génératifs profonds en ce sens qu'ils implémentent des transformations bijectives en couches entre une distribution de données cible et une distribution de base à l'aide de paramètres appris, ce qui les rend plus faciles à interpréter en termes d'entrée sur laquelle les données de sortie sont basées. D’un autre côté, leur propriété bijective rend difficile la formation de modèles existants avec des connaissances supplémentaires spécifiques au contexte, ce qui pose un défi dans les applications pratiques. Pour résoudre ce problème, nous avons développé un nouveau modèle génératif basé sur les flux, ContextFlow++, qui peut ajouter des informations contextuelles aux modèles existants en utilisant l'opération additive tout en préservant la propriété de bijection.

Cette technologie a été reconnue internationalement comme étant avancée et a été acceptée à l'AUI 2024 (The Conference on Uncertainty in Artificial Intelligence), une conférence de premier plan sur les technologies d'IA et d'apprentissage automatique. Les résultats seront présentés lors de la conférence qui se tiendra à Barcelone, en Espagne, du 15 au 19 juillet 2024.

Aperçu:

Figure 1 : Architecture ContextFlow++. Premièrement, l'encodeur et le décodeur de données pré-apprennent des connaissances générales à grande échelle sans informations contextuelles. Ensuite, l'encodeur contextuel et le décodeur étendu apprennent les informations contextuelles à petite échelle. Au niveau du décodeur, les paramètres pré-entraînés restent fixes et seuls les paramètres liés au contexte sont mis à jour.

Panasonic HD et PRDCA travaillent sur des recherches sur l'interprétabilité de l'IA. Ces dernières années, nous nous sommes concentrés sur les modèles génératifs basés sur les flux et depuis l'annonce de FlowEneDet ^*3 en 2023, nous nous efforçons d'améliorer les performances et d'élargir les cas d'utilisation. Les modèles génératifs basés sur les flux ont été largement utilisés dans les applications où l'estimation exacte de la densité est d'une importance majeure, et leur interprétabilité est très importante lors de l'application des modèles d'IA à un large éventail d'applications, telles que la génération d'images et la détection d'anomalies.
D'autre part, dans le domaine de l'utilisation de l'IA, il est courant d'utiliser les connaissances généralistes d'un modèle pré-entraîné à grande échelle comme base pour apprendre des contextes (connaissances spécialisées) grâce à un apprentissage supplémentaire à petite échelle, rapidement et à moindre coût. faible coût.
Cependant, l'avantage de la propriété de bijection dans les modèles génératifs basés sur les flux peut constituer un obstacle, car il est extrêmement difficile de former un modèle pré-entraîné avec des connaissances spécialisées supplémentaires, et les variables discrètes (telles que les données catégorielles) sont difficiles à gérer.
Par conséquent, nous avons développé ContextFlow++ comme une nouvelle approche qui tire parti des avantages des modèles génératifs basés sur les flux, qui peuvent augmenter la fiabilité de l'IA grâce à leur grande interprétabilité, tout en surmontant les limitations qui ont empêché leur application pratique jusqu'à présent.

Premièrement, nous avons conçu un nouvel algorithme capable de séparer explicitement les connaissances contenues dans le modèle pré-entraîné des connaissances expertes spécifiques au contexte (informations contextuelles) tout en préservant la transformation bijective. Cela permet de modéliser les connaissances basées sur des contextes spécifiques de manière plus flexible et plus précise, ce qui était difficile à faire avec les modèles génératifs classiques basés sur les flux. De plus, en introduisant une nouvelle architecture de gestion des variables discrètes, il est désormais possible de gérer des types de données qui ne pourraient pas être traités par les méthodes conventionnelles.

Figure 2 : Résultats des tâches de classification sur l’ensemble de données de référence d’images dégradées CIFAR-10C. Le taux de précision est indiqué pour le modèle générique du CIFAR-10 (vert), qui ne présente aucune dégradation d'image, et pour le modèle générique du CIFAR-10C (bleu), la méthode conventionnelle (violet) et la méthode proposée (rouge). . La méthode proposée a non seulement atteint la plus grande précision par rapport à la méthode conventionnelle (violet) et au modèle générique (bleu), mais a également convergé plus rapidement.

ContextFlow++ vous permet d'ajouter du « contexte » aux connaissances du modèle pré-entraîné, vous permettant ainsi d'étendre le modèle avec des connaissances spécialisées sans la formation fastidieuse d'un modèle à partir de zéro. De plus, étant donné que les paramètres du modèle pré-entraîné peuvent être traités tout en restant fixes pendant la formation, il est possible d'apprendre en plus des informations contextuelles, notamment des variables discrètes, sans augmenter de manière significative les coûts de formation et d'évaluation.

Les performances de cette méthode ont été évaluées sur divers ensembles de données de référence, notamment les tâches de classification d'images MNIST-R ^*4 (informations contextuelles : rotation) et CIFAR-10C ^*5 (informations contextuelles : type et niveau de détérioration), ainsi que des tâches de données de capteurs telles que la maintenance prédictive ATM ^*6 (informations contextuelles : ID de l'appareil) et le test de détection d'anomalies non supervisées SMAP ^*7 (informations contextuelles : ID d'entité), et les résultats ont montré qu'il atteignait des performances qui surpassaient les méthodes conventionnelles. En particulier, lorsque l'ensemble de données de référence ATM a été testé à l'aide de données déséquilibrées dans lesquelles l'équilibre entre les données anormales et normales a été multiplié par 100 pour ressembler davantage au monde réel, la dégradation des performances a été limitée par rapport aux méthodes conventionnelles, démontrant la robustesse propre à une architecture qui prend en compte le contexte.

Perspectives d'avenir :

Le ContextFlow++ nouvellement développé est une technologie qui étend le modèle génératif basé sur les flux dans un cadre capable de gérer les informations contextuelles (par exemple, les identifiants des appareils), et des expériences avec la classification d'images supervisée, la maintenance prédictive et la détection d'anomalies non supervisées ont montré les avantages de ContextFlow++. Il est prévu que cette technologie soit appliquée dans des domaines tels que le traitement d'images, la détection d'anomalies et la prévision des pannes, en particulier pour une prévision des pannes très précise qui s'adapte aux caractéristiques des dispositifs individuels et aux conditions d'installation individuelles, où les informations contextuelles sont un facteur important. .

Panasonic HD continuera d'accélérer la mise en œuvre de l'IA dans la société et de promouvoir la recherche et le développement de technologies d'IA qui contribueront à améliorer la vie et les lieux de travail de nos clients.

Note:

*1 : la mesure dans laquelle les mécanismes et les processus par lesquels l'IA obtient des prédictions et des résultats de classification sont clairs.

*2 : Vous Lu et Bert Huang. Apprentissage de sortie structuré avec des flux génératifs conditionnels. AAAI, 2020

*3 : Efforts vers une IA responsable : Panasonic R&D Company of America et Panasonic Holdings Corporation ont développé une technologie d'IA pour traiter le problème de fausse détection « hors distribution » (28 juillet 2023) https://news.panasonic.com/global /press/fr230728-2

*4 : Un ensemble de données créé en appliquant une rotation aléatoire d'images par étapes discrètes de 360◦/64 au MNIST, un ensemble de données populaire pour l'apprentissage automatique.

*5 : Dan Hendrycks et Thomas Dietterich. Analyse comparative de la robustesse du réseau neuronal par rapport aux corruptions et perturbations courantes. Dans ICLR, 2019.

*6 : Víctor Manuel Vargas, Riccardo Rosati, César HervásMartínez, Adriano Mancini, Luca Romeo et Pedro Antonio Gutiérrez. Une approche hybride d'apprentissage des fonctionnalités basée sur des noyaux convolutifs pour la prédiction des pannes ATM à l'aide des données du journal d'événements. Applications d'ingénierie de l'intelligence artificielle, 2023.

*7 : Kyle Hundman, Valentino Constantinou, Christopher Laporte, Ian Colwell et Tom Soderstrom. Détection des anomalies des engins spatiaux à l'aide de LSTM et de seuillage dynamique non paramétrique. Dans SIGKDD, 2018.

À propos de la recherche :

Article « ContextFlow++ : Modèles génératifs basés sur les flux généralistes-spécialistes
avec codage de contexte à variables mixtes »https://arxiv.org/abs/2406.00578
Cette recherche est le résultat d'une collaboration entre Denis Gudovskiy du Panasonic R&D Center of America, et Tomoyuki Okuno et Yohei Nakata du siège social de Panasonic HD Technology.

Informations connexes :

Site Web Panasonic × IA
https://tech-ai.panasonic.com/en/

À propos du groupe Panasonic

Fondé en 1918 et aujourd'hui leader mondial dans le développement de technologies et de solutions innovantes pour une large gamme d'applications dans les secteurs de l'électronique grand public, du logement, de l'automobile, de l'industrie, des communications et de l'énergie à travers le monde, le groupe Panasonic est passé à un système société opérationnelle le 1er avril. , 2022 avec Panasonic Holdings Corporation faisant office de société holding et huit sociétés positionnées sous son égide. Le groupe a déclaré un chiffre d'affaires net consolidé de 8 496,4 milliards de yens pour l'exercice clos le 31 mars 2024. Pour en savoir plus sur le groupe Panasonic, veuillez visiter : https://holdings.panasonic/global/

スクロールできます

Le contenu de ce site Web est exact au moment de la publication mais peut être sujet à changement sans préavis.
Veuillez donc noter que ces documents ne contiennent pas toujours les informations les plus récentes.
Veuillez noter que les versions allemande, française et chinoise sont des traductions automatiques, de sorte que la qualité et la précision peuvent varier.