Panasonic entwickelt hyperspektrale Bildgebungstechnologie mit der weltweit höchsten ^*1 Empfindlichkeit

Osaka, Japan–Panasonic Holdings Corporation gab heute bekannt, dass sie durch den Einsatz einer Compressed-Sensing-Technologie ^*3, die in der Medizin und der Weltraumforschung eingesetzt wird, die weltweit höchste Empfindlichkeit ^*1 in der hyperspektralen Bildgebungstechnologie ^*2 erreicht hat. Diese Technologie ermöglicht die Erkennung feinster Farbunterschiede – kleine Unterschiede, die mit bloßem Auge kaum zu erkennen sind – und behält dabei die Nutzbarkeit einer herkömmlichen Farbkamera ^*4 bei. Zudem verbessert sie die Bildanalyse und -erkennungsgenauigkeit. Als weltweit erste Demonstration einer derart effizienten hyperspektralen Bildgebung wurde sie am 23. Januar 2023 in der Online-Ausgabe des britischen Wissenschaftsjournals Nature Photonics unter gemeinsamem Namen mit dem belgischen Forschungsinstitut imec veröffentlicht.

Mit der Entwicklung der Bilderkennungstechnologie erweitert sich die Anwendung der maschinellen Bildverarbeitung, einschließlich der industriellen Nutzung von Bilddaten für Effizienz, Arbeitseinsparung und Energieeinsparung. Da maschinelles Sehen Bilder auf einem Computer erkennt, können Informationen, die der Mensch nicht wahrnehmen kann, wie z. B. kontinuierliche Farbänderungen (Spektralinformationen), für Analysen verwendet werden. Bilder mit spektralen Informationen, sogenannte Hyperspektralbilder, sollen eine Rolle bei der Erweiterung der Anwendungsfelder der Bildverarbeitung spielen.

Bei der herkömmlichen hyperspektralen Bildgebung wurden optische Elemente wie Prismen und Filter verwendet, die selektiv Licht einer bestimmten Farbe (dh Wellenlänge) durchlassen. Da diese Verfahren jedoch Licht in jeder Wellenlänge separat detektieren, gibt es eine physikalische Einschränkung dahingehend, dass die Lichtnutzungseffizienz (dh die Empfindlichkeit) umgekehrt proportional zur Anzahl der Wellenlängen abnimmt. Daher war zum Aufnehmen eine Beleuchtung mit einer Helligkeit erforderlich, die mit der im Freien an einem sonnigen Tag (Beleuchtungsstärke von 10.000 Lux oder mehr) vergleichbar war, was die Verwendbarkeit und Vielseitigkeit verringert.

Die neu entwickelte hyperspektrale Bildgebungstechnologie verwendet eine komprimierte Abtastung, die Beobachtungsdaten effizient erfasst, indem Daten „ausgedünnt“ und rekonstruiert werden, um die Daten so wiederherzustellen, wie sie vor der Ausdünnung durch Bildnachbearbeitung waren. Die Compressed-Sensing-Technologie wird auch bei MRT-Untersuchungen im medizinischen Bereich sowie bei der Beobachtung von Schwarzen Löchern eingesetzt. Ein spezieller Filter, der mehrere Lichtwellenlängen durchlässt, um Daten entsprechend auszudünnen, ist auf einem Bildsensor implementiert (Abb. 1), und die Bildrekonstruktion wird durch einen einzigartig optimierten Algorithmus für die digitale Bildverarbeitung durchgeführt. Indem ein Teil der Farbtrennungsfunktionen der Software überlassen wurde, hat Panasonic Holdings den Kompromiss zwischen der Anzahl der Wellenlängen und der Empfindlichkeit, dem grundlegenden Problem herkömmlicher Technologie, überwunden. Dieser Ansatz hat es ermöglicht, hyperspektrale Bilder mit der weltweit höchsten Empfindlichkeit (Abb. 2) und Videos (Abb. 3) unter Innenbeleuchtung (550 Lux) aufzunehmen.

Unter Nutzung der entwickelten Technologie wird Panasonic Holdings mit unseren Partnern zusammenarbeiten, um neue spektrale Sensorlösungen anzubieten, einschließlich hochpräziser Bildanalyse und -erkennung, und um maschinelle Bildverarbeitungsanwendungen mit hochempfindlicher hyperspektraler Bildgebungstechnologie zu erweitern.

Bei der herkömmlichen hyperspektralen Bildgebung werden optische Elemente wie Prismen und Filter, die selektiv Licht einer bestimmten Wellenlänge durchlassen, verwendet, um Licht der Wellenlänge zu detektieren, die jedem Pixel des Bildsensors zugeordnet ist. Diese Verfahren weisen jedoch die physikalische Beschränkung auf, dass Licht der nicht zugewiesenen Wellenlänge im Hinblick auf die Signalerfassung an jedem Pixel nicht erfasst wird, und die Empfindlichkeit umgekehrt proportional zur Anzahl der Wellenlängen abnimmt.

Daher hat Panasonic Holdings einen speziellen Filter entwickelt, der eine Struktur mit verteiltem Bragg-Reflektor ^*6 (DBR) verwendet, die die Wellennatur des Lichts nutzt, und ihn auf einem Bildsensor implementiert (Abb. 1a und 1b). Der spezielle Filter ist so ausgelegt, dass er einfallendes Licht durchlässt, wobei sich die Intensität für jedes Pixel und jede Wellenlänge zufällig ändert (Abb. 1c). Das Ausdünnen von Daten entspricht einer Änderung der Intensität für jedes Pixel und jede Wellenlänge. Die Datenvorausdünnung kann nach dem Datenrekonstruktionsprozess erhalten werden, solange die Daten mit Ausdünnung auf geeignete Weise erfasst werden. In der neu entwickelten Technologie von Panasonic wird die Farbseparation teilweise im Rekonstruktionsprozess der Software durchgeführt, und somit kann die physikalische Einschränkung der Empfindlichkeit, die ein grundlegendes Problem bei der konventionellen hyperspektralen Bildgebung war, überwunden werden.

Die Verbesserung der Empfindlichkeit kann durch Verwendung des Spezialfilters erreicht werden, da mehrere Lichtwellenlängen durchgelassen und erfasst werden. Speziell ein entwickelter Spezialfilter lässt etwa 45 % des einfallenden Lichts durch. Diese Empfindlichkeit ist etwa zehnmal höher als bei herkömmlicher Technologie (Lichtnutzungseffizienz weniger als 5 %) und damit die weltweit höchste Empfindlichkeit der hyperspektralen Bildgebung. So lassen sich beispielsweise die Objekte bei Raumbeleuchtung (550 Lux) mit der entwickelten Technologie gut erfassen (Abb. 2a), während sie mit der herkömmlichen nur schwer zu erkennen sind (Abb. 2b). Die entwickelte hyperspektrale Bildgebungstechnologie ermöglicht klare Aufnahmen ohne extrem helle Beleuchtung (mehr als 10.000 Lux), die bei herkömmlicher hyperspektraler Bildgebung erforderlich war.

Die hyperspektrale Bildgebung wird experimentell unter Verwendung des entwickelten speziellen Filter- und Rekonstruktionsprozesses in der Software erreicht, wobei der Wellenlängenbereich von 450 nm bis 650 nm reicht und in 20 Wellenlängen unterteilt ist. Wie in einem Beispiel anhand von Farbmustern gezeigt (Abb. 2c), werden die spektralen Informationen durch eine genaue Farbseparation auf der Grundlage einer geeigneten Datenausdünnung durch den speziellen Filter korrekt erhalten. Eine genauere Bildanalyse und -erkennung wird durch die Verwendung von 20-Wellenlängen-Spektralinformationen ermöglicht, die viel reichhaltiger sind als die mit bloßem Auge sichtbaren und Farbkameras, die drei Farben (Rot, Grün und Blau) erkennen können.

Herkömmliche hyperspektrale Bildgebungstechniken haben aufgrund einer niedrigen Bildrate, die von einer geringen Empfindlichkeit herrührt, unter schlechter Verwendbarkeit gelitten. Die niedrige Bildrate verschlechtert die Verwendbarkeit erheblich, da die Bilder Bild für Bild angezeigt werden, was es schwierig macht, Fokussierung und Ausrichtung durchzuführen.

Im Gegenteil, die entwickelte hyperspektrale Bildgebungstechnologie ermöglicht aufgrund der hohen Empfindlichkeit eine kurze Verschlusszeit. Hyperspektrale Bildgebung mit hoher Geschwindigkeit (mehr als 30 fps) wird durch die Verwendung eines einzigartig entwickelten Algorithmus erreicht, der eine schnelle Datenrekonstruktion ermöglicht. Bildraten von mehr als 30 fps werden von Menschen als flüssiger Film wahrgenommen, was die Fokussierung und Ausrichtung erleichtert.

1. Erkennung von weißlichen Tabletten
   Obwohl mit bloßem Auge schwer zu unterscheiden, haben weißliche Tabletten je nach enthaltenen Komponenten eine leicht unterschiedliche Farbe, die sich je nach Farbunterschied vom hyperspektralen Bild unterscheiden lässt. Abbildung 4a zeigt drei Arten von weißlichen Tabletten, die anhand von Hyperspektralbildern unterschieden werden.
2. Inspektion frischer Lebensmittel
   Die Inhaltsstoffe frischer Lebensmittel, beispielsweise der Zuckergehalt von Tomaten, korrelieren mit spektralen Informationen und können mit Hyperspektralbildern inspiziert werden (Abb. 4b). Die entwickelte Bildgebungstechnologie, die keine helle Beleuchtung erfordert, ist der Inspektion frischer Lebensmittel und Medikamente ohne Temperaturerhöhung vorzuziehen.
3. Prüfung auf Unebenheiten der Beschichtung
   Selbst kleinste Farbunterschiede, die mit bloßem Auge nicht sichtbar sind, können mithilfe von Hyperspektralbildern erkannt werden. Abbildung 4c zeigt ein Beispiel, in dem Farbunterschiede (ΔE ^*7) so klein wie ΔE = 0,4 und 1,0 unter Verwendung von Hyperspektralbildern erkennbar sind.

*1: Stand: 26. Januar 2023
*2: Die für jede Lichtwellenlänge erfassten Bilder werden als multispektrale Bilder bezeichnet, wenn die Anzahl der Wellenlängen vier oder mehr beträgt, und als hyperspektrale Bilder, wenn die Anzahl der Wellenlängen etwa 10 oder mehr beträgt.
*3: Ein Verfahren zum Erfassen reichhaltiger Signale durch Rekonstruieren beobachteter Daten einer kleineren Anzahl von Signalen. Diese Methode nutzt die grundlegende Eigenschaft (Spärlichkeit), dass die beobachteten Daten in einer bestimmten Dimension (z. B. Frequenzraum) eine verzerrte Verteilung aufweisen. Es wurde in der MRI-Technologie und kürzlich zur Beobachtung von Schwarzen Löchern angewendet.
*4: Eine Kamera mit drei Filtertypen, Rot, Grün und Blau, die auf einem Bildsensor montiert sind, um Farben als Verhältnis der drei Farben darzustellen. Digitalkameras und Smartphone-Kameras fallen meistens in diese Kategorie.
*5: Ein Index, der anzeigt, wie viele Bilder pro Sekunde in einem Video angezeigt werden, ausgedrückt in Einheiten von fps (Bilder pro Sekunde). Eine allgemeine Fernsehsendung wird mit 30 fps entwickelt (in Japan).
*6: Eine periodisch angeordnete Struktur, die Medien enthält (Dicke d, Brechungsindex n), so dass d = λ/4n, wobei λ die Wellenlänge des Lichts ist. Es kann das Reflexionsvermögen von Licht bei der Wellenlänge λ steuern.
*7: Ein Index, der den Unterschied zwischen zwei Farben quantitativ angibt. Im Allgemeinen kann, wenn ΔE ≤ 1,0 ist, der Unterschied mit bloßem Auge nicht erkannt werden, selbst wenn die zwei Farben Seite an Seite verglichen werden.

Panasonic Holdings Corporation, Technology Division, Public Relations Section
Email: crdpress@ml.jp.panasonic.com