Panasonic Holdings entwickelt Technologie zur Winkelschätzung von Fischaugenkameras mit Posenschätzung, die genaue Positionierung und Navigation in physischen Räumen unterstützt

Osaka, Japan–Panasonic Holdings Corporation (Panasonic Holdings) hat eine neuartige Kamerakalibrierungsmethode entwickelt, die aus einem Fischaugenbild präzise und zuverlässige Kamerawinkel berechnet. Diese Winkel sind für die Positionierung und Navigation im physischen Raum unerlässlich.

Eine genaue Schätzung der Fahrtrichtung, die bei der Positionierung und Navigation in physischen Räumen hilft, ermöglicht autonomes Fahren für Autos, Drohnen und Roboter. Spezielle Messsysteme wie Gyroskope werden im Allgemeinen als Zusatzgeräte an Kameras angebracht. Um jedoch die Größe zu reduzieren, Gewicht zu sparen und Kosten zu senken, ist eine Technologie erforderlich, die die Fahrtrichtungen nur anhand von Bildaufnahmen genau schätzt. Um das Problem der Winkelschätzung aufgrund der Linsenverzerrung von Fischaugenkameras zu lösen, hat Panasonic Holdings eine Methode entwickelt, die für Anwendungen wie umfassende Überwachung und Hinderniserkennung konzipiert ist. Insbesondere kann diese genaue und robuste Methode auf Basis der Posenschätzung drastisch verzerrte Bilder unter der sogenannten „Manhattan-Weltannahme“ verarbeiten; der Annahme, dass Gebäude, Straßen und andere von Menschenhand geschaffene Objekte normalerweise im rechten Winkel zueinander stehen. Da die Methode anhand eines einzigen allgemeinen Bilds einer Stadtszene kalibriert werden kann, kann sie auf bewegte Körper wie Autos, Drohnen und Roboter angewendet werden.

Die Technologie wird auf der Hauptkonferenz der IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung (CVPR) 2024 als Forschungsergebnis des REAL-AI ^*1-Programms zur Entwicklung von Spitzenpersonal in der Panasonic-Gruppe vorgestellt. Die Konferenz findet vom 17. bis 21. Juni 2024 in Seattle, Washington, USA, statt. Diese Konferenz ist eine der wichtigsten internationalen Konferenzen zu KI und Computer Vision.

Panasonic Holdings möchte durch Forschung und Entwicklung von KI-Technologien, die die gesellschaftliche Umsetzung beschleunigen, und durch die Ausbildung der besten KI-Forscher dazu beitragen, das Leben und die Arbeit der Kunden zu verbessern.

Überblick:

Abbildung 1: Die qualitativen Ergebnisse von VPs, ADPs und Heatmaps mit der neuen Methode. Der rote Kreis und das grüne Kreuz sind jeweils Grundwahrheit und Schätzung der Bildkoordinaten von VPs. Der magentafarbene Kreis und das cyanfarbene Kreuz sind jeweils Grundwahrheit und Schätzung der Bildkoordinaten von ADPs. Heatmaps sind für höhere bzw. niedrigere Wahrscheinlichkeit rot und blau gefärbt. (Auf diese Abbildung wird im akzeptierten Papier von Panasonic Holdings verwiesen. © 2024 IEEE)

Die bildbasierte Schätzung des Kamerawinkels ist für eine genaue Positionierung und Navigation mit kostengünstigen Miniaturgeräten für Autos, Drohnen und Roboter wünschenswert. Bilder von Stadtszenen, die viele Objekte enthalten, verhindern jedoch, dass Kalibrierungsmethoden Boden- und vertikale Richtungen zur Schätzung des Kamerawinkels berücksichtigen. Die Schätzung von Kamerawinkeln aus einem einzelnen Bild ist selbst unter der Annahme einer Manhattan-Welt schwierig. Herkömmliche Kalibrierungsmethoden schätzten Kamerawinkel basierend auf vielen Fluchtpunkten (VPs), die im Unendlichen spezifisch erscheinen. Fluchtpunkte haben sechs Richtungen, beide Enden der X-, Y- und Z-Achsen, entlang dreidimensionaler orthogonaler Achsen. Zusätzlich zu diesen VPs schlägt die Methode acht weitere Punkte vor, sogenannte Hilfsdiagonalpunkte (ADPs), die entweder 45° oder −45° von jeder Achse der X-, Y- und Z-Achsen entfernt sind. Diese ADPs verbessern die Genauigkeit und Robustheit der Kamerawinkelschätzung, da die Informationen für das KI-Training durch ADPs erhöht werden, die als dasselbe wie VPs angesehen werden können.

Darüber hinaus verwendet die vorgeschlagene Methode Heatmaps, um VPs in Szenen mit wenigen künstlichen Objekten robust zu schätzen, während herkömmliche Methoden Bogenerkennung verwenden. Diese Heatmap wird häufig für genaue und robuste Schätzungen bei Computer Vision-Aufgaben verwendet, insbesondere bei der Posenschätzung und Skeletterkennung. Anhand von Heatmaps schätzen die vorgeschlagenen neuronalen Netzwerke die Wahrscheinlichkeit von VPs in jedem Pixel, um die VP-Bildkoordinaten basierend auf Bereichen mit einer hohen Wahrscheinlichkeit, VPs zu sein, zu bestimmen. Im Gegensatz dazu schätzen herkömmliche Methoden diese VP-Koordinaten direkt. Die Ergebnisse der vorgeschlagenen Methode unter Verwendung von Heatmaps zeigen, dass VPs und ADPs in Abbildung 1 genau erkannt wurden. Die endgültigen Kamerawinkel werden auf der Grundlage von Kombinationen aus VPs, ADPs und Linsenverzerrung eingeführt. Diese Linsenverzerrung wird mithilfe einer 2022 vorgestellten Technologie geschätzt ^*2.

Abbildung 2 zeigt die qualitativen Ergebnisse, die mit den synthetischen Fischaugenbildern aus Panoramabilddatensätzen erzielt wurden. Vertikale und horizontale Referenzlinien werden angezeigt, um Rotationen und Verzerrungen zu visualisieren. Die Ergebnisse der herkömmlichen Methode wiesen geneigte Referenzlinien gegenüber dem Ground-Truth-Kreuz in Abbildung 2(a) auf, was erhebliche Winkel- und Linsenverzerrungsfehler zum Ausdruck brachte. Im Gegensatz dazu erreichte die neue Methode von Panasonic Holdings eine genaue Winkelschätzung, was das Kreuz der Cyan-Linie und der Magenta- oder Gelb-Linien in Abbildung 2(b) zeigt.

Die Methode kann problematische Bedingungen angehen, bei denen Stadtbilder nur wenige künstliche Objekte enthalten. Insbesondere schätzt diese Methode den Winkel von Stadtbildern, in denen Straßenbäume die Bilder dominieren, genau ab. Versuchsergebnisse zeigten die Wirksamkeit der vorgeschlagenen Methode bei großen Datensätzen und mit handelsüblichen Kameras mit der weltweit höchsten Genauigkeit ^*3.

Abbildung 2: Qualitative Ergebnisse der Wiederherstellung von Rotation und Verzerrung in synthetischen Datensätzen. (a) Von links nach rechts: Eingabebilder, Grundwahrheit und fünf herkömmliche Methoden. (b) Von links nach rechts: Eingabebilder, Grundwahrheit und die entwickelte Methode. Cyanfarbene Linien zeigen 0°-horizontale Richtungen an. Magentafarbene und gelbe Linien zeigen ±90°-vertikale Richtungen an. (Auf diese Abbildung wird im akzeptierten Papier von Panasonic Holdings verwiesen. © 2024 IEEE)

Zukunftsausblick:

Mithilfe von Pose-Estimation-Netzwerken kann diese neue Methode Winkel aus einem einzelnen Bild genau und zuverlässig schätzen, selbst wenn die Bilder durch bestimmte Linsen stark verzerrt sind. Diese Methode wird insbesondere bei Anwendungen mit bewegten Körpern wie Autos, Drohnen und Robotern zur Positionierung und Navigation hilfreich sein, da in diesen Bereichen genaue Bewegungsrichtungen mit geringem Aufwand geschätzt werden müssen.

Note:

*1: Eine unternehmensinterne Gruppe entwickelt Spitzenpersonal, um die fortschrittliche KI-Forschung und -Entwicklung der Panasonic-Gruppe zu leiten. Dies geschieht durch die Entwicklung von Spitzenpersonal für Wertschöpfung und schnelle Geschäftsentwicklung mit fortschrittlichen Technologien unter der Aufsicht von zwei Professoren: Prof. Tadahiro Taniguchi ist Professor an der Universität Kyoto und Gastprofessor an der Ritsumeikan-Universität; Prof. Takayoshi Yamashita ist Professor an der Chubu-Universität. Junge und erfahrene Forscher fordern Spitzenkonferenzen heraus, und viele Forschungsarbeiten wurden auf diesen Konferenzen angenommen.

*2: N. Wakai, S. Sato, Y. Ishii und T. Yamashita. Neuüberlegung generischer Kameramodelle für die tiefe Einzelbildkamerakalibrierung zur Wiederherstellung von Rotation und Fischaugenverzerrung. In Proceedings of the European Conference on Computer Vision, Band 13678, Seiten 679-698, 2022.
https://doi.org/10.1007/978-3-031-19797-0_39

*3: Stand 5. Juni 2024, durch unternehmensinterne Untersuchung, hinsichtlich der Genauigkeit der Kamerakalibrierung bei Methoden, die ein allgemeines Szenenbild verwenden, um Schwenk-, Neigungs- und Rollwinkel in einer Manhattan-Welt zu schätzen.

Über die Forschung:

„Tiefgehende Einzelbildkamerakalibrierung durch Heatmap-Regression zur Wiederherstellung von Fisheye-Bildern unter der Manhattan-Weltannahme“ https://arxiv.org/abs/2303.17166
Diese Forschung wird von Dr. Nobuhiko Wakai, Plattformabteilung, Panasonic Holdings, Satoshi Sato und Yasunori Ishii, Technologieabteilung, Panasonic Holdings, in Zusammenarbeit mit Prof. Takayoshi Yamashita, Chubu University, durchgeführt.

Zugehörige Informationen:

CVPR2024 Offizielle
https://cvpr.thecvf.com/Conferences/2024
Panasonic × AI Website
https://tech-ai.panasonic.com/en/

Über die Panasonic-Gruppe

Die 1918 gegründete Panasonic Group ist heute ein weltweit führendes Unternehmen in der Entwicklung innovativer Technologien und Lösungen für vielfältige Anwendungen in den Bereichen Unterhaltungselektronik, Wohnen, Automobil, Industrie, Kommunikation und Energie. Am 1. April 2022 wechselte sie zu einem Betriebsgesellschaft mit Panasonic Holdings Corporation als Holding und acht Unternehmen unter ihrem Dach. Die Gruppe erzielte für das am 31. März 2024 endende Geschäftsjahr einen konsolidierten Nettoumsatz von 8.496,4 Milliarden Yen. Weitere Informationen zur Panasonic Group finden Sie unter: https://holdings.panasonic/global/

スクロールできます

Der Inhalt dieser Website ist zum Zeitpunkt der Veröffentlichung korrekt, kann jedoch ohne vorherige Ankündigung geändert werden.
Bitte beachten Sie daher, dass diese Dokumente möglicherweise nicht immer die aktuellsten Informationen enthalten.
Bitte beachten Sie, dass es sich bei der deutschen, französischen und chinesischen Version um maschinelle Übersetzungen handelt, sodass Qualität und Genauigkeit variieren können.