松下开发出具有世界最高^*1灵敏度的高光谱成像技术

日本大阪——松下控股株式会社今天宣布，通过应用压缩感知技术^*​ ​³，开发出世界上灵敏度最高的高光谱成像技术^*2。该技术在保持传统彩色相机^* 4的可用性的同时，能够识别细微的色差（肉眼难以辨别的细微差异），并能够提高图像分析和识别的准确性。作为世界上首次展示的这种高效高光谱成像，它于2023年1月23日在英国科学期刊《自然光子学》的在线版上与比利时研究机构imec联合发表。

随着图像识别技术的演进，机器视觉的应用范围不断扩大，包括在工业上利用图像数据来提高效率、节省人力和节约能源。由于机器视觉在计算机上识别图像，因此人类无法感知的信息，例如连续的颜色变化（光谱信息），可以用来进行分析。具有光谱信息的图像被称为高光谱图像，有望在扩大机器视觉的应用领域方面发挥作用。

在传统的高光谱成像中，已经使用了选择性地让特定颜色（即波长）的光通过的光学元件，例如棱镜和滤光片。然而，由于这些方法分别检测每个波长的光，因此存在光利用效率(即灵敏度)与波长的数量成反比地降低的物理限制。因此，需要与晴天室外的亮度相当的照明（10,000 勒克斯或更高的照度）进行拍摄，这降低了可用性和通用性。

新开发的高光谱成像技术采用压缩感知，通过图像后处理“稀疏化”重建数据，将数据恢复到稀疏化前的状态，高效获取观测数据。压缩传感技术还用于医学领域的核磁共振检查以及黑洞观测。在图像传感器（图 1）上实现了一种特殊的滤波器，它可以传输多个波长的光以适当地稀释数据，并且通过针对数字图像处理的独特优化算法进行图像重建。通过将部分分色功能留给软件，Panasonic Holdings 克服了波长数量和灵敏度之间的权衡，这是传统技术的根本问题。这种方法使得在室内照明 (550 lux) 下捕捉具有世界最高灵敏度的高光谱图像（图 2）和视频（图 3）成为可能。

利用开发的技术，松下控股将与我们的合作伙伴合作，提供新的光谱传感解决方案，包括高精度图像分析和识别，并通过高灵敏度的高光谱成像技术扩展机器视觉应用。

在传统的高光谱成像中，选择性地让特定波长的光通过的棱镜和滤光片等光学元件用于检测分配给图像传感器每个像素的波长的光。然而，这些方法具有物理限制，即考虑到每个像素处的信号检测，未检测到非指定波长的光，并且灵敏度与波长的数量成反比地降低。

因此，Panasonic Holdings 开发了一种采用分布式布拉格反射器^*6 (DBR) 结构的特殊滤波器，利用光的波动特性，并将其应用于图像传感器（图 1a 和 1b）。特殊滤光片设计用于传输入射光，每个像素和波长的强度随机变化（图 1c）。数据的稀化对应于每个像素和波长的强度变化。只要通过合适的方式对数据进行稀疏检测，经过数据重构处理后就可以获得稀疏前的数据。在松下新开发的技术中，部分颜色分离是在软件的重建过程中进行的，因此可以克服灵敏度的物理限制，而灵敏度是传统高光谱成像中的一个基本问题。

由于可以传输和检测多个波长的光，因此可以通过使用特殊滤光片来提高灵敏度。具体而言，开发的特殊滤光片可透射约 45% 的入射光。这一灵敏度比传统技术（光利用效率低于5%）高出约10倍，是目前世界上灵敏度最高的高光谱成像技术。例如，在室内照明（550 勒克斯）下的物体可以通过开发的技术清楚地捕捉到（图 2a），而使用传统技术则很难识别（图 2b）。开发的高光谱成像技术无需极亮照明（超过 10,000 勒克斯）即可实现清晰拍摄，而这在传统高光谱成像中是必需的。

高光谱成像是在软件上使用开发的特殊滤波器和重建过程通过实验实现的，其中波长范围从 450 nm 到 650 nm，分为 20 个波长。如使用颜色样本的示例所示（图 2c），光谱信息是通过基于特殊过滤器稀化的适当数据的准确颜色分离正确获得的。 20波段的光谱信息，比肉眼和彩色相机的红、绿、蓝三色识别要丰富得多，可以进行更准确的图像分析和识别。

由于低灵敏度导致的低帧率，传统的高光谱成像技术的可用性很差。低帧率显着降低了可用性，因为图像是逐帧显示的，难以执行聚焦和对准。

相反，由于高灵敏度，发达的高光谱成像技术可以实现快速快门速度。高速（超过 30 fps）高光谱成像是通过使用独特开发的算法实现快速数据重建的。帧率超过 30 fps 的人会认为是流畅的电影，因此很容易进行对焦和对准。

1. 白色药片的识别
   虽然肉眼难以区分，但根据所含成分的不同，发白的药片颜色略有不同，可以根据色差从高光谱图像中区分出来。图 4a 显示了三种使用高光谱图像区分的白色药片。
2. 生鲜食品检验
   新鲜食品的成分，例如西红柿的含糖量，与光谱信息相关，可以使用高光谱图像进行检查（图 4b）。发达的成像技术不需要明亮的照明，更适合在不升高温度的情况下检查新鲜食品和药品。
3. 涂层不均匀性检查
   即使是肉眼看不到的最细微的颜色差异，也可以使用高光谱图像来辨别。图 4c 显示了一个示例，其中使用高光谱图像识别小至 ΔE = 0.4 和 1.0 的色差 (ΔE ^*7)。

*1：截至 2023 年 1 月 26 日
*2：对于每个波长的光获取的图像在波长数为四个或更多时称为多光谱图像，而在波长数为约10或更多时称为高光谱图像。
*3：一种通过重构较少信号数量的观测数据来获取丰富信号的方法。该方法利用观测数据在某一维度（如频率空间）具有偏分布的基本性质（稀疏性）。它已应用于核磁共振技术，最近又应用于观察黑洞。
*4: 相机在图像传感器上安装了红色、绿色和蓝色三种滤镜，以三种颜色的比率表示颜色。数码相机和智能手机相机大多属于这一类。
*5：表示视频中每秒显示多少图像的指标，以 fps（每秒帧数）为单位表示。一般的电视广播以每秒 30 帧的速度发展（在日本）。
*6：包含介质（厚度 d，折射率 n）的周期性排列结构，使得 d = λ/4n，其中 λ 是光的波长。它可以控制波长为λ的光的反射率。
*7：定量表示两种颜色之间差异的指标。通常，当 ΔE ≤ 1.0 时，即使将两种颜色并排比较，肉眼也无法辨别差异。

Panasonic Holdings Corporation, Technology Division, Public Relations Section
Email: crdpress@ml.jp.panasonic.com