开拓视野:松下开发了全球灵敏度最高的高光谱成像技术,并开启了该项技术的工业和商业应用

Feb 17, 2023

美好未来的解决方案/专题报道

产品与解决方案

开拓视野:松下开发了全球灵敏度最高的高光谱成像技术,并开启了该项技术的工业和商业应用

想象一下,使用日常摄像头可以立即检测出不甜的水果、可能不纯的药物或不符合质量标准的涂层。这些和其他有用的应用程序可以通过高光谱传感实现,这是一种超越人类视觉的成像形式。

松下开发了世界上灵敏度最高的高光谱成像技术,同时在标准视频速率下使用带有新滤波器的传统相机,使这种先进的图像处理技术在机器视觉领域开辟了许多新应用。1个 

高光谱成像传感器捕获肉眼不可见的图像

人眼主要依靠红色、绿色和蓝色波长从场景中收集视觉信息。高光谱成像传感器能够将色谱分成几十个或数百个波段,并识别图像中每个像素的光谱。2个 

因此,这种方法可以从场景中收集更多信息。另一个重要的方面是,一些物体可以在电磁频谱中留下它们存在的明显“指纹”。这就是为什么高光谱成像可以用来寻找图像中的东西,例如矿物学成像中石油的光谱指纹。

然而,在工业应用以及最终的消费应用中更广泛使用高光谱成像的一个缺点是,它依赖于棱镜和滤光片等光学元件来传递特定波长的光。这种物理限制造成图像限制。与传统的单色/彩色相机相比,其结果是灵敏度、分辨率或帧速率较低。因此,在像 LED 灯办公室这样的黑暗环境中,高光谱成像很难使用。

Photo: Researcher Motoki Yako running a test on the Panasonic hyperspectral imaging system

研究员 Motoki Yako 对松下高光谱成像系统进行了测试,该系统引入了一种新的过滤器,可以将颜色混合在一起,然后将它们分开,与传统系统相比,灵敏度提高 10 倍以上

压缩传感技术让系统可以在黑暗的房间内使用

为了克服这个问题,松下的研究人员转向了一种称为压缩传感的信号处理技术。它允许从欠采样信号重建图像。压缩传感已被用于使用磁共振成像 (MRI) 以及深空黑洞来窥视我们的身体。研究人员设法开发了一种高光谱成像系统,该系统足够灵敏,可以在黑暗的房间中使用,并且帧速率和分辨率与包括视频应用在内的传统相机兼容。

与传统系统相比,我们设法将灵敏度提高了 10 倍以上,”松下应用材料技术中心的研究员 Motoki Yako 说。 “这款‘明亮的高光谱相机’是世界首创,提供了一种具有高可用性的技术。关键的创新是设计了一种新的过滤器,可以将颜色混合在一起,然后将它们分开。”

与比利时研究机构 imec 的同事合着的一项研究成果发表在同行评审期刊《自然光子学》上。3研究人员写道,“相机为在现实场景中采用 [高光谱] 技术带来了巨大希望,包括智能手机和无人机等消费者应用程序。

为了说明相机如何在实际视频中使用,该研究采用了 VGA 分辨率为每秒 32 帧的高光谱视频,显示节拍器在日常办公室照明中滴答作响,如果用传统的高光谱相机成像,这个场景会很暗。帧的一半是标准 RGB 相机,一半是高光谱相机,显示出它们相似的分辨率和灵敏度。

Photo: An image sensor and a special filter

图像传感器检测光线,特殊滤光片进行细化,提高灵敏度,因为多个波长的光被传输和检测以传输约 45% 的入射光,从而实现世界上最高的高光谱成像灵敏度

独特的研究团队结合了光子学和光谱学的专业知识

该相机是研究人员渴望将尖端信号处理商业化以及他们灵活工作能力的结果。Yako 在获得光子学博士学位后于 2019 年加入松下,光子学是一个与光子及其应用有关的物理学分支。他专攻硅光子学,这是一门正在寻找工业应用的学科,并决定将自己的才能带到松下,因为他想向世界介绍新事物。

在那里,他遇到了项目负责人 Atsushi Ishikawa,他是另一位在 2018 年加入公司之前从事光谱学研究生研究的年轻科学家。Ishikawa 还希望通过进行产品基础研究来为社会做出贡献。

2019 年,Ishikawa 和 Yako 开始研究更灵敏、更实用的高光谱相机。挑战涉及制造和软件等不属于他们专业领域的领域。在日本企业中,一个不寻常的过程是项目成员被灵活分配,其他专家加入团队,做出贡献,然后离开。科学家们将项目的成功归功于该小组不断发展的多学科性质。

松下的独特优势在于,专家们可以在实现这一创新所需的三个关键领域密切合作,”团队负责人石川说。 “即高光谱成像技术、过滤系统的制造创新,以及从事软件开发的其他各个部门。”

Photo: Practical applications of the hyperspectral imaging technology

在低光照条件下工作的高光谱成像技术的实际应用包括检测水果和蔬菜的成熟度、土壤污染程度、监测海洋塑料,如果将其微型化用于智能手机,消费者用途还无法想象

应用范围从自动化产品检测到众多与环境相关的用途

研究人员现在正与松下制造工程师合作,他们正在使用该设备的原型版本进行图像检测实验。第一个可能的商业应用将包括用于产品检测的工厂自动化传感。4例如,西红柿的含糖量会影响其光谱指纹,从而揭示它们是否甜。由于它在相对较弱的光线下工作,因此相机不需要将易腐烂食物暴露在较高温度下的照明系统。

该系统的更坚固版本可以安装在无人机或物联网 (IoT) 设备上,用于调查海洋塑料、土壤污染和其他环境用途。如果微型化,相机可以安装在智能手机上,用于我们甚至还做梦都想不到的消费应用。

我渴望看到我们开发的技术在产品中的应用,”Ishikawa 说。 “与实验室中使用的传统光谱和高光谱技术相比,我们的技术在低光照条件下工作并且易于使用。它可以用作日常具有大量颜色信息的成像技术。到那个时候,人工智能技术就会普及,如果它成为改善人们生活的技术就好了。”

本网站内容在发布时准确无误,但可能随时更改,恕不另行通知。
因此请注意,这些文档可能并不总是包含最新信息。
请注意,德语、法语和中文版本均为机器翻译,因此质量和准确性可能有所不同。

推荐文章