世界最高感度^*1のハイパースペクトルイメージング技術を開発

パナソニック ホールディングス株式会社は、世界最高感度^*1でハイパースペクトル画像^*2を撮影する技術を、医療や宇宙探索の分野で活用が進む圧縮センシング技術^*3を用いて開発しました。本技術により、肉眼では判別できないわずかな色の違いを、従来のカラーカメラ^*4と同様の操作性で識別できるようになり、画像分析・認識の精度向上が可能になります。こうしたハイパースペクトル画像撮影を実証した世界初の研究成果として、ベルギーの研究機関であるimecとの連名で英国科学雑誌「Nature Photonics」のオンライン版に2023年1月23日に掲載されました。

画像認識技術の進化に伴い、画像データを産業的に利用し効率化・省人化・省エネルギー化を可能にする、マシンビジョンの応用が広がっています。マシンビジョンでは画像をコンピュータで認識するため、人間が知覚できない情報、例えば連続的な色変化（スペクトル情報）を用いた解析が可能になります。スペクトル情報をもつ画像はハイパースペクトル画像と呼ばれ、マシンビジョンの応用範囲を拡大する役割が期待されています。

従来のハイパースペクトル画像撮影では、プリズムなどの光学素子や、特定の色（波長）の光を選択的に通すフィルタが用いられていました。しかし、これらの方法は光を波長ごとに分けて検出するため、波長の数に反比例して光の利用効率、つまり感度が低下するという物理的な制約がありました。そのため、撮影時には晴れた日の屋外に匹敵する明るさの照明（照度10,000ルクス以上）が必要となり、操作性・汎用性に難がありました。

今回開発したハイパースペクトル画像撮影技術では、観測データを“間引く”ことで効率的に取得し、演算処理で“間引かれる前”のデータを復元する、圧縮センシング技術を応用しました。これは、医療現場でのMRI検査やブラックホール観測でも使われている手法です。複数波長の光を通し画像データを適切に“間引く”特殊フィルタをイメージセンサ上に搭載し（図1）、独自のデジタル画像処理アルゴリズムによりデータを復元しました。ソフトウェアが色を分ける機能の一部を担うことで、従来技術の課題であった波長数と感度の制約を突破しました。これにより、世界最高感度のハイパースペクトル画像撮影（図2）、さらには室内照明（550ルクス）下での動画撮影（図3）を実現しました。

今後は本技術の活用により、色情報に基づいて高精度に画像分析・認識を行う新たなセンシングソリューションや、高感度なハイパースペクトル画像撮影技術によるマシンビジョン用途の拡大を、パートナー様との共創も検討しながら目指してまいります。

従来のハイパースペクトル画像撮影では、プリズムなどの光学素子や、特定の波長の光を選択的に通すフィルタを用いて、イメージセンサの画素ごとに割り当てられた波長の光を検出していました。しかしこれらの方法は、画素ごとに見ると「割り当てられた波長」以外の波長の光が検出されず、波長の数に反比例して感度が低下する、という物理的な制約がありました。
そこで当社は、分散ブラッグ反射器^*6（Distributed Bragg Reflector; DBR）と呼ばれる、光の持つ波の性質を利用した構造を用いて特殊フィルタを開発し、イメージセンサに搭載しました（図1a,b）。この特殊フィルタは、観察対象から放たれた光を、画素ごと・波長ごとに強度をランダムに変えて通すように設計されています（図1c）。画素ごと・波長ごとに強度を変化させることがデータの“間引き”に相当します。適切に“間引かれた”状態で検出することで、“間引かれる前”の状態がソフトウェア上で復元可能になります。本技術では、ソフトウェア上の復元で色分離が行われるため、ソフトウェアが色を分ける機能の一部を担うことになり、従来のハイパースペクトル画像撮影技術が抱えていた、感度における物理的な制約を突破しました。

上述の特殊フィルタを用いると、複数波長の光が通るためイメージセンサが検出する光が増え、感度が向上します。具体的には、開発した特殊フィルタは入射した光のうち約45％を通します。これは、従来技術における光利用効率（5％以下）に比べ約10倍高く、世界最高の感度となります。一般的なオフィス照明程度の明るさ（550ルクス）で撮影した例では、開発技術では明瞭に撮影できています（図2a）が、従来技術ではうっすらと見えるのみ（図2b）となっています。このように、開発したハイパースペクトル撮影技術では、従来のハイパースペクトルカメラが必要とした極端に明るい特殊照明（10,000ルクス以上）を用いることなく、鮮明な撮影を可能にしました。
開発した特殊フィルタとソフトウェア上での色復元を用いて、可視光線（波長450-650nm）の領域を20波長に分けたハイパースペクトル画像の撮影に成功しました。特殊フィルタによるデータの“間引き”が適切に行われているため、ソフトウェア上で正確に色を分離することができ、色見本撮影例（図2c）のように正しいスペクトル情報が得られています。20波長と非常に多くの色情報を検出することができるため、赤・緑・青の3色のみを見分けられる肉眼やカラーカメラに比べ、画像分析・認識の精度が向上します（活用例は後述）。

従来のハイパースペクトル画像撮影技術における課題に、低い感度に起因した低いフレームレート、及びそれによる操作性の悪さがあります。フレームレートが低いと映像がコマ送りのように表示され、撮影時にピント合わせや位置合わせが難しくなり、操作性が著しく悪化してしまいます。
これに対して、本技術でハイパースペクトル画像を撮影する場合、感度が高いため短いシャッター時間で撮影が可能となります。さらにソフトウェア上での色分離を独自のアルゴリズムで高速化することで、フレームレートが30fpsを超えた高速なハイパースペクトル画像取得に成功しました（図3）。30fpsを超えるフレームレートは人間には滑らかな動画として認識されるため、ピント合わせ・位置合わせなどの操作を容易に行うことができます。

1. 白色系錠剤の判別
   同じ白色系の錠剤でも、含まれる成分によりわずかに色が異なり、ハイパースペクトル画像から判別できる場合があります。図4aでは3種類の白色系錠剤を判別しています。
2. 生鮮食品の検査
   生鮮食品の成分、例えばトマトの糖度はスペクトル情報と相関があり、ハイパースペクトル画像を用いて検査することができます（図4b）。感度が高く、明るい照明が必要ない開発技術は、温度上昇を嫌う生鮮食品や医薬品の検査と好相性です。
3. 塗装ムラの検査
   人間では違いが判らないほどわずかな色の違いでも、ハイパースペクトル画像を用いると見分けることができます。図4cでは色差^*7（ΔE）が0.4や1.0という、肉眼では判別できないほどわずかな色の違いをハイパースペクトル画像から見分けています。

*1：2023年1月26日時点。
*2：光の波長ごとに取得された画像の中で、波長数が4以上のものをマルチスペクトル画像、さらに波長数が概ね10以上のものをハイパースペクトル画像と呼ぶ。
*3：少ない観測データからより多くの信号を復元する手法。観測対象データがある表現空間（例えば周波数空間）では偏った分布になるという性質（スパース性）を利用する。MRIの高速化技術に応用されているが、近年ブラックホールの観測にも使われた。
*4：赤、緑、青の三種類のフィルタをイメージセンサ上に搭載し、三色の比率で色を表現するカメラ。デジタルカメラやスマートフォン搭載のカメラはほぼこれにあたる。
*5：動画が1秒あたり何枚の画像で構成されているかを示す指標で、fps（frames per second）という単位で表される。一般的なテレビ映像は30fpsである。
*6：光の波長をλとした時、その光を通す媒質（厚みd、屈折率n）をd=λ/4nとなるように周期的に配置した構造。波長λにおける光の反射率を制御することができる。
*7：2つの色の違いを定量的に表す指標。一般にΔE=1.0を下回ると、2つの色を横に並べて見比べたとしても肉眼では違いが判別できなくなる。

パナソニック ホールディングス株式会社 テクノロジー本部 広報担当
Email：crdpress@ml.jp.panasonic.com