肉眼では見えないものを捉える――世界最高感度のハイパースペクトルイメージング技術

パナソニック ホールディングス株式会社（以下、パナソニック ホールディングス）は、2023年1月、世界最高感度のハイパースペクトルイメージング技術の開発に成功したことを発表した。一般的なデジタルカメラなどと同様の操作性で、肉眼では判別できないわずかな色の違いを識別できるようになり、画像分析・認識の精度向上に貢献する画期的な技術だ。産業分野から一般消費者向けまで、幅広い応用の可能性を秘めた、最新技術開発の裏側に迫る。

普段使っているのと同じようなカメラを使って、甘くない果物、不純物の混じった薬、品質基準から外れた塗膜などを瞬時に見分ける――。このような利便性を実現するのが、人間の視覚の限界を超える画像技術「ハイパースペクトルセンシング」だ。 
標準的なフレームレートの従来型カメラに、新開発のフィルタを搭載することで、先進的な画像処理技術を実現。マシンビジョン（カメラ画像に基づいて分析・認識などの処理を行い、その結果に基づいて機器を動作させる技術）の応用範囲を大きく拡大することが期待される（※1）。 

人間は目に捉えた光景から、赤・緑・青色の波長を頼りに視覚情報を得ている。ハイパースペクトルイメージングセンサは、画素ごとに色のスペクトル（光を分光器などで分解したときの各波長成分の強さの分布）を数十から数百の波長域に分解して識別することができるのが特長だ（※2）。

その結果、従来の方法と比べて格段に多くの色情報を対象物から得ることが可能に。また、ある種の物質が光のスペクトル（可視光以外の光も含む、電磁波の各波長成分の強さの分布）上にその存在を物語る「指紋」を残す現象を利用して、例えば、鉱物中に含まれる鉱油の存在を、ハイパースペクトルイメージング技術によって見つけることもできる。

同技術を産業分野だけでなく一般消費者向けにも応用拡大していく上で課題となっていたのは、プリズムやフィルタといった特定波長の光を通す光学素子を使う必要がある点だった。この物理的な制約により、既存のモノクロカメラやカラーカメラと比べて感度や分解能、フレームレートが低くなってしまう。そのため、一般的なオフィスのような低照度の環境では、この技術を役立てることはできなかった。

この問題を解決するために開発チームが着目したのが、磁気共鳴映像法（MRI）検査や深宇宙のブラックホール観測に用いられている、圧縮センシングという信号処理技術だ。同技術を用いることで、アンダーサンプリング（多数派のデータを少数派のデータ数に合わせて削除する手法）した信号から画像を再構成することが可能になる。これによって、暗い室内でも使える高感度を備え、標準的なカメラのフレームレートと分解能で動画にも対応できるハイパースペクトル画像システムの開発に成功した。 

パナソニック ホールディングス　テクノロジー本部　マテリアル応用技術センターの八子 基樹（やこ もとき）は次のように語る。「従来のシステムより、感度を10倍以上高めることができました。この『明るいハイパースペクトルカメラ』は、世界初の開発技術であり、高い有用性を秘めています。今回のイノベーションのカギは、色を混ぜ合わせ、また分離できるフィルタの設計です」。

この研究成果は、ベルギーの研究機関であるimecの研究員との共著により、科学雑誌『Nature Photonics』（※3）に掲載された。その論文中で、著者らは「このカメラによって、スマートフォンやドローンといった一般消費者向け用途を含む日常的な文脈においても、ハイパースペクトル技術の利活用が広がることが期待できる」と記している。 

このカメラによる実用的な動画撮影用途の例として、開発チームは、標準的なオフィス照明の下でメトロノームの振り子が時を刻む様子をハイパースペクトルビデオ（クリックで参照）で撮影し、その有効性を示している。従来のハイパースペクトルカメラを用いて同じ照度で動画撮影しても、画像は暗くなってしまう。動画の左半分は標準的なRGB（一般的なディスプレイ表現で用いられる、R=Red（赤）、G=Green（緑）、B=Blue（青）からなる色表現）カメラ、右半分はハイパースペクトルカメラによって撮影された映像で、解像度と感度が同程度であることが分かる。

カメラの開発には、画像処理の先端技術を製品として形にしたいという開発チームの熱意はもちろんのこと、柔軟な開発体制が不可欠だった。八子は、光工学分野で博士号を取得した後、2019年にパナソニック株式会社（当時）に入社。光工学は、光子とその応用を研究対象とする物理学の一分野で、八子の専門はシリコンフォトニクス。シリコンフォトニクス技術は産業向けに用途が広がり始めており、新しいモノを世に問いたいと考えていた八子は、その実現の場としてパナソニックを選んだ。

そんな八子が入社後に出会ったのが、プロジェクトリーダーの石川 篤（いしかわ あつし）だ。大学院で分光技術（物質各種のスペクトル分析や性質を調べる方法）の研究に携わり、2018年に八子と同じくパナソニックに入社した石川もまた、同じ若手研究者として、製品化につながる基礎研究で社会に貢献することを目指していた。

石川と八子は、より感度の高い実用的なハイパースペクトルカメラの研究に2019年から乗り出した。製造やソフトウェアなど、2人の専門外の知識も必要だったため、プロジェクトのメンバーを固定せず柔軟にアサインする方式が採用された。各分野の専門知識を持つ研究員を必要に応じて呼び入れ、担当部分が完了すればプロジェクトから外れてもらうこのやり方は、日本企業では異例といえる。多分野を横断し、常にその顔ぶれが変化し続けるプロジェクトチームの構成が、成功の大きな要因となったようだ。

リーダーとしてチームを率いる石川はこう語る。「今回のイノベーションには、主にハイパースペクトル画像技術、フィルタシステムの製造に関する革新技術、ソフトウェア開発に関わるさまざまな部門という3つの分野の知識が生かされています。この3分野の専門家が緊密に協力し合う体制を作れるのは、パナソニックならではの強みだと思います」。

プロジェクトチームは、今回開発した装置のプロトタイプを用いて、画像検査の実験を社内の製造技術者らと共同で進めている。考えられる商用用途として、第一に製品検査がある（※4）。例えば、トマトに含まれる糖は量によって指紋スペクトルに変化が表れるため、甘いかどうかを検出することができる。今回開発した装置は比較的低照度の環境で使用でき、大掛かりな照明を必要としないため、傷みやすい食品を照明による熱にさらさずに検査することが可能だ。 

堅牢性を高めれば、海洋プラスチックごみや土壌汚染の調査などの環境用途を目的としたドローンやIoTデバイスへの搭載も可能になる。さらに小型化してスマートフォンに搭載できれば、これまで考えられなかった用途への展開もあり得るだろう。

石川は、未来での活用の広がりを見据えている。「私たちが開発した技術が製品となって世に出るところを早く見たいです。研究施設などで利用されている従来の技術と比べて、今回私たちが開発した技術は低照度の環境でも使え、使い勝手も勝っている。非常にたくさんの色情報を扱える画像技術として、より日常的に活用できる可能性があります。そうなるころには、AI技術が広く普及していると考えられますし、低照度対応ハイパースペクトル画像技術が毎日のくらしを快適にする技術として浸透していたら、うれしいですね」。　

参考文献：
1 https://www.photonics.com/Articles/Hyperspectral_Imaging_Spectroscopy_A_Look_at/a25139
2 https://gisgeography.com/multispectral-vs-hyperspectral-imagery-explained/
3 https://www.nature.com/articles/s41566-022-01141-5
4 https://www.photonics.com/Articles/Hyperspectral_Imaging_Enables_Industrial/a56804