表情やまばたき、放熱量から人の眠気を検知し予測する～安全運転や仕事、勉強をサポート

オフィスや学校の教室で、あるいは自動車を運転している最中など、集中力が求められる状況で強い眠気に襲われた経験は、誰にでもあるだろう。自動車運転中のドライバーの状態を監視するドライバーモニタリングシステムの市場が拡大する中、パナソニックは、カメラやセンサで人の眠気を検知し、これからの眠気推移を予測、制御する技術を開発した。これらの技術には、当社の多彩な研究やテクノロジーが生かされている。

無自覚の浅い眠気も、1,800のパラメータからAIで検知する。

居眠り運転の防止にむけては、これまでにも装着型のリストバンドやウェアラブルセンサなどを用いた技術が開発されてきた。これらは、振動やアラート音などの刺激で、眠気を感じている状態からの覚醒を促す方法が主流ではあるものの、利用する人からは「煩わしい」「不快だ」という声も聞かれる。

人は眠い時、表情やまばたきなどにその兆候が表れるため、パナソニックは、セキュリティカメラなどの開発で培った画像認識技術を活用して、それらの兆候を捉える研究をしてきた。そして今回、非接触で高精度に眠気を検知する技術を開発した。

ドライバーの状態をモニタリング
ダッシュボードにドライバーの現在と15分後の眠気レベルを表示

当社は、顔の表情や動き、まばたきに関するさまざまな計測結果と、これまでに収集した外国人を含む眠気のレベルをデータベース化し、表情やまばたきなどに関する約1,800のパラメータと眠気の関係を分析した。さらに公益財団法人大原記念労働科学研究所との共同で行った眠気表情の分析結果に基づき、本人には自覚のない「浅い眠気」までを検知するAIの開発に成功した。

非接触でまばたき、表情などを計測し、無自覚の浅い眠気を検知

放熱量や明るさを計測し、これからの眠気推移を予測する。

一般的に、人は寒く明るい環境では眠くなりにくく、暖かく薄暗い環境では眠くなりやすい。しかし、薄着や厚着など、人の着衣の状態はさまざまで、人の眠くなりやすさを周りの温度のみから推定することは難しいとされていた。

そこで、パナソニックは千葉大学との共同研究により、着衣の状態に関わらず、人の体からの放熱量が多い（＝寒く感じている）場合は、眠気が進行しにくいことを明らかにした。放熱量は、当社が開発した赤外線アレイセンサ「Grid-EYE（グリッドアイ）」を用いて非接触での計測に成功。また、周囲の明るさを環境センサで計測し、今後の時間経過が眠気に与える影響を明らかにした。

このように、当社が有する多彩なセンサ技術を用いて、ドライバーを取り巻く環境や状況を把握し、ドライバーの眠気がこれからどのように推移していくかが予測できるようになった。また、カーナビゲーションと連動することで、目的地への到着時刻を把握し、目的地までの眠気レベルの推移も予測できるようにした。

周辺環境を計測し、以後の眠気の推移を予測

ドライバーの安全運転をサポートする。

眠気のレベルが低下した場合、空調をコントロールすることによってドライバーの覚醒状態は維持しやすくなるものの、極端に周りの温度を低くすると、快適性が著しく損なわれる。

そこで、当社はルームエアコンの開発などで培った温冷感（暑い寒いの感覚）と生理学の知見を応用し、風の影響が大きい車室内環境においても適用できる温冷感推定技術を、奈良女子大学との共同研究で開発した。

この結果、赤外線アレイセンサ「Grid-EYE」で人の温冷感を常にモニタリングしながら、車室内の状況に応じて、空調や音響システムなど最適な手段を選択することで、快適に覚醒状態を維持できるようになった。

眠気制御技術の概念図

ドライバーの眠気レベルに応じて、空調や音楽を制御する

2017年7月27日、大阪で開催した技術発表会に、自動車の運転席を模したコックピットを持ち込んだ。ダッシュボード上に表示されている情報は、ドライバーの「現在の眠気レベル」と、「15分後に予測される眠気レベル」だ。
会場では、このダッシュボード上に表示された予測眠気レベルが「3：眠い状態」を上回ると、空調制御が開始する様子を披露した。また、センサがドライバーの体の冷えを検知した場合には、風量を下げると同時に音楽の音量を上げ、ドライバーの眠気レベルがより高まった状態では、休憩を促すために近くのパーキングエリアをダッシュボード上に表示するデモンストレーションを行った。

デモ用の運転席では、現在と15分後の予測眠気レベルを表示

眠気制御技術の開発を担当
オートモーティブ＆インダストリアルシステムズ社技術本部センシングソリューション開発センター楠亀弘一さん