スマホや車載用から製造現場まで、私たちの世界を大きく支えるソニーの最先端イメージ＆センシング技術を見た

車載用CMOSイメージセンサー

独自のSub-Pixel（サブピクセル）構造を活用した車載向けイメージセンサーでは、大きな特徴として高感度かつ高解像度で、HDRとLEDフリッカー抑制を同時に機能させられる点が挙げられる。Sub-Pixel構造で配置されたそれぞれの画素が取り込んだ情報をリアルタイムで処理することで実現、環境問わず高精度な撮影可能だとしている。

車載用として重要な技術が、暗所や逆光などの環境でもクリアに表示する「HDR」と、もう一つに「LEDフリッカー抑制」があると説明する。HDRでは、例えばトンネルを抜けた際に外が明るいことで、従来カメラだと白飛びしてしまうが、しっかりと明暗部分ともに表示することができる。

LEDフリッカー抑制は、LEDライトを撮影した際の画面のチラつきを抑えるもの。LEDライトはその多くが人間の目で判断できないレベルの超高速で点滅しており、従来のカメラだと点滅をそのまま捉えてしまい、目で見ている様子とは異なり、映像上チラつきが生じる。

ジオラマを用いたデモでは、場所によって周波数や点灯時間などを変えたLEDを撮影して見せてくれた。従来センサーではHDR機能をオンにすると、LEDライトにも反応して特に激しいチラつきが見られるが、最新センサーでは安定して、どんな周波数であっても点面を拾わずに表現できる。

もう一つ重要なのが「低照度」への対応。星明かり程度の0.05ルクスの環境でデモンストレーションが行われたが、照明を暗くした直後はまったく見えなくなったジオラマの奥の方までも、センサーを通すことでしっかり映像表示できていた。

自動車の周囲360度の検知・認識や、ドライバーの運転サポートを行うカメラシステムへの搭載が用途で、現在量産されておりすでに市場で活躍している。

車載インキャビンセンシング

続いて、車室内のドライバーの様子をモニタリングしたり、ジェスチャーによるコントロールを実現する車載向けシステムが紹介された。ここでは、ToF方式距離画像センサーから得られた3次元距離情報を使って、認識ソフトウェアによりドライバーの様子をモニタリングすることができる。

使用するセンサーはiToF（indirect ToF）方式で、VGAサイズの画素数を確保する。左ハンドル車を想定したデモ空間では、ミラーの上のライトのあたりにカメラを下向きに配置。このカメラに内蔵する光源から近赤外線を発し、反射して戻ってくる時間を計算することで距離を測っている。この情報をソフト側で3Dに変換して表示、さまざまな角度から見ることができる仕組みだ。

たとえば、センサーが人間の関節の情報を取得し、ソフト側で認識。これにより、どんな姿勢を取っているかを把握したり、ハンドルとドライバー自身の両方の距離を常に確認することができる。この情報から、ハンドルから手が離れた際などにはアラートを発するといった機能に活用できるという。

他にも、座席に人が座っているのか、物が置いてあるのかを判別できるため、荷物の置き忘れなどを防止する機能を開発できたり、体格情報から個人に合わせたエアーバックの調整といった活用も考えられる。また姿勢を判別して、倒れて伏せってしまった際などには、自動で車を路肩に停止させるといった安全機能への発展にもつながると説明する。

通常の撮影データを用いて上述した様な状況を判別することもできるが、その場合容量が大きく、後段の処理が高負荷になる問題がある。同システムでは画像そのものではなく、撮影映像から得られる距離情報に基づいているため、高精度なモニタリングを可能にしながらも、データ処理の負荷を軽減させられるという。

なお、同システムはあくまで、センサーを活用して情報を「認識」するところまでを実現したものであり、その認識データからどのような機能開発を行うかは、導入した車メーカー側での判断となる。

ドライバーの状態をモニタリングすることは、今後重要となってくる。欧州では、2023年までに欧州市場で発売となる新車モデルの必須機能と提言されており、今後は自動車の安全テストを行う「Euro NCAP」の基準の一つとして、2024年 - 2025年頃には、ドライバーモニタリングシステム搭載が必須となるのだという。現在、本システムはまだ実用化はされていないが、そうした自動車安全の将来を見据えた身近なテクノロジーといえる。

なお、従来の2Dの画像認識システムとは異なり、視線をとらえることまでは難しいとのことだが、本システムによるドライバー自身の身体の状態を3D認識を、従来の2D画像認識と組み合わせることで、さらなる安全運転の実現を目指すことができると力をこめた。

一方で、同システムを活用した技術で、実用化されているのが「ジェスチャーコントロール」だ。ToF方式距離画像センサーが取得した情報のうち、手の部分をピックアップし、その形と動きを認識することで、カーナビやカーオーディオなど車に搭載する機器を、道路から目を離すことなく操作できる点がメリットだと説明する。すでに量産車にも搭載実績があるという。

車載Sensor Fusion（独自のアーリーフュージョン技術）

次に紹介されたのが、SSS独自の「アーリーフュージョン技術」。名称の通り、「早い」段階で情報を「統合」する技術で、あらゆる状況下において、車室外の状況を素早く高精度に把握し、より安全な運転体験を実現するという。現在は開発段階となる。

従来より、カメラのイメージセンサーやレーダーなど複数のセンサーを使って情報を取得し、それらを組み合わせる「センサーフュージョン」という技術がある。センサーフュージョンによりデータを補完し合うことで、認識した情報精度を高められるが、これまでは各センサーごとの情報をすべてそのままの状態で信号処理に使用することで、情報量の減衰や、実際の環境とは異なる物体の誤認識/未認識が発生していたという。

今回披露されたアーリーフュージョン技術では、信号処理よりも前の早い段階で各センサーのRawデータを融合することで、特徴情報を豊富に抽出でき、高精度な物体認識が可能になるという。

これにより、悪天候や逆光といった条件下における運転でも対向車などの存在を高精度に認識できるという。また、カメラの高解像度な画面認識と、LiDARによる距離情報を同技術で組み合わせることで、測距精度が求められる駐車支援技術にも応用できると見込んでいる。

同社は、アーリーフュージョン技術による情報認識を処理するソフトウェアまでを提供するイメージで開発が進められているという。

積層型SPAD距離センサー

ToF方式距離画像センサーの説明で少し触れたが、近年は自動運転の実現に向けて車載LiDARの重要性が高まっている。繰り返しになるが、車載LiDARは、光源から光を発して物体に反射して戻ってきた光を検知し、その時間から距離を測ることができるシステムとなる。

同社ではこの車載LiDAR向け技術として、CMOSセンサー開発の技術ノウハウを活かした、SPAD画素を用いたdirect TOF（dToF）方式距離センサーを開発した。

積層型SPAD距離センサーは、光を検出して電気信号に変換する高感度なSPAD画素、電気信号をチップに伝えるCu-Cu（カッパー・カッパー）接続、電気信号を処理して距離を測定するロジックチップの3要素で構成され、一連の処理をワンチップで実現した。

ちなみに、Cu-Cu（カッパー・カッパー）接続は、画素チップと論理回路チップを各積層面に形成したCu端子で直接接続することで、イメージセンサーのさらなる小型化と生産性向上を可能にする技術だ。

また、独自の積層構造を用いることで、チップサイズを小さくしつつも、遠距離から近距離まで、15cm間隔で高精度かつ高速に測距できる点が特徴だという。

デモンストレーションは、活用先として考えられる車載LiDARを実際に同社が開発し、それを用いて行われた。なお実証実験のための開発で、量産予定はないとのこと。

このLiDARでは、同社の積層型SPAD距離センサー「IMX459」を用いたことで最大300mまでの測距が可能で、メカニカルミラーと組み合わせることで水平方向に約120度の広い視野角と高解像度を実現している。特に高感度を実現したことが大きな特徴だという。

サンプル映像では、建物や木に加えて、細かい縁石も正確に捉えられており、人々の様子も鮮明に測定されている。また高速移動時にも一瞬一瞬もクリアに捉えられるとアピールする。同社の積層型SPAD距離センサーを活用することで、高性能なLiDARの開発とよりレベルの高い自動運転の実現にも貢献できると期待を寄せる。

実際のデモでは、LiDARからの映像を3Dの点群画像で表示。カラーコーンやマネキン、タイヤなどの物体の様子から、約160m先の建物までも捉えられていることがわかる。特にタイヤは反射率が低くLiDARでの測距が難しいとされているが、綺麗に映っている。また縁石の段差も細かく表示できていた。スキャン速度は1秒あたり10フレーム。検知精度は0.2度ほどで区切られているとのこと。