ソニー、4.86μm角画素を実現した被写体の変化のみを検出する積層型イベントベースビジョンセンサー2タイプを商品化

産業機器業界におけるニーズの高度化・多様化に伴い、カメラで取得した画像から必要な情報を抽出するセンシングの活用が拡大し、より高効率なデータ取得が求められている。

ソニーセミコンダクタソリューションズ株式会社は、産業機器向けに、14.86μm角画素を実現し被写体の変化のみを検出することができる積層型イベントベースビジョンセンサー2タイプを商品化することを発表した。

同製品は、センサーの画素部と、輝度変化を検出する信号処理回路を組み込んだロジック部を一画素ごとにCu-Cu接続(※)で導通する独自の積層構造を採用している。従来、画素部と信号処理回路を同一基板上に配置することが一般的であったのに対し、画素部の高い開口率(1画素当たりの光入射面側からみた開口部分の割合)を保ちつつも、画素サイズ4.86μm角を実現した。これにより、小型ながら高解像度による高精度な認識に繋がる。

また、独自の積層構造により、画素の輝度変化を非同期で検出し、画素の位置(xy座標)と時間の情報と組み合わせてデータ出力するイベントベース方式を実現した。これにより、フレームベース方式と比べて、必要な情報のみを低消費電力ながらマイクロ秒レベルで高速・低遅延に読み出し、また高時間分解能を持つ出力が可能になる。

さらに、さまざまな用途に対応するため、Propheseeが開発した不要なイベントデータを除去する複数のフィルター機能を搭載している。このフィルター機能を使用することで、LEDフリッカーなど特定の周期で発生する認識に必要のないイベントの除去(アンチフリッカー)、対象物である動被写体の輪郭に該当しない可能性の高いイベントの除去(イベントフィルター)、後段のシステムが処理できるイベントレート以下となるようなデータ量の調整(イベントレート制御)などが可能だ。

ソニー、4.86μm角画素を実現した被写体の変化のみを検出する積層型イベントベースビジョンセンサー2タイプを商品化
イベントデータを30fpsの1フレームに相当する時間(約33ミリ秒)積算した画像
(左:イベントフィルターOFF、右:イベントフィルターON。ソフトウェアシミュレーションで左から約92%データ削減)
同製品により、微小な振動の変化を捉えることによる装置の予知保全につながる異常検知や、溶接・金属切削時に発生する火花の変化を捉えることによる、治工具の最適な交換など、フレームベース方式のイメージセンサーでは認識が困難な用途や、人の経験に頼っていた作業工程など、さまざまな場面の生産性向上に貢献する。
ソニー、4.86μm角画素を実現した被写体の変化のみを検出する積層型イベントベースビジョンセンサー2タイプを商品化
撮像例1 振動検知(左:フレームベース画像、右:イベントベース画像)
ソニー、4.86μm角画素を実現した被写体の変化のみを検出する積層型イベントベースビジョンセンサー2タイプを商品化
撮像例2 金属切削時の火花の検知(左:フレームベース画像、右:イベントベース画像)

※ Cu-Cu接続:画素チップ(上部)とロジックチップ(下部)を積層する際に、Cu(銅)のパッド同士を接続することで電気的導通を図る技術。画素領域の外周の貫通電極により上下のチップを接続するTSV(シリコン貫通電極)に比べて、設計自由度や生産性の向上、小型化、高性能化などが可能。