ルネサス、自動運転時代の車載コンピューティングSoC向けに低遅延・高性能・低消費電力のカメラ画像処理回路を開発

ルネサス エレクトロニクス株式会社は、自動運転を実現する車載コンピューティングSoC(System-On-Chip:システムLSI)向けの動画像処理回路を新たに開発した。

 

自動運転を実現する車載コンピューティングSoCには、車載情報システムと安全運転支援システムを統合して並列に実行していくことが求められる。特に、安全運転支援システムにおいてドライバに適切な情報を遅滞なく通知するためには、車載カメラから送られる動画像データを低遅延にて処理しなければならない。また、車載情報システムおよび安全運転支援システムで必要とされる膨大な動画像データ処理と自動運転制御の双方を、遅滞なく安定して実行できることが課題だった。

新たに開発した動画像処理回路は、車載カメラ向け動画像処理を低遅延にて行い、かつ、膨大な動画像処理を、自動運転制御を担うCPUとGPU(Graphics Processing Unit)に負荷をかけることなくリアルタイムかつ低消費電力で実現することができる。

同社は新動画像処理回路を最先端16nm(ナノメートル、ナノは10億分の1)FinFETプロセスで試作し、車載カメラ向け動画像処理を70msの低遅延にて実現するとともに、フルHD12チャネル性能の動画像処理を197mWの低消費電力にて実現した。

 

近年、カーナビや先進運転支援システム(Advanced Driver Assistance Systems: ADAS)など将来の自動運転を視野にいれた車載情報機器は、車載情報システムと安全運転支援システムを統合する車載コンピューティングシステムへと大きな進化を遂げている。

安全運転支援システムにおいては、車載カメラにて取得した動画像から、障害物の検知やドライバ状態の認識、さらには危険予測や危険回避判断のような複雑な処理(以下コグニティブ・プロセッシング)を実現することが求められている。

ルネサス製車載カメラ・ネットワーク用SoC「R-Car T2」などの登場により、車載カメラからの動画像データはデジタル圧縮伝送されることが想定されるため、受信した動画像圧縮データの伸張処理を行い、さらに、広角カメラ画像をコグニティブ・プロセッシングが可能となるように歪み補正処理を行う必要がある。ドライバに適切な情報を遅滞なく通知するためには、これらの動画像処理を低遅延で行う必要がある。

一方、車載情報システムにおいては、スマートフォンやクラウドサービスなど様々なモノやサービスと連携することが可能となり、多数の動画像がシステム外部から入力される。同時に、リアシートモニタなど車内に複数のディスプレイが配置されることが一般的になり、多数の動画像を同時に表示することが必要とされる。そのため、車載情報システムでは、これら大量の動画像データをリアルタイムに処理して表示する性能が要求される。

今回開発した動画像処理回路は、車載カメラから伝送される動画像圧縮データの伸張処理および歪み補正処理を低遅延で実現。また車載コンピューティングシステムに必要とされる膨大な動画像処理を、コグニティブ・プロセッシングを担うCPUとGPUに負荷をかけることなくリアルタイムかつ低消費電力で実現する。

 

【動画像処理プロセッサ間の同期動作およびパイプライン動作により、動画像伸張処理と歪み補正処理を70msの低遅延で実現】

動画像圧縮伸張処理は、性能が圧縮データの量に依存している圧縮符号処理と、性能が画面の解像度に依存しているその他の画像処理に大別される。今回開発された動画像処理回路では、圧縮符号処理を担うStream processorと、その他の画像処理を担うCodec processorにより、動画像圧縮伸張処理を実行する。車

載情報システムで扱う一般的な動画像データはフレームごとにデータ量が大きく異なっているため、性能が圧縮データの量に依存しているStream processorの処理時間はフレームごとに大きく変動する。一方で、性能が画面の解像度に依存しているCodec processorの処理時間はフレームごとに一定。従って、Stream processorとCodec processorを非同期に動作させる必要があるため、遅延量が大きくなってしまう課題があった。

今回開発された動画像処理回路では、安全運転支援システムで想定されるフレームごとのデータ量がほぼ等しい動画像圧縮データに対応し、Stream processorとCodec processor間にFIFOを配置して同期動作させるモードを設けている。また、Codec processorからフレーム処理の途中で16倍数ラインの処理が完了したことを知らせる割り込みをCPUに出力する機構を設け、フレーム処理の完了を待たずに後段の歪み補正処理を開始できるようになった。

これらの同期動作およびフレーム未満パイプライン動作により、動画像圧縮データの受信から動画像伸張処理と歪み補正処理の完了までを70ms(当社28nmプロセス比40%減)の低遅延で実現した。

 

【車載コンピューティングシステム向けに最適化された17個6種類の動画像処理プロセッサにより、世界トップクラスのフルHD12チャネルの高性能を実現】

CPUとGPUに負荷をかけることなくリアルタイムかつ低消費電力で動画像処理を行うために、17個6種類の動画像処理プロセッサを開発。

動画像圧縮伸張処理を行うStream processorおよびCodec processor、歪み補正処理を行うRendering processor、汎用画像処理を行うVideo processor、画面合成処理を行うBlending processor、画面表示に伴う処理を行うDisplay processorから成り、各動画像処理プロセッサは階層バスにて接続される構成をとっている。

これらの動画像処理プロセッサからなる動画像処理回路を最先端16nm FinFETプロセスで試作評価した結果、フルHD12チャネル(同社28nmプロセス比3倍)の高性能動作を確認した。

 

【可逆および非可逆の2種類のデータ圧縮技術を組み合わせて使用メモリ帯域を50%削減し、フルHD12チャネル処理を世界トップクラスの197mWの低消費電力で実現】

フルHD12チャネルという膨大な動画像処理を行う場合、メモリへのデータアクセスが性能のネックおよび電力消費の大きな要因となる。また、車載コンピューティングシステムでは、CPU、GPUにてコグニティブ・プロセッシングを行うため、動画像処理で消費するメモリ帯域を極力抑え、高い安全性が必要とされる安全運転支援システムの動作を阻害しないことが重要となる。

そこで、メモリに格納する画像データを圧縮することで、メモリ帯域の削減を図った。画面内の画素値は変化しないが規模の大きな可逆圧縮と、画素値は変化するが規模の小さな非可逆圧縮を、画像処理の特性に合わせ適切に配置することで、典型的な動画像処理フローにおいて50%のメモリ帯域削減を実現。特に、小サイズデータのアクセスほどメモリ転送効率が落ちて実効的なメモリ帯域が削減されないというDDRメモリへのアクセス特有の問題を回避するため、小サイズデータのアクセスが多く発生する動画像伸張処理に対しては、キャッシュを利用したアクセスサイズの拡大を図ることで実効的なメモリ帯域を70%削減することに成功した。

最先端16nm FinFETプロセスで試作評価した結果、このメモリ帯域削減により、バス上を流れるデータ量の減少に応じ消費電力が20%削減され、フルHD12チャネルを世界トップクラスの197mW(同社28nmプロセス比60%減)の低消費電力で実現できることを確認。

 

ルネサスが今回開発した動画像処理回路は、膨大な動画像処理をCPUとGPUに負荷をかけることなくリアルタイムかつ低消費電力、低遅延で行うことで、車載情報システムおよび安全運転支援システムを統合する車載コンピューティングシステムを実現する。

 

同社は今回の成果を、2016年1月31日から米国サンフランシスコで開催される「国際固体素子回路会議ISSCC 2016(International Solid-State Circuit Conference 2016)」にて、現地時間の2月1日に発表およびデモ展示を行った。

デモでは、今回開発した動画像処理回路を実装したSoC搭載ボードを設置し、フルHD12チャネルの動画像コンテンツ再生表示により処理性能を実証するとともに、その際の使用メモリ帯域削減率をリアルタイム表示することで本成果の有用性を示した。

 

【関連リンク】
ルネサス

Previous

ルネサス、自動運転時代の機能安全規格に対応する車載コンピューティングシステム向けハードウェア障害検出・予測技術を開発

PTC、Vuforiaで企業に拡張現実(AR)を提供

Next