ソニー、AI処理機能を搭載したインテリジェントビジョンセンサーを開発

IoTの普及によりあらゆる機器がクラウドに繋がり、機器から取得した情報をクラウド側でAI処理することで、さまざまな情報処理を実現するシステムの活用が一般的になりつつある。一方、クラウドで扱う情報量の増加に伴い、リアルタイムな情報処理を阻害するデータ転送遅延、個人を特定できるデータをクラウドに保存することに伴うセキュリティ上の懸念、またクラウドサービス利用時の消費電力や通信コストの増加などの課題が生じている。

ソニー株式会社は、AI処理機能を搭載したインテリジェントビジョンセンサー 2タイプを商品化した。

同製品は、画素チップとロジックチップを重ね合わせた積層構造を用い、ロジックチップにAIによる画像解析処理の機能を搭載したイメージセンサーである。必要なデータだけを抽出することで、クラウドサービス利用時におけるデータ転送遅延時間の低減、プライバシーへの配慮、消費電力や通信コストの削減などを実現する。主な特長は以下の通り。

• AI処理機能を搭載したイメージセンサー

画素チップには、有効約1230万個の裏面照射型画素を配置し、広い視野角で情報を捉えることができる。ロジックチップには、通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うソニー独自のDSP（Digital Signal Processor）と、AIモデルを書き込むことができるメモリーを搭載した。これにより、高性能なプロセッサや外部メモリーを必要とすることなく、エッジAIシステムを実現できる。

• メタデータの出力が可能

画素チップから取得した信号をロジックチップで処理する過程で、ISP（Image Signal Processor）処理やAI処理を行うことにより、対象物をメタデータで出力し、扱うデータ量が削減できる。

また、画像情報を出力しないことで、セキュリティリスクを低減し、プライバシーに配慮した対応が可能となる。通常のイメージセンサーの撮影画像に加え、ISP出力形式の画像（YUV/RGB）や、特定領域のみ切り出したROI（Region of Interest）画像など、ユーザーのニーズや用途に応じて出力データの形式を選択することも可能とした。

• AI処理による対象物のリアルタイムトラッキング

通常のイメージセンサーで動画を撮影する場合、出力された1フレームの画像ごとにAI処理に繋げる必要があるため、データの送信が多くなりリアルタイム性を確保することが困難だった。

同製品は、ロジックチップにおいてISP処理およびAI処理（MobileNet V1（※）の場合3.1ミリ秒の処理時間）を行うことで、動画の1フレーム内で全ての処理が完結する。これにより、動画を撮影しながらの対象物のリアルタイムトラッキングが可能となる。



• AIモデルの選択が可能

ユーザーは、任意のAIモデルをメモリーに書き込み、使用環境や条件に合わせて書き換え、アップデートすることが可能だ。例えば、同製品を採用した複数台のカメラを店舗に設置した場合、1種類のカメラで設置位置、状況、時間など目的や用途に応じて使い分けることができる。入り口であれば入店者のカウント、棚であれば商品の欠品検知、天井であれば来店者のヒートマップ（人が多く集まる場所の検知）などの複数の用途に活用できる。

また、これまでヒートマップの検出に使用していたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることもできる。

同製品を採用することにより、AI機能を実装したカメラの開発が可能となる。今後、小売業界や産業機器業界における多様なアプリケーションの実現や、クラウドと協調した最適なシステムの構築に貢献する。

https://www.youtube.com/watch?v=dc11Q-eDqnQ&feature=emb_logo

※　MobileNet V1：モバイル機器向けの物体識別を目的とした画像解析用のAIモデルの名称。