NECと東京工業大学、AIで悪条件下の視認性を向上する「マルチモーダル画像融合技術」を共同開発

日本電気株式会社(以下、NEC)と国立大学法人東京工業大学 工学院 奥富正敏教授、田中正行特定准教授らの研究グループ(以下、東京工業大学)は、一般カメラで撮影した可視光画像と、熱をとらえるサーモカメラなどで撮影した非可視光画像を、AIを用いて自動的かつ効果的に合成し、それぞれの画像単独では捉えにくかった対象物・状況の視認性を高める「マルチモーダル(注1)画像融合技術」を共同開発した。

同技術により、瞬時の視認が必要となる様々な分野で、悪条件下でも正しい状況判断が可能になるという。例えば、夜間や濃霧などの悪天候下でも活用可能な施設監視、対向車の眩しいヘッドライトや暗闇による死角があっても運用できる自動運転支援、建物のひび割れなど表面だけでなく内部の異常まで検査可能にするインフラ点検など。

従来、異なる種類のカメラの画像を合成するには、専門家による手動での複雑な変換作業が必要だった。同技術は、それぞれのカメラから得られた画像をAIによって、効果的かつ自動的に合成することでこの手作業を不要にするという。さらに、可視光画像と非可視光画像のそれぞれの長所を積極的に活用することで、従来は視覚化が困難だったシーンでも高い視認性が得られるとしている。

サーモカメラやテラヘルツカメラといったカメラの種類や、環境の特性(明るさ、光線の方向、障害物の有無など)に応じて、AIが画像内の各部分の視認性の度合いを評価、各画像から最適な領域のみを自動的に抽出。さらに、非可視カメラの画像中の、異常や危険物などに関するわずかな特徴をAIが解析し、白とびや黒潰れなどの画像破たんが生じない、適切な強調の度合いを判断しながら、従来にない高い視認性を持つマルチモーダル(可視-非可視)な融合画像を自動的に生成するという。

NECと東京工業大学は、今後も産学連携の仕組みを通じて、さまざまな社会インフラを安全・安心に運用するセーフティ事業の鍵となる画像処理ならびにAI関連技術の研究開発を進めていくとしている。

(注1)マルチモーダル:複数の様式、モード。本発表では、可視カメラの画像と赤外線カメラのような非可視カメラの画像など、異なる画像様式のこと。
(注2)革新的研究開発推進プログラム(ImPACT)タフ・ロボティクス・チャレンジにおける悪環境模擬装置について許諾を得て使用。

【関連リンク】
日本電気(NEC)
東京工業大学(Tokyo Institute of Technology)

Previous

産総研、日立ら3社と共同で土砂災害時にドローンによる埋没車両の探査システムを開発

CData Software Japan、API開発・運用基盤「CData API Server」を製品版リリース

Next