富士通とカーネギーメロン大学、2次元画像から人や物体を動的に3次元化する技術を開発

富士通株式会社とカーネギーメロン大学は、2022年2月よりソーシャルデジタルツインの共同研究を開始しており、複数角度から撮影された動画を画像生成する高速3次元シーン復元技術の開発などの取り組みを進めてきた。

しかし、共同研究を進める中で、撮影画像を3次元に動的に復元するためには、映像の解析精度が技術的に不十分な部分や、3次元上で正確に物体の位置や形状を再現するために複数のカメラが必要となり、作業負荷、コストなどに課題があった。

そこで両者は、固定設置の1台の単眼カメラから得られる画像に映る物体を、AIによって3次元に変換しデジタル化することで、人や物体の3次元形状や位置を再構築する技術を、2024年2月に開発した。

そして、2024年2月22日から、カーネギーメロン大学周辺の交差点を撮影した画像データなどで、この技術の有効性を検証する実証実験を開始した。

今回発表された技術は、様々な角度から撮影した市街の複数の画像を、画像に映り込む建物や人などの物体の種別を判別させたうえで、深層学習を用いて学習させたモデルを活用する。

このモデルを用いて、カメラに映る2次元の各物体の3次元形状を推定可能にする3次元形状推定技術と、建物や地形などを含む3次元モデル上で人や物体を高精度に位置推定し復元する3次元プロジェクション技術、2つのコア技術によって構成されている。

これにより、単眼カメラの1枚の市街の画像からでも、3次元空間上のVoxelの集合体として、建物や人といったカテゴリも含めて表現することが可能になる。

富士通とカーネギーメロン大学、2次元画像から人や物体を動的に3次元化する技術を開発 — 開発技術の取り組み概要

また、事前の機械学習によって、建物の裏側などの画像では隠れて映っていない部分についても、正確な3次元形状の推定を可能にする。

これらの技術を活用することで、例えば交差点など人や車が密集する場面で撮影された画像を、匿名化したうえで3次元上へ動的に復元し、監視カメラでは捉えきれなかった交通事故の原因などの潜在的な課題を可視化することができる。

さらに、3次元形状推定技術の出力結果に基づいて3次元化されたデジタルツイン上で、すでに学習済みの行動分析のノウハウを組み込むことで、例えば人が物体をすり抜けるなど、現実世界では起こり得ない人間の動きを除外しつつ、進行方向や速度情報などとともに3次元上に高精度な配置を可能にする。

これにより、人や車の動きをより現実世界に即した形で復元可能となるほか、物体の特定の部分が障害物によって隠されている場合でも、正確な位置推定ができる。

富士通とカーネギーメロン大学は今後、交通だけでなく、スマートシティなどの有用性も検証し、2025年度までに実用化を目指すとしている。

また今後の実証実験では、2024年2月22日から2024年5月31日までの期間、米国ペンシルバニア州ピッツバーグ市のカーネギーメロン大学内などで単眼カメラを設置し、交差点の画像データから物体を認識し、ソーシャルデジタルツイン上で再現する。この結果から交通事故の可能性を発見し、防止策を立案する計画だ。