NTT、ヒトやモノの動きを含むダイナミックな空間情報を高精細・高速に遠隔地に伝送・再現する技術を確立

NTTグループでは、様々なセンシングデータをリアルタイムに収集し、実世界データ（空間情報）をデジタル化する4Dデジタル基盤や、地域が抱える課題解決に寄与するメタバースに活用することを目指して、3D点群メディア処理技術の研究開発を推進してきた。

しかしこれまでの技術では、元になる点群データの計測方法の特性上対象は静的な物体に限定されており、動きのある空間情報をそのまま伝送・再現することは困難であった。

こうした中、日本電信電話株式会社（以下、NTT）は、動きのある空間情報を遠隔地にそのまま伝送・再現する「動的3D空間伝送・再現技術」を確立し、同技術による新たなエンターテイメント体験の創出に成功したと発表した。

今回確立した「動的3D空間伝送・再現技術」では、少数のLiDARおよびカメラにより計測・撮影された3次元点群データと画像データを組み合わせることで、任意の場所・背景において、オブジェクトの動きを含む空間全体の情報を丸ごと伝送・再現することが可能だ。（トップ画参照）

「動的3D空間伝送・再現技術」では、その要素技術の一つであるリアルタイム3Dデータ高解像度化技術により、高密度な動的3D空間の伝送・再現を実現している。

LiDARはレーザ反射から点群の位置を計測する機構のため、単位時間当たりに取得可能な点数に物理的な限界がある。そのため、動きのある物体では点群データが極めて疎になり、形状の再現が困難という問題があった。

そこでNTTでは、点群データと同時に別カメラで収録された画像データをもとに、色と奥行きの対応関係を学習することで、まばらな点群データを高速に高密度化する機械学習ベースの技術を新たに開発した。

この技術では、点群データの高密度化処理に画像フィルタ処理の考えを導入しているが、当該処理を直接畳み込み層に表現することで、従来技術と比較して機械学習のパラメータ数を約1000分の1にまで小型化した。この軽量な機械学習モデルにより、処理速度は従来より約6倍高速化しているのだという。

この結果、市販のLiDARで計測されるデータの空間解像度について、リアルタイム処理で約20倍の高解像度化を実現している。

NTT、ヒトやモノの動きを含むダイナミックな空間情報を高精細・高速に遠隔地に伝送・再現する技術を確立 — リアルタイム3Dデータ高解像度化技術の概要

なお、同技術は、虎ノ門ヒルズステーションタワー内TOKYO NODE HALLで行われた配信イベント「Perfume 25th & 20th Anniversary Live Performance “IMA IMA IMA” Powered by NTT」の中で、音楽ユニットPerfumeのライブパフォーマンスを空間ごとスキャンし、3D空間データとして伝送・再現するシーンに適用された。

将来的には、光を中心とした技術を活用したネットワーク・情報処理基盤「IOWN」の低遅延・大容量ネットワーク（APN：All-Photonics Network）を活用することで、膨大な動きのある空間情報を瞬時に双方向で共有することを目指すとしている。

これにより、都市や作業現場のモニタリング、災害対策や都市計画のシミュレーション、遠隔のチームとのコラボレーション、リアルタイムでフィードバックを行えるメタバース環境などの実現が期待されている。