NTT、XRスポーツ空間を生成する技術を開発しサイクルロードレースで実証を実施

日本電信電話株式会社（以下、NTT）は、宇都宮市、特定非営利活動法人ジャパンカップサイクルロードレース協会と、2023年10月13日から2023年10月15日にかけて開催予定の「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース」を再現したメタバース空間「XRスポーツ空間」において、選手達と一緒に走っているような「共走」体験を実現する実験を行う。

「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース」は、国際自転車競技連合よりプロシリーズに認定された、ワンデイロードレースだ。

今回の実証では、「ジャパンカップサイクルロードレース」前日に宇都宮市大通りにて⾏われる⾼校⽣たちによるレース「ホープフルクリテリウム」において、競技レースの映像・音響・路面情報等のデータを収録し、後日競技レースの時間・空間を再現したバーチャル世界「XRスポーツ空間」をレース参加者が体験し、技術の効果効用を評価する技術検証を実施する。

広域3D映像空間の推定・再現には、移動する複数のカメラ映像から3次元の映像空間を生成し、任意視点からの映像を生成可能とする技術を活用する。

リアル世界内の動物体により生じる遮蔽領域を、別撮り映像に基づいた画像選択と画像復元により補間することで、広域な映像空間を再現する。

NTT、XRスポーツ空間を生成する技術を開発しサイクルロードレースで実証を実施 — 広域3D映像空間の推定・再現のイメージ

広域3D音響空間の推定・再現には、移動するカメラ・マイクで撮影・収音された映像・音響データから、リアル世界内の選手や観客などの個々の音源を分離し、個々の音の位置を含む音の空間的な広がりまでを含めた音響空間を生成する技術を活用する。

オブジェクト識別をベースとした、音源分離と奥行推定を組み合わせた個別音源定位、カメラ・マイクの位置情報を活用した音場再構成により、自然な音響空間を再現する。

広域振動空間の推定・再現には、リアル世界を自転車で走行した際の振動音・路面映像を収録し、メタバース空間で走行する際の路面や速度に応じて変化する振動感覚を再現する技術を活用する。

カメラで収録した路面を区分けし、一部の場所で収録した振動音を区分けに基づいて空間全体に適用することで、広域な振動空間を再現する。

今後は、「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース」で収集したデータを活用し、2023年11月14日から17日に開催される「NTT R&D FORUM 2023 -IOWN ACCELERATION」において、技術の紹介および、共走体験のデモ展示を実施する。

また、選手を含む有識者へのヒアリングを通じて、ユーザビリティや体験価値の評価を行い競技者、観戦者のすそ野を広げる活動にも寄与するとしている。