メタバース、VR・ARの基礎と活用事例

2021年ごろから「メタバース」という言葉を見聞きすることが増えてきた。

世界では、Meta、Microsoft、Qualcomm、NVIDIA、日本でもパナソニックやソニー、ソフトバンクなどがメタバース市場に参入することを発表し、彼は皆、オンラインで繋がる新しい方法を模索している。

メタバースにはスマホやPCからもアクセスできるが、VRヘッドセットやARグラスを装着した没入型の体験は、メタバースをさらに発展させていくものと考えられる。

本稿は、メタバースの盛り上がりをきっかけに、VRやARを事業に取り込もうとする担当者向けに、読んでいただきたい記事となっている。

メタバース(Metaverse)とは

メタバースとは、インターネット上に構築される仮想空間の総称で、「meta(超越した)」と「universe(宇宙)」を組み合わせた造語である。

ユーザーは仮想空間上のアバターを操作して仮想空間内を自由に移動したり、他のアバターと交流したり、ショッピングをしたり、仕事をしたりすることができる。

メタバースは、インターネット技術の拡張であり、メタバースのアクセスポイントには、拡張現実(AR)、複合現実、仮想現実(VR)などの仮想世界のテクノロジーに加えて、PCとスマートフォンが含まれる。

メタバースという言葉が初めて登場したのは、1992年。SF作家のニール・スティーブンソン氏による小説「スノウ・クラッシュ(Snow Crash)」の中で、この言葉が使われたのがはじまりと言われている。

そして2003年には、仮想世界でさまざまな体験を楽しめるバーチャル空間として「セカンドライフ」が話題になった。

セカンドライフの世界では、アバター、景観、建物、ファッションからありとあらゆるものがユーザーが制作することができ、それらを譲渡や販売が可能であった。毎月1回以上アクセスするユーザーは100万人以上だったという。

その後、2021年にFacebookが社名を「Meta(メタ)」に変更すると発表したことをきっかけに、メタバースという言葉が一気に広がった。

実際に、メタバースが体験できる空間としては、「Decentraland(ディセントラランド)」がある。

ディセントラランドでは、仮想通貨となる「MANA(マナ)」を使って、経済活動を行うことができ、その土地やバーチャル空間上のモノやアバターなどを売買することができる。

しかし、すべての企業がVRヘッドセットを装着して没入するメタバースに賛同しているわけではない。

Metaのザッカーバーグは「未来では常に装着していられるデバイスによってコミュニケーションは改善される」と語っている一方、GoogleからスピンアウトしたポケモンGOなどを開発しているスタートアップ企業Nianticは、VRヘッドセットに拘束されるようなメタバースを「ディストピアの悪夢」と呼んでいる。

Nianticは、AR技術を使って現実の世界とデジタルの世界を融合させ、人々を直接結びつけるという没入型デジタル環境の仮想世界ではない「現実世界のメタバース」を提唱している。

各社とも、自社の強みを生かし、得意な分野でその力を発揮していくことになるが、今後どういった分野でメタバースが広がっていくのか。

IDCは、「メタバースの開発は、社会的つながり、仕事、娯楽、ショッピング、教育、デジタル経済という市場の6つの主要分野に影響を与える」と予想している。

xRとは

xRとは、VR・AR・MRなどの総称である。

トロント大学のポール・ミルグラム氏が1994年に発表した論文では、下図のようなスペクトルでVR・AR・MRの関係を表している。

この論文では、現実世界とVR環境は対局の関係にあるのではなく、連続的に変化するものと定義されていて、バーチャルとリアルがどの程度の比率で混ざり合っているかという違いで分類されている。

MRは、ARと拡張VRまでを包括する広い概念とされていて、リアルとVRの混合体とされている。本稿では、拡張現実と拡張VRの範囲、バーチャルとリアルが混ざり合っている部分をAR/MRと定義する。

XRとは

VRとは

VRとは、「Virtual Reality」の略で、日本語では「仮想現実」と訳されることが多い。

日本バーチャルリアリティ学会の定義では、「みかけや形は原物そのものではないが、本質的あるいは効果としては現実であり原物であること」と定義されている。現実にない世界又は体験し難い状況をCGによって仮想空間上に作り出す技術である。

VRを体験するには、ゴーグルやヘッドマウントディスプレイ(HMD)のようなヘッドセットを装着する。視界の全てを覆うことでより没入感が高まる。

VRの技術的な仕組み
VRの技術的な仕組み

VRが活用される場面

VRはゲームなどのエンターテイメントが多く活用されているが、ビジネス利用では、教育や訓練での使用が市場を牽引している。

現実で実現するには危険だったりコストが高かったりする状況をVR上で再現することで、何度も繰り返し体験することができる。

ヘッドマウントディスプレイ(HMD)の分類

VRのデバイスは以下のように大きく3つの分類に分けられる事が多い。使用用途や使用人数に応じて、どのHMDを使用するかを考慮する必要がある。

PC接続型VR

PCに接続して使用する。PCで処理を行うため、高画質や複雑な処理をすることに適している。比較的高価なデバイスが多い。

オールインVR

HMDだけで、VRの体験ができる。ケーブルの接続などがないので、自由に移動したりすることが可能。

スマホVR

スマートフォンを挿入することで、VRを体験できる。高価なデバイスが必要ないため、大勢でVRを体験したり、とりあえずVRとはどんなものなのか体験したりするときに適している。没入感が低いとされる。

VRコンテンツの制作

VRはHMDを装着することで、立体的な映像を体験することが可能になり、現実に近い体験をすることが可能になる。立体的なコンテンツを作成するために工夫がされている。

両眼視差の利用

HMDに配信される映像が立体的に見えるのは、左右それぞれの目に視差(目の位置のズレ)の分だけずらした映像を提示しているからである。

広範囲の動画撮影・配信

VR動画の撮影時には、人間の有効視野より十分に広い、180°や360°の範囲で撮影を行う。

HMDに表示されている映像は人間の視野角の範囲のみになる。そのため、首を左右に振ると、元々表示されていなかった部分の映像が表示される。

トラッキングの種類

センサーやカメラを用いてHMDの位置を計測する技術。HMDが現実世界のどこにあるかがわかれば、現実世界と仮想空間上で、頭部の位置や動きを一致させることができる。

トラッキングの方法には、インサイドアウト方式とアウトサイドイン方式がある。

インサウドアウト方式 アウトサイドイン方式
特徴 HMDが周囲の環境をトラッキングする HMDの周囲に設置されたカメラやセンサーがHMDをトラッキングする
メリット カメラの設置などの準備の必要がない 処理を外部で行うため、高精度で遅延が少ない
想定使用シーン 使用場所が固定されない場合
HMDのみで使用したい場合
使用場所が固定される場合
高精度なトラッキングが必要な場合
トラッキングの種類

DoF

DoF(Degree of Freedom)とは自由度のことで、xRにおいては、HMDが検知できる動きの方向数を意味する。VRのHMDには通常、3DoFと6DoFのものがある。3DoFは頭の回転や傾きを検知し、6DoFはそれに加え、前後左右上下の動きを検知する。

近年では、6DoFのHMDが主流となっている。

イメージ 3DoF 6DoF
イメージ 3DoF 6DoF
検知できる動き X,Y,Z軸の回転方向 X,Y,Z軸の回転方向と3軸方向の動き
メリット 6DoFと比較して価格を抑えられる 利用者の感覚に近い動きができるため、VR酔いを抑えられる
没入感のある体験ができる

想定使用シーン 車の運転の体験や映像の視聴など、利用者があまり動かないシーン 利用者がバーチャル空間上を移動するシーン
3DoFと6DoFの違い

ARとは

ARとは、「Augmented Reality」の略で、日本語では「拡張現実」と呼ばれる。

現実環境が生み出す感覚情報を、計算機で編集(付加・削除・強調・減衰など)する技術である。一般的には、スマートフォンやARグラスなどのフィルターを通じて、現実の見え方に視覚情報を付加する技術として扱われる事が多い。

物理的な制約を超越したインタラクションや、空間的情報を伴う可視化をすることができる。VRとは異なり、いつでもどこでも使用できるわけではなく、現実世界の状況に影響を受ける。

AR技術的な仕組み
ARの技術的な仕組み

ARが活用される分野

ARが活用される分野として下記項目が挙げられる。

作業支援

作業支援のAR活用

次の作業を視覚的に示す、見えないものを可視化するなど、視覚的補助をハンズフリーで提示することができる。ユーザーの直感に訴える作業支援が可能になる。

訓練(教育、医療)

医療現場でのAR活用

これまでの訓練は、教材と実物を交互に見比べながら、脳内で補完する必要があった。ARを活用することで、操作対象そのものに三次元的な・時間的流れを伴った情報を記述することができる。

ナビゲーション

ナビゲーションにおけるARの活用

実空間に、個人に即した標識を、その時々の目的地にあわせて、一時的に生成できるようになる。

ショッピング・コスメティック

お買い物におけるARの活用

実店舗に赴いたり商品を取り寄せたりせずに、遠隔で試すことができる他、写真や動画では伝えられない情報を伝えることができる。

エンターテイメント

エンタメ領域でのAR活用

実社会には実在しないキャラクターや設定を用いることで、実社会という日常を部隊に非日常なアクティビティを実現することができる。

ARディスプレイの分類

ARは、様々な種類のものが存在している。ここでは、ディスプレイでの分類を紹介する。

ディスプレイは、大きく3種類に分けられる。環境設置型は、環境自体に視覚刺激を提示する、プロジェクションマッピングがこれに当たる。ハンドヘルド型は、スマートフォンやタブレットのカメラを使用するものだ。ウェアラブル型は、専用デバイスを使用する。

その他、聴覚や力触覚に情報を付加するディスプレイも存在する。

環境設置型

プロジェクションマッピング

体験者に特別な用意が必要ない。体験の実現に大掛かりなセッティングを要する。

ハンドヘルド型

作業支援のAR活用

新規でデバイスを開発する必要がない。ディスプレイサイズが端末に制限されるため、没入感は低い。

ウェアラブル型

ウエアラブルARデバイス

ハンズフリーで、個々のユーザーの視界に直接働きかける。専用のデバイスが必要。まだ高価なものも多い。

ARとスマートグラス

ARグラスとスマートグラスは混同されていることもある。どちらも眼鏡のような形をしていて、視覚に付加情報を与えるという点では役割は似ている。その2つが異なる点は、空間を認識し、デジタル情報を重ね合わせるかどうかだ。

スマートグラスとは

ディスプレイを搭載したメガネ型ディスプレイを指す事が多い。ディスプレイ以外にも、カメラやマイクが搭載されていて、写真の撮影や通話、インターネットに接続し、様々な情報を表示させる事ができる。

ARとスマートグラスの違い

空間を認識し、デジタル情報を重ね合わせるかどうかの違いがある。周辺の環境とは関係せず、情報を表示させるだけのものをスマートグラスと呼ぶことが多い。

MRとARの分類について

MRとは、「Mixed Reality」の略で、日本語では「複合現実感」と呼ばれる。バーチャル空間と現実空間がどのくらいの比率で混ざり合っていたらAR・MRかというはっきりした区別はついていない。

市場で「MRデバイス」と呼ばれるものは、(既存のものより高機能な)ARデバイスであるか、または現実環境と機能的・文脈的に融合したコンテンツの提示に重きを置いたものであることが多いとされる。

例えば、ウェアラブル型デバイスを装着し両手を使い作業を行うものや、複数人で共通のバーチャルコンテンツを体験するようなものがある。

xRがもたらす価値

xRの特長

xRの特長

VRは、「南国のリゾート地で海を眺めている」という文脈を作り出す。ARは「渋谷のスクランブル交差点にいる」という文脈で「目的地の情報」を拡張する。

VRやARの良さを引き出すポイント

VR:距離的・時間的制約が解放されることによるインパクトが大きければ大きいほど価値が高い

例えば、「現在の浅草を歩き回る体験」を考えると、浅草に行くコストが高い外国人のほうがメリットを感じる。VRによってどれだけコストを省けるかが使い手にとって重要。

一方、「10年前の浅草を歩き回る体験」を考えると、10年前の浅草は誰もがアクセス不可である。コスト云々どころか、そもそも不可能なことを体験できるというのもVRの価値の1つだ。

AR:変化する利用者のニーズに応じて、必要な情報を遅延なくシームレスに届けられると価値が高い

例えば、名刺にスマホをかざしたらARで人物情報が拡張される、というサービスがあったとしよう。営業ツールとして、話のネタくらいにはなるかもしれないが、あまり活用されない可能性がある。

一方、AUDIが発表したQ4 e-tronのAR機能は非常に便利だと感じる。

Q4 e-tronには、フロントスクリーンに上下2つに分けて情報を表示すAR機能が搭載されている。上部には、ナビゲーションや車線逸脱警告等を、フロントガラス越しの視界に映像を重ねて約10m前方に表示し、下部には速度などの主要な情報を約3m前方に表示する。

xRの市場動向

xRの市場動向

出典:IDC AR & VR Headsets Market Shareを参考にアールジーンが作図

2021年のIDCの調査によると、ARおよびVRヘッドセットの世界的な出荷量は2020年より348.4%増加した。オールインVRヘッドセットの出荷は市場の89.8%を占め、Meta(以前のFacebook)は約75%のシェアでトップの座を占めた。

ARおよびVRヘッドセットの出荷台数は、2025年までに年平均成長率(CAGR)45.9%で3,280万台に成長すると予想されている。市場規模はVRがリードするが、ARは2023年から2025年にかけて大幅に成長し、2025年末までに3分の1のシェアを獲得すると予想されている。

事実(ファクト)から見るxRソリューションの動向

VR:教育・研修向けに浸透

Bank of Americaが全行員4万5千名に対し、VR研修を行うと発表。他にも、親族の死亡など感情の問題を抱える顧客に対し、どう対応すればよいかという教材の開発が進められている。

VR:ハードウェアの価格が低下

2019年の5月21日「Oculus Quest」が45,273円で発売されたが、2020年の10月13日「Oculus Quest2」が33,800円で発売された。※いずれも64GB、税別

VR:バーチャル店舗など新しい活用法

東京駅に隣接しているJAPAN RAIL CAFÉでJR東日本やドコモなどが実証実験を実施した。ここではVRヘッドセットを装着して青森県の観光名所を旅できるほか、VR内で販売員と会話をしながら、地産品の購入ができる(商品はCAFÉ内で決済して店舗で受け取る)

AR/MR:教育・研修を中心に普及


再就職希望者への職業訓練を行うポリテクスセンター秋田が、溶接作業をAR技術を用いて練習できるシステムを導入。システムはスペイン製で750万円。家庭用電源があればどこでも溶接可能。

AR/MR:製造業向けの遠隔作業支援


PTCが提供する「Vuforia Chalk」は、アプリをインストールし、作業員は現地の映像を遠隔指示者に共有できる。遠隔指示者側は映像に書き込み、正確な指示することができる。カメラを動かしても書き込んだ要素はズレない。

AR/MR:Covid-19感染拡大

TeamViewerは、米国市場において製造業の現場作業を支援するARソリューションのパイオニアであるUpskill(アップスキル)の買収を発表。新型コロナウィルス流行の影響もあり、遠隔作業支援の取り組みが加速。

VRデバイスの状況

最近のトピックをいくつか見ていく。

Oculus Quest2はゲームだけではなく、様々な用途で活用が進む

中央大学国際情報学部の斎藤ゼミの生徒が、VRの英語授業を体験。

実際にVR英語授業を体験した学生からは、VR英語授業がもたらす効果として、情意フィルター(言語学習の際の心理的な不安感)の軽減、長期的な記憶保持の可能性、モチベーション向上等があげられたという。

一方で、相手の表情やジェスチャー等の視覚的情報を通じた意思疎通が取りにくいといった課題や、VR利用時の企業への個人情報の適切な共有方法についても議論の対象となった。

さらに、JR東京駅に隣接する「JAPAN RAIL CAFE TOKYO」で、VRを活用したイベント「未来の物産展 from 青森」が2021年3月17日~28日まで開催された。

「物産展」といえば、地方の美味しい食材や名産品を、食べたり買ったりできるイベントだが、コロナ禍の今は地方からの出展も、買い物を楽しむ機会も少なくなっている。「未来の物産展 from 青森」はそんな今開催が難しい物産展をVRで実現するものだ。

青森の名産品やお酒、スイーツなどが並んだパネルが表示され、モニターに映る現地の販売員とやり取りしながら、買い物が楽しめる。

フェイスブックの法人向けVRサービス Oculus for Business

フェイスブックの法人向けVRサービス Oculus for Business

Meta傘下のOculus VRは2020年5月21日、企業が業務にVR技術を利用するためのプラットフォーム「Oculus for Business」の正式提供を開始したと発表した。

「Oculus for Business」で利用されるVRヘッドセットは、ゲームストアなどの一般ユーザー向け機能がカットされ、多数のデバイスを一括してセットアップする機能や遠隔操作、セキュリティ対策を搭載するなど、ビジネス利用における利便性・安全性を実現する。

Oculus for Businessを利用したJohnson & Johnsonの、VRトレーニングを実施した際に見られたパフォーマンスの向上は233%にのぼるという。

さらに、ネスレピュリナが月間10人の営業担当者をVRでトレーニングすることによって実現した年間コスト削減額は、10万ドルになるという。

QuestとQuest2の比較によって気付くこと

Oculus Quest Oculus Quest 2
571g 503g
ストラップがゴム素材 ストラップが布
解像度 1,440×1,600 解像度 1832×1920
リフレッシュレート72Hz リフレッシュレート72Hz/80Hz/90Hz
Snapdragon 835 Snapdragon XR2 プラットフォーム
メモリ4GB メモリ6GB
Oculus Link usbケーブルでpcに接続するとPC向けVRゲームが遊べる Oculus Link usbケーブルでpcに接続するとPC向けVRゲームが遊べる
64GB 49,800円 64GB 37,100円

明らかに性能が向上しているのに、なぜ価格がこんなにも安いのか? ヒントになるのは、米メディアThe Informationが行ったPodcastでのインタビューで、ザッカーバーグが次のように語った内容だ。

”プレミアム価格を請求するこの分野の他の企業とは異なり、私たちの基本原則の1つは、すべての人にサービスを提供したいということです。私は、優れたVR&ARデバイスを作成する方法だけでなく、1000ドルではなく300ドルになるようにどのように作成するかに非常に重点を置いています”

”私は、アプリストアのようなものから得られるあらゆる利益を受け取り、それを使って価格を下げる傾向があります”

上記のコメントをもとに、Meta社のビジネスモデルを簡単に図解した。

フェイスブックビジネスモデル

Meta社はアプリストアなどでのコンテンツ販売もしながら、高機能なデバイスをなるべく廉価に提供し続ける姿勢だと伺える。

VRの技術革新

フェイストラッキング

フェイストラッキングとは、カメラから入力した映像の中から人間の顔を検知して、その傾きや大きさ、さらには目や鼻、口、眉といった顔のそれぞれのパーツの位置や大きさを立体的に検知することである。

台湾HTCは2021年3月10日、VRヘッドセットに取り付けることで人間の表情をトラッキングできる機器「Vive Facial Tracker」を発表した。顎、歯、舌、頬など38カ所の顔の動きをカメラや赤外線でトラッキングする。価格は139ユーロ(約1万8000円)。

Vive Facial Tracker

同社のVRヘッドセット「VIVE Pro」「VIVE Pro Eye」に対応し、眼球の動きや焦点を追跡できるVIVE Pro Eyeと組み合わせれば、顔全体の動きをキャプチャー可能だ。

触覚フィードバック(グローブ型・コントローラー型)

人間の皮膚にある受容器を刺激して、触覚や力覚、圧覚といった感覚を与える「触覚フィードバック」機能。VRにおいては、VR空間内にある3DCGのオブジェクトに実際に触れているような感覚を再現できると期待されている。

「HaptX Gloves DK2」は、同社が開発に2年を費やし、サイズと重量の削減、フィット感とエルゴノミクスを改善したほか、ルームスケールのVRサポートの実現、触覚の忠実度の強化など、大幅なアップグレードが加えられた。

外骨格部分は、ユーザーがVR内で物を掴んだりハンドルを操作したりする際に、指の動きを止めて力触覚フィードバックを返す。グローブあたり最大40ポンド(約18キロ、指1本あたり8ポンド)のフィードバックに適用。日本では、株式会社アスクが、販売代理店を務める。

ソニーは、これまで数十年にわたってPlayStationプラットフォームで発売したコントローラーから得た知見も活かしながら、あらゆる大きさの手で検証を重ね、自然と手にフィットするデザインを採用。

ハプティックフィードバックを搭載しており、ゲーム内でのあらゆる感触をさらに強力に、あるいは手触りやニュアンスが感じられる表現を可能にする。岩石がごろごろと横たわる砂漠を横断している感覚や、近接攻撃で拳を交わし合う感覚など、感触の違いがはっきりと感じられるという。

PS5向け次世代VRシステム

触覚フィードバック(スーツ型)

人間の皮膚にある受容器を刺激して、触覚や力覚、圧覚といった感覚を与える「触覚フィードバック」機能。VRにおいては、VR空間内にある3DCGのオブジェクトに実際に触れているような感覚を再現できると期待されている。

TESLASUIT(VR Electronics)は、触覚フィードバック、モーションキャプチャ、バイオメトリクスを統合したVR/AR対応のスーツ型デバイス。

中にはWi-Fiの送受信機能、電気刺激を生み出す80個のチャンネル、10個の内部モーキャプ用センサー、それに8〜10時間の充電式長寿命バッテリーといったメカニズムが組み込まれている。日本ではアスクは2020年8月4日が「TESLASUIT」を取り扱っている。

危険な環境を再現したシミュレーションや、XRコンテンツによる効果的な教育トレーニングなどにおいて感覚的な体験を提供している。

ブレイン・コンピューター・インターフェース

BCI(Brain-Computer Interface)がVR/ARデバイスの入力方法として注目されている。実現すれば、コントローラーや音声操作も不要で、ユーザーが頭の中で必要なことを考えるだけで、入力が可能となる。

2021年2月、カナダのスタートアップCognixionが考えるだけで操作できる「Cognixion One」を2021年内にリリースすると発表した(現在の状況不明)。

発表時点の用途としては、脳性麻痺や筋萎縮性側索硬化症(ALS)いったコミュニケーションに問題を抱えている人を対象としている。

ユーザーの考えそのものを読み取るのではなく、視線や指す方向を脳活動から判断し、ヘッドアップディスプレイに映るメニュー画面から選択したり、メッセージをタイプすることが可能になる。

こういった取り組みは以前から行われていた。スタンフォード大学が17年に公開した論文では、身体がマヒしている患者の脳に電極を設置して脳活動を読み取り、画面上のカーソルを操作している。下記のYouTubeでその様子を見ることができる。

VR内歩行デバイス

VR内歩行デバイスは、現実世界で広範囲を移動せずにVR空間の中を歩いたり走ったりすることができる。

「KAT WALK C」は、自宅で使用することを想定したルームランナー形式のデバイス。身体を背中のハーネスに固定し、好きな方向に“移動”することで、その動きがVR内に反映される。

同社はクラウンドファンディングで資金調達を完了したことを発表。166万ドル(約1億7,500万円)の調達を報告。一般販売予定価格、約26万円。HTC VIVE、Oculus Rift(Rift S)、PlayStation VRなどに対応。(Questにも対応)

VirtuixのOmniシリーズは、現実世界で広範囲を移動せずに、VR内で歩く・走ることを可能にするデバイスだ。専用のシューズを履き、デバイスの床面を滑るように歩くことで、VR内に動きを反映する。

2020年10月に発表した最新のデバイス「Omni One」。過去のOmniよりも軽量化・小型化。同社はクラウンドファンディングで資金調達。2021年3月10日現在で1,100万ドル(約12億円)。

テレイグジスタンス(遠隔存在)

テレイグジスタンス(遠隔存在)とは、ヒトの目や手腕の機能を持った移動ロボットを遠隔地から操縦し、存在感や実在感を伝送するシステムのことである。

市場規模は急速なペースでの成長が見込まれ、既存の遠隔伝送システムやロボティクス、VR、SNS、人工知能(AI)を巻き込むような形で大きく成長していくものと考えられている。

VRを活用した人型遠隔操作ロボットの開発を行うGITAI Japanの直近の動きは下記のような流れになる。

2019年2月 プロトタイプ開発

宇宙飛行士の作業を代替する遠隔操作ロボのプロトタイプを開発。作業コストが10分の1まで低減する。VRデバイスと触覚グローブを身に着けて動かすと、別の場所にある360度カメラ付き人型ロボットと無線通信で同期し、自分の体のように操れる。

2019年8月 4.4億円調達

ロボットの開発および、2020年末にISSへの実証実験機を打ち上げるために資金調達を実施。Spiral Ventures Japanをリードインベスターとし、DBJ Capital、J-Power、500 Startups Japanが投資を行った。

2021年3月 18億円調達

宇宙船外対策のための開発費・人件費や2023年実施予定の軌道上船外技術実証、米国市場進出のための人件費のための資金調達を実施。2021年夏にはISS船内でGITAI製ロボットによる汎用作業遂行技術実証。

ARグラスの状況

ARを実現する視覚ディスプレイは「環境設置」「ハンドヘルド」「ウェアラブル」の3種に分類することができる。

「ハンドヘルド」と「ウェアラブル」はパーソナライズな体験を提供するものの、コストと体験の質とのトレードオフとして、スマートフォンが選択されがちである。今後AR/MRグラスは普及していくのだろうか、その際の課題は何か、改めて考える。

主要なARグラス

HoloLens2(米Microsoft)

HoloLens2は、目の前の現実世界とCGを融合して体験できる、複合現実を実現するスタンドアロンのデバイス。Windows10を搭載している。

産業向けにフォーカスして設計されており、箱を開けたときからすぐ使えるアプリケーションがマイクロソフトから提供される。

HoloLens2は、初代モデルに比べ視野角が2倍になり、ハンドトラッキング、アイトラッキングでの操作ができるようになった。6DoFトラッキングに対応。操作はコントローラーなどは必要なく、両手の10本指の動きを認識することができるので、表示されている3Dオブジェクトをつかむことや、細かく操作することができる。

計測したい対象物自体に搭載したセンサーを利用して、対象物の位置を計測するインサイドアウト方式採用。重さは566g。

Magic Leap 1(米Magic Leap)

米国Magic Leap社が開発したMRヘッドセット。

メガネの形状をしたヘッドセットとコントローラー、プロセッサーとバッテリーを内臓したユニットの3つから成り立ち、独自OSが搭載されている。Googleやアリババなどの大手企業から1,000億円単位での資金調達を成功させたニュースで大きな注目を集めた。

HoloLensと比較したとき、Magic Leap Oneはよりクリエイティブな体験に特化したデバイスと言える。日本では、NTTドコモが5Gと組み合わせたMRコンテンツの普及を目指し展開中。重さは325g。

Nreal Air(中国Nral Ltd.)

Nreal Air
出典:Nreal Air公式サイト

NTTドコモとKDDIは2022年2月14日、スマートグラス「Nreal Air」を3月4日から販売を開始すると発表した。

中に小型ディスプレイを内蔵しており、スマートフォンとUSB Type-Cで接続することで、4m先に130インチの仮想スクリーンが投影される感覚で動画などのコンテンツが楽しめる。バッテリーレス(スマホから給電)のため79gと軽量に仕上がっている。

「HoloLens」や「Magic Leap 1」は高価格・高性能である一方、NrealLightは一般ユーザー向けに低価格で提供している。

他2機種と比べて機能は限定的。位置をトラッキングするためのカメラの数はHoloLensやMagic Leap 1と比べると少なく、精度も劣る。またコントローラーもスマートフォンを使った簡易的なもので、手や指を使った操作の範囲は限られている。

Nreal Airはスマートフォン(Androidのみ)と接続して使用するが、HoloLensは単体で動作。Magic Leap 1は外付けの専用ユニットを使用。

法人向けの導入・検討が進んでいる

HoloLens2がNASAの宇宙船Orionの開発を支援

宇宙船Orionの製造の元請けLockheed Martin は、Orionに乗組員を乗せる最初のミッションであるNASAのArtemis II missionで使用される宇宙船のさまざまな組み立て作業に HoloLens 2 を採用。

宇宙船の製造には数百万の作業が必要で、電気ケーブルの正しい取り付けなど、エラーが許されない。部品の組み立て方法のアニメーションやボルトの締め付けトルクなど、必要な情報はHoloLens2から取得でき、組み立てエラーが排除できる。

ネジ位置をマーキングする作業では、ホログラフによる作業指示を受けた技術者は90%の高速化を実現できたという。

ニトリがのMagic Leap 1を活用したショールーム

ドコモとニトリXRサービスの検討に関する協業契約を、2021年2月23日(火)に締結した。

従来のショールームでは、設置スペースのサイズによって、体験者が実際に体験できるカラーバリエーションや、オプションの組み合わせには限界があった。しかし MRを用いることで、デジタル上に設置された膨大なバリエーションから、体験者が自分好みにカスタマイズした3Dモデルを見ることができる。

ただ 眺めるだけではなく、引き出しの開閉などの動作を実際に触れているかのように疑似体験可能。これらの体験を複数名で同時に行うことができる。

科学未来館で5G×NrealLight活用した、新たな体験

日本科学未来館、KDDI、KDDI総合研究所は、未来館の展示に対してxR技術を使ってデジタルコンテンツを重ね合わせるデジタル展示「HYPER LANDSCAPE」を開発し、2021年3月11日から4日間、15時~17時の間で行った。

来場者がARグラス「NrealLight(貸し出し)」を装着すると、「バーチャルヒューマン coh(コウ)」が現れて展示の案内をしてくれる。Cohのレンダリングはクラウド側で行い、ストリーミングでARグラスにリアルタイム転送を行っている。ARグラスからは常時画像からアップロードされており、それを3Dマップと照合することで、鑑賞者の向きを把握する。

消費者向けの事例

消費者向けでAR活用されている事例では、ユーザーが試しやすいスマートフォンの使用が多い。

購入率や返品率改善に効果 ECへの3Dモデル・AR導入

EコマースプラットフォームのShopifyは、3DモデルやARを使った商品確認機能を提供した。

米国のGunnerは、犬を運搬するためのキャリーケースを手掛けるメーカー。同社の製品は堅牢さを大きな強みとしているが、それゆえに重く、輸送費がかかる物。もしユーザーからの返品が積み重なれば、輸送費は大きな痛手となる。

そこでGunnerは、Shopifyの3D/AR機能を活用。商品ページに3Dモデルをアップロードし、ユーザーが好きな角度からキャリーケースを確認できるようにした。

また、AR機能も採用し、モバイル端末を使ってARでキャリーケースを表示、自宅の犬とサイズを比較してから購入できるようにした。

前四半期と比較し、サイト訪問者がショッピングカートに商品を入れるコンバージョン率は3%アップ。実際に購入に繋がったコンバージョンは40%も上昇。返品も5%減少した。

Champs Sports AR試着機能でユーザーのシェア数増

米国のスポーツ小売店Champs Sports(チャンプス・スポーツ)は、スナップチャットを用いたAR試着をスタート。

ARトライオン(AR試着)は、2020年6月にSnap.Incが発表した機能によるもの。

ユーザーはスナップチャットのアプリを起動、自身の足にスマートフォンのカメラをかざすと、ARでスニーカーを履いたときの様子を確認できる。商品が気に入れば、”Shop Now”のボタンをタップして購入できる。

Champsによれば、既にARトライオンについて多くのシェアが見られるとのこと。さらに店頭の試着と比較して、5倍のパフォーマンスを上げていると説明している。

ARデバイスにおける試み

ARコンタクトレンズ「Mojolens」

ARの新興企業Mojo Visionは、目に装着するだけで視界に情報をAR表示することができるコンタクトレンズを開発中。気温や天気など外界の情報/心拍数や体温などの健康データ/友人や家族からのメッセージなどが見れる予定。

Mojo Visionによると、Mojo Lensは現在米治験審査委員会(IRB)の承認のもとで臨床研究を行なっており、照明のコントラスト強化をリアルタイムで行う技術で網膜色素変性症、夜盲などの低視力の人をサポートする計画が進行中。

Meta リストバンド型コントローラー

Inside Facebook Reality Labs: Wrist-based interaction for the next computing platform
出典:Inside Facebook Reality Labs: Wrist-based interaction for the next computing platform

MetaのAR/VR技術研究開発部門であるFacebook Reality Labs(FRL)は、ヒューマン・コンピュータ・インタラクション(HCI)の未来に関してブログ記事を投稿。その中には、コンテキストを理解するAIと組み合わせたリストバンド型入力デバイスについて説明している。

FRLはARグラスの理想的な入力デバイスのタイプについて検討中。快適に1日中装着でき、装着時もあまり目立たず、しかも手の動きの情報が取り込みやすいという理由でリストバンド型にたどり着いたという。

例えば、音声は直感的だが、公共的な場所ではプライベートが保たれず、バックグラウンドノイズがあると使えないことがある。スマホやゲームコントローラーのようなデバイスは、あなたとあなたの環境の間に摩擦の層ができてしまう。

ソフトウェア(開発者向けツール)

VR&AR:Microsoft Mesh(マルチプレイヤーフレームワーク)

マイクロソフトは、日本時間3月3日から開催されている同社のイベントIgniteにて、VRとARを使った新たなフレームワーク「Mesh」を発表。

Meshは、Azureを利用し、Microsoftが開発者向けに提供するマルチプレイヤーのフレームワーク。開発者には、空間における音声コミュニケーション、クラウドベースのアセット管理、シーンの保存、アバターシステムなどが提供される。

Oculus Quest 2などの他社製VRヘッドセット、そしてPCやスマートフォンにも対応。

MRアプリの開発者が没入度の高い体験を作成するうえで妨げとなる課題は大きく4つある。

  • 1.MRで人々を適切なリアリズムで表現するには、多くの時間とリソースが必要である
  • 2.時間とデバイスの種類を超えて共有MR空間でホログラムを安定に保つことは重要な問題である
  • 3.忠実度の高い3DモデルをMRに組み込んで、お客様のファイル形式をサポートすることは困難
  • 4.地理的に分散したMRセッションでの人々の行動と表現の同期は複雑
  • 以上の一連の課題をMeshが解決しようとしている。

    さらに、マイクロソフトは、Mesh for Microsoft Teamsを2022年にリリースすると発表した。

    Mesh for Microsoft Teams は、物理的に異なる場所にいる人々が、共通のホログラフィック エクスペリエンスを通して共同作業に参加できる Microsoft Mesh の Mixed Reality (複合現実) 機能と、仮想会議への参加やチャット送信、共有ドキュメント上でのコラボレーションなどを可能にする Teams の生産性ツールが融合されたものだ。

    同社のブログでは、「Mesh for Microsoft Teams は、「メタバース」と呼ばれる、人、場所、モノのデジタル ツインが配置されたデジタル世界への入り口でもあります。」と発表している。

    VR&AR:MetaHuman Creator(バーチャルヒューマン)

    大人気オンラインゲーム「フォートナイト」の運営企業、Epic Gamesはブラウザベースの新作アプリ「MetaHuman Creator」を発表した。無料で使える。

    「MetaHuman Creator」を使うと、ゲーム開発者やリアルタイムコンテンツのクリエイターは、デジタルヒューマンの構築にかかる時間を数週間から1時間以内へと短縮することができる。

    幅広いサンプルからデジタルヒューマンに使いたい顔のプリセットを選択するだけで、作業を始めることができる。老若男女あらゆるタイプの顔に対応し、作成したデジタルヒューマンのアセットはすぐにUnreal Engineで使用可能。

    また、2021年4月、10億ドルの資金調達の際、Epic Gamesは調達の理由を「メタバースの長期的なビジョンをサポートするため」と発表している。

    VR&AR:Ready Player Me(アバター)

    エストニアのタリンに本拠を置く3Dスキャンおよびアバター会社であるWolf3Dが開発したReady Player Meは、利用者の自撮りから3Dアバターを作成できるというもの。

    特徴としては、特定のゲーム等に依存しないことを目標としていることである。

    Wolf3Dはブログで、「メタバースは、単一のアプリやゲームではありません。人々が遊び、仕事をし、コラボレーションするために訪れる何千もの仮想世界のネットワークです。ユーザーがゲームやエクスペリエンスごとに新しいアバターを作成することは意味がありません。あなたのアバターは、メタバースを横切ってあなたと一緒に移動できるはずです。」と発表している。

    Ready Player MeはMozillaの「Hubs」や直近では「VRChat」にも対応し、現在対応しているサービスは50程度。現在も多くの開発企業との連携を進めているという。

    VR&AR:RealityCapture(フォトグラメトリ―)

    ゲームエンジンUnreal Engine 4(UE4)を提供するエピックゲームズは、新たにCapturing Reality社を買収した。

    Capturing Realityは、フォトグラメトリーを行うツール「RealityCapture」で知られているスロバキアの企業。フォトグラメトリーとは複数枚の写真から現実空間や物体の3Dモデルを作成する技術のことをいう。

    「RealityCapture」を使うことで、複数枚の写真をベースに空間や物体の3Dモデルを生成することできる。今回の買収を通じて、Capturing Realityのチームは引き続き3Dスキャン技術の提供にあたるという。

    AR:Azure Remote Rendering(リモートレンダリング)

    ホロラボ
    出典:ホロラボ プレスリリース

    Azure Remote Renderingが2021年3月3日に正式リリース。

    このAzure Remote Renderingを使用することで、HoloLens 2単体での描画はおおよそ10万ポリゴン(※)とされているのに対し、Azure Remote Renderingでは数千万ポリゴンから億単位のポリゴン数まで対応可能になった。

    3月4日にAzure Remote Renderingをサービスに組み込んだ「mixpace Remote Rendering」がホロラボより提供がはじまっている。

    ※ポリゴンとは、3Dグラフィックにおいて、立体的な物体の曲面を表現する際に用いられる多角形のこと。曲面を構成する最小単位で、ほとんどの場合、三角形が用いられる。ポリゴンの数が多くなるほど滑らかな面を再現できるが、演算処理に要する時間が長くなる。

    AR:ARCore/ARkitなど(ARフレームワーク)

    ARフレームワーク(使用頻度の高い共通の動作や処理をパッケージ化したもの)が登場したことにより、ARアプリを簡単に開発できるようになった。

    ARアプリに求められる基本的な動作を導入できて、開発者は無料で活用できるのがメリット。

    ARKit(apple)

    Appleが2017年6月に発表した、iOS端末向けのARアプリ開発ツール。

    特殊なハードウェアを使わずにiPhoneに搭載されているセンサーと画像解析データを元に空間構造を認識し、AR体験を実現することができる。

    具体的には、画像(マーカー)認識や平面認識、距離認識などの機能が実装できる。その後バージョンアップを重ね、現在では「ARKit 4」となっている。

    Appleの同社2022年第1四半期(2021年10月〜12月)の業績発表の中で、メタバースについてアナリストに質問されたティム・クックは、「App Storeには14,000のARKitアプリがあり、現在、何百万人もの人々に素晴らしいAR体験を提供しています。私たちは、この分野に大きな可能性を感じており、それ相応の投資を行っています。」と答えている。

    ARCore(Google)

    Googleが2017年8月に発表したAndroid端末向けARアプリ開発ツール。

    ARKit同様スマホのカメラやモーションセンサーだけでARコンテンツを構築することができる。GoogleやHuawei、Samsungなどさまざまなメーカーのスマートフォン、タブレットなどがARCoreに対応している。

    その他、MagicLeap社が提供している公式のツールキット「MagicLeap Toolkit」や、Microsoftが提供しているVR及びARの開発を行うためのクロスプラットフォームのツールキット「Mixed Reality Toolkit (MRTK) 」などもある。

    AR:リアルワールドプラットフォーム(ARクラウド)

    ARクラウドとは、屋内あるいは屋外の適当な場所に配置したARコンテンツを「その場所に」「その状態で」保持し、それらをいつでも「複数人がそれぞれの端末で」「同時に共有できる」状態へと復元することができる世界を実現する技術を指す。

    街規模のARクラウドを実現するためには、街全体のデジタルコピー(例えば点群データなどの形式)を何らかの方法で作成し、サーバ上に保持する必要があると考えられている。

    ナイアンティックのARクラウドの動き

    「ポケモンGO」などの開発で知られるナイアンティックは、アメリカのARスタートアップ6D.aiを買収した。ナイアンティックは、6D.aiのチームとともに、世界の動的な3Dマッピングを進め、全球規模のAR体験の実現を目指す。

    2017年に創立した6D.aiは、オックスフォード大学のActive Vision Labからスピンアウトし、3次元再構成、ARの永続性など、ARの基礎的な課題を解決するためのデベロッパーツールやコンピュータービジョンを基にした技術を開発してきた。

    ナイアンティックの創業者兼CEOであるJohn Hanke(ジョン・ハンケ)氏は、2021年8月のブログで、「レディ・プレイヤー1」のようにVRヘッドセットを装着し楽しむメタバースは、ディストピアの悪夢である、と伝えている。

    ナイアンティックは、テクノロジーを使って拡張現実の「現実」に寄り添うという。

    その後、2021年11月には「現実世界のメタバース」というビジョン&AR開発者キット「Lightship」を発表した。これは、ARゲームを開発するためのツールを公開するというもので、ゲームエンジン「Unity」の基本的な知識を持っていれば誰でも無料で利用できる。

    KDDIのARクラウドの動き

    KDDIはARクラウド関連技術を開発しているSturfeeと戦略的パートナーシップを締結した。KDDIはSturfeeの技術を活用し、衛星写真から3Dマップ生成し、スマートフォンをかざし位置と向き情報を得ることができるVPS技術を活用したサービスの企画・開発を共同で推進する。

    VPS (Visual Positioning Service) とは、従来のGPS (Global Positioning System、全地球測位システム) の発展系と位置付けられ、現実世界のデジタルツインとなる3Dマップ (3Dメッシュ) と、スマートフォンやスマートグラスに搭載されたカメラ越しの画像とを照合し、向きや方位を含む高精度な位置情報を特定する技術だ。

    同じくスマートフォンやスマートグラスのカメラ機能を活用したAR (拡張現実) と組み合わせることにより、位置情報に紐づくデジタル看板やナビゲーションはもちろん、広告宣伝やエンターテインメント、アート、教育などさまざまな体験を創出することが期待されている。

    SturfeeはVPSに用いる3Dモデルを衛星写真から生成できる技術を保有しており、従来のスマホやカメラで撮影された画像を用いた3D生成と比較して、よりシームレスに、街や空間全体を効率的にAR化することが可能だという。

    5Gネットワーク

    AWS Wavelength

    KDDIとAWSは、au 5Gネットワーク内で、AWS Wavelengthを2020年12月16日から東京で提供開始する。

    AWS Wavelengthとは、AWSの各種サービスを、提携した通信事業者などの設備で動かすものだ。au 5Gネットワーク内にAWSのコンピューティングサービスとストレージサービスを配置しデータ処理することで、5Gの特性である超低遅延の実現をする。

    5Gにはいくつも有用な例はあるが、VRにも恩恵がある。今はローカルで処理する量が多いので、重いヘッドセットを付けなければいけないが、AWS Wavelengthを使い処理をクラウドに移行できれば、ヘッドセットを軽いものにできる。

    法と仮想空間

    ゲームや広告に拡張現実(AR)や仮想現実(VR)を使う際のルール整備が遅れている。仮想空間に現実を再現する際の著作権や所有権の扱いなどが、現行法で想定されていないためだ。

    ARやVRの国内市場は2025年に20年比2.4倍の1兆円強に膨らむとみられており、事業者の参入も相次ぐ。技術の普及に合わせ、法整備の議論が必要になる。

    例えば、ARやVR空間で寺院や一般的なビルに無断で広告を設置することや、他社バッグにスマホをかざすとARで自社のロゴを浮かび上がらせること、他人の所有地を会場にして、アイドルがAR空間でライブを開くことなどは現行法が想定しないAR・VRの活用例になる。

    KDDIなどが構成する「渋谷5Gエンターテイメントプロジェクト」が2020年10月下旬、仮想空間で開いたイベント「バーチャル渋谷」は、6日間で延べ40万人がVRや動画サイトから視聴した。

    渋谷駅前や「SHIBUYA109」などスクランブル交差点近くの風景をVRで忠実に再現するのが目玉だが、よく見ると周囲のビル看板や企業ロゴは、実在しないものになっている。KDDIによると「建物など街並みにこだわったが、他社の商標を侵害するリスクを回避した」という。

    まとめ

    メタバース

    Meta社のように、VRヘッドセットをつけて没入するメタバースの未来を描いている企業もあれば、ナイアンティックのように、AR技術を使って現実の世界とデジタルの世界を融合させ、人々を直接結びつけるという没入型デジタル環境の仮想世界ではない「現実世界のメタバース」を理想としている企業もある。

    各社さまざまな思惑があるが、メタバースの開発は、社会的つながり、仕事、娯楽、ショッピング、教育、デジタル経済という市場の6つの主要分野に影響を与えるだろう。

    VR

    フェイストラッキングや触覚フィードバックの実装が進み、没入感が向上している。顧客の表情を読んで接客したり、手術のシミュレーションなどに応用される可能性がある。

    ライブイベントやスポーツ観戦をリアルタイムで高品質に楽しむことが一般化するには、5Gの普及拡大、デバイスの価格、高品質コンテンツの制作コストなど乗り越えなければならない課題が多い。

    遠隔存在については期待が高まるが、5Gはもちろん、ロボティクス技術や触覚フィードバックの技術を巻き込みながら成長していく必要があり、技術の進歩が待たれる。

    AR

    コロナ感染拡大の影響による移動制限による遠隔作業支援のソリューションの需要拡大で買収に出る企業などが現れていることから、同種のソリューションは堅調な様子。

    屋内使用かつ法人用途においては、ローカル5Gとリモートレンダリングの組合せで高精細な3DCGが表現でき、AR体験に進歩が見られそう。

    ARが我々の日常に溶け込むにはARグラスの重さや消費電力、5Gの普及、入力系システムの進化が期待されるが、まだ時間がかかりそうである。


    法人向けDXトレンドが学べる、DX事業支援サービス

    IoTNEWSの運営母体である、株式会社アールジーンでは、DXを行う上で必須となる、「トレンド情報の収集」と、「実戦ノウハウの習得」を支援するためのサービスを提供しております。

    本稿は勉強会のダイジェスト記事ですが、実際の勉強会では、IoTやAIの現場を担当している有識者からさらに深い話を聞くことができ、直接質問する事ができます。

    詳細は下記のリンクから確認してください。

    DX事業支援サービス(勉強会・セミナー)