コノキュー、MR技術を活用した遠隔医療支援システム「Hands」を開発

医療の世界では、医師になるために研修期間で「見て学ぶ」必要がある。実際の手術を見学したり、動画を視聴したりして、自分の技術を磨いていく必要がある。しかし、手術は人体に対して行うため、例えば狭い場所に「手が二つ入らない」ような物理的制約がある。これにより、熟練医師が自分の手を動かしてレクチャーを行うことが困難になってしまうことが現状だ。

既存の医療向けXRソリューションは、臓器などの3DモデルをXRデバイスを通して「見る」ことに特化しており、臓器などの術野に対して「手をどのように動かすか？」をリアルタイムに示すことが困難である。

株式会社 NTT QONOQ（以下、コノキュー）は、Mixed Reality（以下、MR）技術を使った医療向けサービスの実用化をめざすプロジェクト「Project the Hands」を発表した。

この取り組みの中で、手と道具の3Dデータを遠隔から現地に共有することで、遠隔地にいる熟練医師が研修生などに、リアルタイムにコミュニケーションを取りながらレクチャーが可能になる「Hands（仮称）」システムを開発した。併せて、東京医科歯科大学と研究事業を開始し、同システムの実用化や高度化に向けて取り組みを進めることも発表した。

Project the Handsは、医療業界における「医師不足」に伴う「研修期間の長さ」「人体への物理的制約」「特殊な装置を利用するための場所・費用が大きい」等の課題解決をめざすプロジェクトである。遠隔地もしくは別の場所にいる指導医はMRデバイスを装着し、術者（研修生やその症例が未経験の医師など）が実際に見ている視点を確認しながら、バーチャル術野（手術の対象）に対して「手と、手に持った道具をどのように扱うか？」を実際に手を動かしながら示すことができる。

現地にいる術者は、MRデバイスを装着し、指導医が行っている手の動きをトレースしたバーチャルハンドと、空間上に表示されたバーチャル術野とを合わせて視聴することができる。3Dで表示されるバーチャル術野に対して、指導医の立体的に道具を持ったバーチャルハンドが動いている様子を見ることで、その動きを真似て自分の動作を修正したり、改善したりすることができる。

通常、術野の中は物理的に狭く、術者が行っている手術に対して、手を出して正しい動かし方を示すことは困難だが、MR技術により、物理的な制約を超えて熟練者の手の動きを示すことができるようになる。さらに、手や道具は3Dのバーチャル情報として表示されるため、場所の制約がなく、MRデバイスが使える場所であれば、どこでも利用することができる。

今回開発したHandsは、研修生やその症例が未経験の医師などの訓練を主な利用シーンとしている。従来「見て学ぶ」必要があった手術における手技を、熟練医師によるリアルタイムかつ手の動きを伴うレクチャーにより、「実践しながら学ぶ」ことができる。

具体的には、事前にアップロードした術野の3Dデータと道具の3DデータをMRデバイスのアプリで読み込み、空間上に表示する。

指導医側では術者側の視点を映像で確認しながら、目の前に表示される3Dデータに対して自分の手を動かす。一方、術者側では3Dデータに対して指導医が動かしている通りに手の3Dデータが表示される。さらに、術者側では、3Dデータを好きな大きさ・位置に配置することができるので、手術中や訓練中に自分が実際に手を動かしながら、指導医の動きを見ることができる。

これにより、指導医がその場にいなくても、また、術野に手を入れて動かし方をレクチャーできない場合でも、リアルタイムに指導医の技術を術者に教えることが可能となる。また、指導医・術者の両者の動作データは記録され、後から閲覧・利用可能だ。

コノキューでは、同プロジェクト発足時点から東京医科歯科大学　金澤教授チームと連携し、アプリ開発を進めている。金澤教授チーム主導で日本医療研究開発機構の「メディカルアーツ研究事業」に採択され、2023年6月30日より「MRデバイスを用いた歯科インプラント外科手術のデータベース構築と遠隔手術支援に関する基盤構築研究」というテーマに取り組んでいる。

同事業を通して、歯科インプラント外科手術に関する熟練医師による遠隔手術支援に関する手法の確立をめざす。さらに、熟練医師のデータからAIモデルの作成などを行い、さらなる発展をめざすとした。加えて同事業では、倫理審査等を通して、ヒトを対象にした実際の手術現場での臨床実験も実施予定とのこと。