NEDO・北海道大学・BIPROG・テクノフェイス、触覚情報と診察動画を統合・伝送し遠隔で触感の再現に成功

国立大学法人北海道大学、BIPROGY株式会社、株式会社テクノフェイス（以下、本研究グループ）は、NEDOが委託する事業の一環として、触覚情報と診察動画を統合し、遠隔の医師間で共有する遠隔触診システムを開発した。

そして、北海道大学病院、帯広厚生病院、函館中央病院の3拠点を結んだ遠隔触診の実証に成功したことを発表した。

今回発表された遠隔触診システムは、画像、音声、触感などのデータを統合的に解析するマルチモーダル信号を、動画のフレーム単位で統合・同期し、5Gで伝送するものだ。

マルチモーダル信号が、動画ストリーミングの既存フォーマットに統合されることで、通信品質を決める要素が帯域と遅延のみに単純化される。

これにより、マルチモーダル信号をリアルタイムに扱うだけでなく、データベース化して蓄積・配信・再現でき、医療手技の定量化や教育用途など、新しい利用機会をもたらすことが見込まれている。

今回の事業では、触覚をはじめとしたマルチモーダル信号の統合・活用を5Gネットワークで行うにあたり、応用領域を遠隔触診に定め、「触診向けセンシング機器および遠隔における触覚情報の再現機器とシステム全体の制御技術」と、「マルチモーダル情報の5G遠隔伝送に不可欠な、触覚情報と視診向けの高精細動画との連動技術」の2テーマに取り組み、開発に成功した。

遠隔触診は、DtoD（医師間伝送）を想定しており、他拠点との医師とも情報を共有することで、医療資源の偏在の改善、治療の効率性向上などが期待されている。

送信側医師によりセンサ群で取得した触診情報は、多チャンネル応力情報として深さに応じた弾性値へ、情報の逐次変化から粘性値へと変換する。それらのデータを視診向け動画のフレームに応じて埋め込むことで、触覚情報と動画内の時空間が完全に同期し、マルチモーダル情報を含むコンテンツとなる。

この時、動画の5G伝送に必要なパラメータは、動画伝送時の既存コーデックに関連するパラメータのみとなり、動画データの帯域とサービスが要求する遅延に簡略化され、ネットワーク・スライシングの設定を容易にする

また、この動画コンテンツは、視診用とともに触診位置などの属性を含んだデータベースとしても利用でき、受信側医師は逐次触診情報にアクセスして触覚を能動的に再現することができる。同時に、触診履歴の蓄積保存とカルテなどとの情報共有、触診の定量化など、治療効果の経時的分析や教育用途にも展開可能だ。

実証実験では、コーデックの規格を「H.265」とし、市販のカメラで取得した4K解像度で30フレーム/秒（fps）の動画を5Gで接続された道内中核病院の2拠点間および3拠点間で共有した。なお、5Gネットワークの構築はNTTコミュニケーションズ株式会社が協力している。

上腕部の触診では、カメラで画像を取得して触診センサ情報と統合させ、5G伝送を経て遠隔で触覚再現までを行うエンドツーエンドによる計測を実施したところ、2拠点間を同時接続した場合は0.8秒の遅延で、札幌、帯広、函館の3拠点間の同時接続（統合情報をクラウドで蓄積しながら配信）した場合は1.7秒の遅延であったため、それぞれ遠隔触診が可能であることを実証したとしている。

取得画像とセンサ情報のタイミングは完全に同期しており、遠隔医師からの指示音声と、それに応じた現場医師から送られる触診再生画像のズレが2.0秒程度あった場合でも影響が出ないことが確認され、診察する上で医師のストレスにならない遠隔触診サービスを実現する見通しが得られたとしている。

この成果により、遠隔触診を一例として、サービスに応じた最適ネットワークのパラメータの簡略化がなされ、ネットワーク・スライシングを設計するにあたり、どうパラメーターを設定するのが良いかの指針を明確化できることが示されたのだという。

今後は、システムの拡張性や信頼性の向上を図ることで、マルチモーダル信号を扱うサービスの技術展開・実用化を進めていき、本格運用や関連技術の展開を2024年度以降に予定している。

あわせて、医療分野で今回の技術を用いた高度先進医療と診療コンサルティングの提供、医学部生や研修医などの教育への利用に道筋をつけるとともに、非医療分野への展開に向けた研究開発も進めていくのだという。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。