慶應義塾研究グループ、空中ジェスチャでイヤホンを操作する新手法を開発

慶應義塾大学理工学部の杉浦裕太准教授、雨坂宇宙訪問研究員、大学院理工学研究科の鈴木俊汰氏、公立はこだて未来大学システム情報科学部の渡邉拓貴准教授、筑波大学システム情報系の志築文太郎教授の研究グループは、機械学習を用いて機器付近で実行される空中ジェスチャの検出および、種類分類を行う新手法「EarHover」を開発した。

「EarHover」は、音声アシスタントやヘルストラッキング機能などを搭載したイヤホン型の「ヒアラブルデバイス」から発生する、音漏れの信号源への転用可能性に着目し、機器付近上空で実行される空中ジェスチャを認識することで、機器に直接触れなくてもヒアラブルデバイスを操作することが可能になる手法だ。

この手法では、ヒアラブルデバイスから人間には聞こえない超音波信号を再生し、その音漏れが空中ジェスチャを行う手に反射した時に発生するドップラー効果を活用している。

慶應義塾研究グループ、空中ジェスチャでイヤホンを操作する新手法を開発 — 新手法「EarHover」の音漏れ現象とドップラー効果発生の様子。ヒアラブルデバイスから外部に漏れる音漏れと、音漏れが空中ジェスチャを実行する手に反射することで発生するドップラー効果を利用している。

これにより、従来手法では利用が困難であった、手が汚れているなどの特定の環境下でも利用できるほか、ヒアラブルデバイス内蔵のスピーカと収音用マイクで実装可能であるため、市販製品への低コストでの導入が期待される。

性能に関しては、研究で提案された27種類の空中ジェスチャから、予備実験にて認識に最適な空中ジェスチャを7種類選定し、その後、13 名の実験参加者を対象に、4 種類の利用環境下での空中ジェスチャ検出・分類性能を評価した。

深層学習を用いて推定モデルを作成した結果、ジェスチャではない日常生活の動作をジェスチャとして誤認識してしまう確率を1.8%に抑えつつ、ジェスチャの種類を80%程度で認識できることが確認された。

今後は、騒音の大きい環境などの実環境に近い状況での精度検証を行うほか、認識システムの改良および市販デバイスのみでの実装を目指す。また、音漏れ信号の利用可能な応用事例の探索と、音漏れ信号を安全に利用できるための利用ガイドラインの制定を進めていくとしている。

なお、この研究成果は、人間と計算機の相互作用を扱うヒューマン・コンピュータ・インタラクション分野の国際会議の1つ「UIST ’24: The ACM Symposium on User Interface Software and Technology」に採択され、Best Paper Awardを受賞したとのことだ。