富士通、ミリ波センサで収集した点群データから高精度に人の姿勢を推定する新技術を開発

近年、病院や介護施設では、個人を特定する情報の取得リスクが低く安価に導入できるミリ波センサを用いた見守り技術に期待が高まっている。しかし、一般に普及している安価なミリ波センサは、粒度の粗い点群データしか得られないため、患者や高齢者の転倒を高精度に検知できないほか、転倒前後の行動の詳細な分析も困難であった。

そこで富士通株式会社は、一般的なミリ波センサで取得される粒度の粗い点群データから、人の姿勢を高精度に推定できる新技術を開発した。

この技術は、対象者の一連の動作における点群データの時系列情報を融合処理することで、粒度の粗い点群データからでも姿勢推定に必要な粒度が細かい点群データへの拡張を可能としている。そこに高精度に姿勢を推定できる独自のAIモデルを組み合わせて、転倒などの検知とプライバシーの配慮の両立を実現している。

さらに、人の複雑な行動を認識する富士通独自のAI技術「行動分析技術 Actlyzer（アクトライザー）」との連携により、病院や介護施設などのプライバシー性の高い空間でも、カメラを設置せずに転倒前後の行動を分析することができる。

富士通、ミリ波センサで収集した点群データから高精度に人の姿勢を推定する新技術を開発 — 新技術の全体イメージ

富士通はこの技術について、病院や介護施設との実証実験を実施することで、効果検証と精度向上を重ね、2023年度中のサービス化を目指しすとしている。

新技術の特徴

点群データ拡張技術

1回あたりの電波の照射で取得できる点群データの粒度が粗い一般的なミリ波センサでも、高精度な推定を実現するため、人の姿勢が時系列の点群データとして表現できることに着目。複数回電波を照射することによって取得できる大量の点群データから、人の姿勢を推定するのに適した点群データを選定することで、粒度が細かい点群データへの拡張を可能にする点群データ拡張技術を開発した。

大規模データセットと姿勢推定AIモデル

姿勢推定に充分な粒度に拡張した点群データをもとに、さらに高精度に姿勢を推定するため、点群データと人の関節点の3次元座標情報を対応させた大規模データセットを構築。データセットは、約140人の人物による、約50種の異なるシーンでの行動データを取得して構成し、このデータセットに基づいて高精度な姿勢推定AIモデルを開発した。