富士通は2022年7月6日、対象物との距離を計測するミリ波センサーを使って人の姿勢を高精度に推定する技術を開発したと発表した。病院や介護施設において、「立ち上がったときの転倒」などをカメラを設置しなくても検出可能である。特徴は、ソフトウェア技術によって、一般に普及している安価なミリ波センサーでも人の姿勢を推定できること。カメラとの比較では、映像を撮影しなくて済むためプライバシーの懸念が少ない点や、暗い場所などでもセンシングできる点などの利点がある。今後は、病院や介護施設との実証実験を実施し、2023年度中のサービス化を目指す。
富士通は、対象物との距離を計測するミリ波センサーを使って人の姿勢を高精度に推定する技術を開発した。病院や介護施設において、「立ち上がったときの転倒」などを、カメラを設置しなくても検出可能である。カメラとの比較では、映像を撮影しなくて済むためプライバシーの懸念が少ない点や、暗い場所などでもセンシングできる点などの利点がある（図1）。
図1：ミリ波センサーを使って人の姿勢を高精度に推定する技術を開発した（出典：富士通）拡大画像表示
特徴の1つは、一般に普及している安価なミリ波センサーでも人の姿勢を推定できるようにしたこと（図2）。「一般的なミリ波センサーでは、1回の照射で取得できる点群データの粒度が粗く、精度よく人の姿勢を推定することは困難である」として、富士通は今回、人の姿勢が点群の時系列データで表現可能であることに着目。複数回の照射による大量の点群データから人の姿勢推定に適したデータを選定する技術を開発した。
図2：安価なミリ波センサーでも人の姿勢を高精度に把握できるように、複数回照射して得られた大量の点群データから姿勢推定に適したデータを選定する技術を開発した（出典：富士通）拡大画像表示
こうして得られた点群データから人の姿勢を推定する技術にも工夫を凝らした。まず、点群データと人の関節点の3次元座標情報を対応させた大規模なデータセットを用意し、これを学習させて姿勢推定AIモデルを作成した（図3）。データセットとして、体格、性別、年齢などが異なる約140人のデータ、約50種類の異なるシーンのデータを用意した。
図3：点群データから姿勢を推定するAIモデルを作成した（出典：富士通）拡大画像表示
さらに、「立ち上がったときの転倒」など、行動の前後関係を含めたインシデントを検出できるように、点群データから推定した姿勢と同社の「行動分析技術Actlyzer」を連携させた（関連記事：学習データなしに基本動作の組み合わせで人の複雑な行動を認識する技術、富士通研究所が開発）。姿勢を時系列に分析することで、何が起こったのかをより正確に把握可能である（図4）。
図4：姿勢を時系列に分析して行動を正確に把握するため、「行動分析技術Actlyzer」と連携させた（出典：富士通）拡大画像表示
