他業界と比べて人材の流動性が高く、人材不足に悩まされている介護業界。介護施設の職員が入居者に対して最適なケアを行うためには、入居者一人ひとりがどのような状態で、どんなケアを必要としているのかなどを常に把握しておく必要がある。とはいえ、職員ひとりが対応する入居者数は増加する傾向にあり、人材不足も相まって、最適なサービスを個別に提供するには限界がある。
こうした介護業界の社会課題を解決するため、KDDIは介護施設を運営する社会福祉法人 善光会とともにAR技術を活用した新たな介護作業支援システムの開発を行っている。
KDDI総合研究所と社会福祉法人 善光会は、きめ細かな介護対応の実現を目的に、ARメガネを通して入居者の介護関連情報を表示し、音声で読み上げを行う「ハンズフリー介護作業支援システム」を開発した。
「ハンズフリー介護作業支援システム」は、KDDI総合研究所が開発した顔認識技術や音声合成技術と、善光会が開発したスマート介護プラットフォーム「SCOP」を組み合わせ、カメラ付きARメガネで介護関連情報をレンズに表示して音声で読み上げるというものだ。
「SCOP」には、入居者の体温や血圧などのヘルスケアデータが一元管理されており、事前に正面や斜めから撮影した写真を基に、ARメガネを通して入居者の顔を認識。インターネット回線を通じて「SCOP」から、入居者のヘルスケアデータを読み取り、ARメガネのレンズに投影。同時に入居者の名前を音声で読み上げる。ちなみに、音声の内容は状況に応じてさまざまな設定が可能だが、今回は名前を読み上げる設定とした。
もともと善光会が運営する介護施設では、職員がスマホやタブレットを使用して「SCOP」から入居者のデータを調べることができた。しかし、介護の現場では入浴介助など両手を使う作業が多く、さらに入居者がつまずいてしまったときなど、急な対応が求められるケースもあり、タブレットの操作で手が塞がってしまうのは利便性を欠いていた。
その点、「ハンズフリー介護作業支援システム」の場合、アダプターやLANケーブルなどの配線がなく、ARメガネを装着するだけなので両手を自由に使うことができる。入居者への対応の邪魔にならないうえに、職員や入居者が配線に引っかかってしまうといった心配もない。両手が使えて、配線がないことは、介護の現場では非常に重要なことなのだ。
実際にデモンストレーションの様子を見てみよう。写真の右が職員で、ARメガネと骨伝導イヤホンをセットする。左が入居者という設定だ。
ARメガネを装着して入居者の顔を見ると、右目のレンズ部に入居者のヘルスケアデータが表示される。
表示されるデータは「名前」「介護の必要度合い」「病院・病室」「血圧」「体温」「食事をする状態」「移動の状態」「食事の有無」「排泄の有無や時間」など。加えて、イヤホンからは入居者の名前が音声で流れる。
たとえば、入居者の血圧がわかると「今日は血圧が高めだから入浴の時間を短めにしよう」という判断を行う、入居者が排泄を行っていなければ「お手洗いは行かなくても大丈夫ですか？」と促すこともできる。また、新規の入居者など、職員がまだ詳細な情報を把握しきれていない場合でも、入居者の情報や当日の体調などがわかるため、職員は適切な対応が取りやすくなる。
2020年10月13日〜12月18日には、善光会の介護施設で「ハンズフリー介護作業支援システム」の実証実験が実施された。
6人の職員に使用してもらった結果、「スマホで情報を検索する手間がないのがありがたい」「直感的に使用できて、着任したばかりでも簡単に使える」「思ったよりも文字が見やすい」などの声があった。気になる点としては、「ARメガネが重かった」「見た目がサングラスのように見える」という意見も。
職員が入居者の情報をすぐに得られることで介護に集中しやすくなり、それが入居者にとっても質の良いサービスにつながるが、まだ改善の余地はありそうだ。
「ハンズフリー介護作業支援システム」は、新たな顔認識技術を採用することで、入居者の情報をすぐに表示する仕組みを実現している。その開発の経緯や用いられた技術について、KDDI総合研究所 イノベーションセンター・イノベーション協創グループの小原朋広、イノベーションセンター・マルチモーダルコミュニケーショングループの呉 剣明に聞いた。
左／KDDI総合研究所 イノベーションセンター・マルチモーダルコミュニケーショングループ 呉 剣明 右／イノベーションセンター・イノベーション協創グループ 小原朋広「KDDI総合研究所ではロボットやセンサーを活用した研究を行っていますが、さまざまな業界の現場の声を聞く中で、介護現場では介護を効率化するためにセンサー類を活用していることを知りました。そして、先進テクノロジーを活用している善光会を知り、意見交換を進めるうちに、『新しい入居者でも、顔見知りのように接して介護をしたい』というニーズがあることがわかりました。その要望に応えるため、KDDI総合研究所の顔認識技術が活用できると考えたのです」（小原朋広）
「ハンズフリー介護作業支援システム」には、新たに二段階の顔認証技術が採用された。開発を行ったのは呉 剣明だ。
「一般的な顔認識の手法では、登録した画像のみにマッチするデータ（顔写真など）をAIが探します。斜めの顔画像を登録すればそれを探しますが、そうするとひとりの顔を認識させようとしても、右斜めや左斜め、右横、左横など多くの画像を登録する必要があります。少ない情報を基に膨大なデータすべてを探してマッチングするため非常に効率が悪くなり、顔の認識に時間がかかったり、反応しなかったりすることがあります。
そこで『ハンズフリー介護作業支援システム』では、二段階の顔認識を採用しています。第一段階で顔の領域を検出し、第二段階で斜めなどの向きの違う場合に補正処理を行い、顔認識を行います。その結果、誰かを表すIDを取得し、そのIDを基にSCOPサーバにアクセスして入居者のデータを取得します。 二段階で顔認識を行うことで、計算量を上げずに、顔の向きを問わない高い認識精度を実現しました」（呉 剣明）
また、重要なのがAIの動作やデータなどの“軽量化”だという。
「実際に入居者とコミュニケーションをとるときは、すぐに入居者のデータがわかる必要があり、スピードが命です。『ハンズフリー介護作業支援システム』ではARメガネで入居者を顔認識し、インターネット回線を通じて、入居者のヘルスケアデータを管理したサーバーにアクセスし、介護者の情報をARメガネに投影して音声を読み上げるところまでを瞬時に行います。
短時間に膨大なデータから有効な情報を検索するために、AIの動作やデータなどを軽量化することが大切でした。たとえば、顔写真などを摘出する際に特徴量の少ないデータを自動で排除するようAIに学習させ、1万人の顔写真データを1秒で、100人を0.1秒で識別できるようになりました。また、音声合成技術においても、少ないメモリで軽量に動作する日本語音声読み上げ技術を採用しています」（呉 剣明）
今回の「ハンズフリー介護作業支援システム」の開発で培われた技術は、今後どのような現場で生かされるのだろう？
「『ハンズフリー介護作業支援システム』の技術は、介護だけでなく別の分野でも活用できると考えています。たとえば保育園なら、園児それぞれの情報や朝に測定した体温がすぐにわかることで、職員間での情報共有や園児の健康状態の把握などが効率化できるかもしれません。園児が抱きついてきたり、転んだりすることもあるなかで、両手が使えるハンズフリーは有効です。また、園児だけでなく、保護者の名前を把握するためにも活用できると思います」
「新しい入居者でも、顔見知りのように接して介護をしたい」というニーズから生まれた「ハンズフリー介護作業支援システム」。その技術は介護だけでなく、ほかの分野でも応用できる可能性がありそうだ。KDDIはこれからも通信のチカラを活用しながら、パートナーとともに、社会問題の課題解決につながる研究を進め、社会の持続的な成長・発展を目指していく。