この数年、一般的になってきたサービスのひとつに「AR」がある。ARとは「Augmented Reality（オーグメンテッド・ リアリティ）＝拡張現実」の略で、スマートフォンやスマートグラス越しに現実の風景を見たとき、そこに実際にはない画像やデータ、つまりバーチャルな視覚情報を重ねて表示し、現実の風景を拡張するものだ。
従来のARではスマホやスマートグラスで風景のどこを見ていても、キャラクターや文字情報を同じように出現させることができる。これに対し、ARを風景中の特定の場所に出現させるために必要なのが、KDDI総合研究所が開発に取り組んでいる「VPS（Visual Positioning Service：ヴィジュアル・ポジショニング・サービス）」だ。VPSは、スマホやスマートグラスのカメラで現実の風景を見たときに、「どの場所からどの方角を向いているのか」をリアルタイムに特定する技術である。
では、ARの出現する位置を特定することでどんなメリットがあるのか。VPSは今後どんな場面で役立っていくのか。そして、どういう仕組みなのか。いくつかの具体例とともに見ていこう。
まずはこの動画を観ていただきたい。KDDI、渋谷区観光協会、渋谷未来デザインの三者が、5Gを中心とした先端技術を駆使して渋谷の街をより面白くしていくために立ち上げた「渋谷エンタメテック推進プロジェクト」での実証実験で制作されたものだ。スマホを通して渋谷のスクランブル交差点に表示されるARを体験しているのだが、ここにVPSが活用されている。
ガラス面に大きなビジョンがあるビルの手前をサメが泳ぐ。そして、さらにサメの手前を熱帯魚が通り過ぎてゆく。上空に目を向ければ、気温や湿度などがこちらを見下ろすように配置されている。
クジラがスクランブル交差点の通りに沿って泳いだり、気球が青山原宿方面を正しく示す位置に浮かんでいたりするのは、「あなたがどの場所にいてどの方角を向いているのか」をVPSが特定しているからこそ可能となるのだ。
あらかじめ渋谷スクランブル交差点付近の3Dマップを作成し、マップ内のどの位置にどのアニメーションや文字が出現するかを設定しておく。その対象範囲をスマホやスマートグラスのカメラで周囲を見れば、VPSは、そこに映し出された「SHIBUYA TSUTAYA」などのビルを3Dマップと照らし合わせて一致点を見つけ出し、そのスマホやスマートグラスが「どこにいるのか」「どの方角を向いているのか」を導き出す。
体験者の位置と向きを正確に特定することで、ARを構成するさまざまな視覚情報を現実の風景と違和感なく重ね合わせて表示できるのである。
ユーザーが使うのはカメラだけで、特別なセンサーを必要としないのがVPSの特長だ。あらかじめ作成した3Dマップにスマホやスマートグラスでアクセスし、実際にカメラを通して見た風景との一致点を見つけ出しさえすれば、正確に自分の位置と向きを特定できる。
VPSを使えば、渋谷スクランブル交差点のような屋外だけではなく、屋内でも自分の場所や向きを正確に特定できる。
たとえば2021年3月に、「日本科学未来館」とKDDIがコラボレートして行われた実証実験「HYPER LANDSCAPE（ハイパー ランドスケープ）」。スマートグラスを装着すると、限りなく人間に近いビジュアルを持ち、自然な仕草やイントネーションで解説してくれるバーチャルヒューマン「coh（コウ）」がARで出現。展示内容についてガイドしてくれるというものだ。イベントの模様をまとめた動画がこちら。
館内のらせん状の回廊を進んでいくと、何度かcohが現れて展示内容を説明してくれる。VPSによって位置を特定し、幅2ｍほどの回廊からズレることなく最適な位置にcohは出現する。
このVPSは、具体的にどのような仕組みで、スマホやスマートグラスの位置を特定しているのだろうか。システム開発に取り組んできたKDDI総合研究所の小森田賢史に聞いた。
KDDI総合研究所 先端技術研究所メディアICT部門メディア認識グループ 小森田賢史「VPSとは、スマホやスマートグラスのカメラで捉えた画像が、3Dマップのなかで、どの位置なのかを特定する技術です。あらかじめ作成した3Dマップと、スマホのカメラに映った画像をAIを使って解析することで、スマホの正確な位置と向きを割り出すことができます。
3Dマップの制作は、VPSの技術によって方法が異なります。冒頭のAR映像の例では、渋谷のスクランブル交差点周辺を衛星画像から作っています。また、『日本科学未来館』のバーチャルヒューマン『coh』の実証実験では、会場を360度カメラを手に歩き回って撮影し、作成しました。
「日本科学未来館」を例に説明すると、館内の吹き抜けに吊り下げられた巨大な地球儀を、らせん状の回廊がぐるっと取り囲んでいる。
VPSで活用するための3Dマップを作成した「日本科学未来館」の「ジオ・コスモス」周辺
この場所を点群で表す3Dマップ化すると、下の動画のようになる。
こうして作成した3Dマップのなかで、スマホやスマートグラスのARのアプリを立ち上げて周囲の映像を撮影すれば、どの場所にいてどの方角を向いているのかをリアルタイムで特定することができるのだ。
「スマホやスマートグラスが捉えた風景をAIは“模様”として認識します。出っ張りや、へこみ、シマシマ、角張っているなど、スマホが捉えた画像の特長を示す2,000〜5,000のポイントと、3Dマップと照らし合わせて判断します。
こちらは社内の写真ですが、肉眼で見ると左のような普通の室内なのが、VPSでは右の図のようにたくさんの特徴を見つけて、点群として認識しているんです。
左・カメラで撮影したKDDI総合研究所（KDDI research atelier）内の画像、右・その画像をVPSが解析する際の点群壁や床、家具、照明といった動かないものは、特徴点として認識し、ここに社員など動く者がいればそれはAIが除外します」
スマホなどを活用して自分の位置を認識する技術といえば、GPSなどがよく知られている。VPSならではの強みはあるのだろうか。
KDDI総合研究所 先端技術研究所メディアICT部門メディア認識グループ 小森田賢史「GPSは衛星から発射される電波をスマホやカーナビなどで受信し、位置を推定する仕組みです。高度約2万kmで地球を周回する複数の衛星から端末まで電波が届く時間差で位置を割り出すのですが、誤差は最大数十メートル。また、端末に内蔵されたコンパスなどを使用しないと向きの特定はできません。KDDI総合研究所のVPS技術の誤差は日本科学未来館の例では平均で約35cm、向きは角度でいうと約1度。しかも衛星を使うGPSは、屋内での位置推定が苦手ですが、VPSの場合は屋内でも正確に位置と向きを特定することができます」
そんなVPSは注目を集めはじめており、さまざまな企業が開発に取り組んでいる。
KDDI総合研究所の技術は、日本科学未来館の例で説明したように模様を特徴点とした3Dマップから判断するもの。360度カメラなどで環境を撮影するだけで3Dマップを作成することができ、天候や周囲の明るさに左右されることなく位置と向きの特定ができるのが強み。
また、冒頭の渋谷の取り組みのように、衛星画像からAIで3Dマップを生成し、“模様”ではなく、建物などの形状から場所を特定する方法もある。KDDIとパートナーシップを結ぶアメリカの「Sturfee (スターフィー)社」が推し進めている技術で「XR CHANNEL」というアプリを使用して体験することができる。
この技術は2020年9月の、サッカーＪ1・名古屋グランパスのホームゲームでも体験することができた。KDDI「au 5Gスペシャルマッチデー！」として、会場の豊田スタジアムと最寄りの豊田市駅周辺で、選手やマスコットがARで出現していた。
駅前広場やビルの壁面、スタジアム入口などにARがピタリと合わさり、違和感なく見ることができた。当日は多くのファンがスマホをビルやスタジアムにかざして楽しむ姿が見られた。
VPSは正確に位置を特定するための技術。特に親和性が高いARとの連携で、使い勝手のよく楽しめるサービスが開発されていく。
この技術を活用することで、目的地までの道のりを矢印で案内してくれるナビゲーションや、オフィス等のレイアウト・什器の設置イメージが見られるなど、生活において便利なサービスだけでなく、上映中の映画や舞台・イベント情報が街中に広告として表示したり、特定の場所で表示できる画像や映像を脱出ゲームなどに盛り込んだりと、エンタメの新たな演出として楽しみを拡大できると考えられている。
一方、VPSはAR以外でも活用可能だ。スマホやスマートグラスで周囲の風景を見るだけで場所がピンポイントに特定されるので、たとえばデリバリーなどのサービスについても、住所を入力する代わりに周囲の風景を共有するだけでその場に届けてくれることが可能になる。大きな公園のベンチに座っていて、住所がないどころか自分でうまく場所の説明すらできなくても、きちんと配達されてくるのだ。
実際に「KDDI research atelier (リサーチ アトリエ)」というKDDI総合研究所の施設内では、VPSを使い、ロボットがフードのデリバリーを行う実験も始まっている。そもそも住所などないオフィス内で、デスクなど自分のいる場所の“風景”の映像を送ることで、フードの配達をしてくれるのだ。
「KDDI research atelier」で実験中のVPSを活用したデリバリーロボット。施設内の任意の場所からフードをオーダーできるVPSは表からは見えにくい技術である。だが、こうした技術の進歩により、私たちの生活を面白く便利にしてくれるサービスがより進化していくのである。
『ARスヌーピーに会いに行こう！』現在、auの一部5GエリアでXR CHANNELアプリを起動すると、VPSを活用した立体的なスヌーピーが登場します。対応エリアは順次拡大予定です。※「Sturfee (スターフィー)社」のVPS技術を使用しています。
出現したスヌーピーと撮影した写真や動画を、ぜひSNSに投稿してお楽しみください。