メガネをかけるとバーチャル少女が館内を案内、日本科学未来館で実証実験――KDDIなど

博物館の展示を鑑賞していると、目の前にバーチャルキャラクターが浮かび上がり、解説を始める――　そんなSFチックな体験を味わえる取り組みが進んでいる。

KDDIは、5GやXRなど先端技術の社会実装を推進する「au VISION STUDIO」を設立。KDDI総合研究所、日本科学未来館と共同で、ARを活用したバーチャルヒューマンに関する実証実験を開始した。

バーチャルキャラクターによる案内が楽しめる

日本科学未来館で実施される実証実験は「HYPER LANDSCAPE」と題されたバーチャル展示。スマートグラス「Nreal light」を使用したAR展示を楽しめる。

展示の案内人は3Dキャラクター（バーチャルヒューマン）の「coh（コウ）」。CGで作られたキャラクターで5G MECを活用したクラウドレンダリングにより、スマートフォンなど小型の端末上でも滑らかな動作を実現した。

HYPER LANDSCAPEの展示では、入り口で5Gスマートフォンとスマートグラスを渡される。同館のシンボルでもある地球型ディスプレイ「Geo-Cosmos」（ジオ・コスモス）の前に立つと、cohが現れて自己紹介してくれる。

展示体験は、Geo-Cosmosを囲む通路を一周するツアー形式。cohの導きにしたがって進むと通路やGeo-Cosmosが現実では体験できない姿に変わっていく様を楽しめる。地球の上空を飛ぶ衛星の様子や新型コロナウイルスによる世界各国の入国制限の状況などの情報が表示される。

日本科学未来館 事業部 展示企画開発課 課長の瀬口慎人氏は、コロナ禍で変化する環境に適応していく必要があったことを語る。瀬口氏によると、回復の兆しはあるものの、コロナ禍で日本科学未来館を含むミュージアム系は入場者数が大きく低迷しているという。こうしたタイミングでKDDIが5GやVPSなど新たな技術を持っていたことで、3者共同の取り組みになった。

瀬口氏は「いまある展示の内容は見る人に合わせて変えることはできない。これからの時代は個人に合わせて内容も変化させ、我々が届けたい知識や情報も届けていかなくてはいけない。そうしたことをこれから変えていきたい」と語る。

日本科学未来館の展示空間をデジタル化する実験が開始　イベントも

瀬口氏は「今回の実証実験は（変化のための）最初のステップ。これから未来館をどんどん変えていくことになるので、そうした“予感”のようなものを感じてもらえれば」と語った。

体験は3月14日まで開催中（15時～17時）。先着順となっている。また、来館できなかったという人のために、展示を体験できるアプリが3月19日に公開される予定もある。

少し先の未来を

au VISION STUDIOは、5GやXR技術など先端テクノロジーの社会実装を推し進める目的で設立された。同時に社外のクリエイター、パートナー企業と連携して生み出された技術や体験を継続的なものにするためのエコシステムの構築も視野に入れる。

KDDI パーソナル事業本部 サービス統括本部 5G xRサービス企画開発部長の上月勝博氏は「au VISION STUDIOで取り組むテーマは5つ。持続可能で人にやさしく倫理的にも正しい取り組みににしていく」と語る。

KDDI、クリエイティブチーム「au VISION STUDIO」を発足、5GやXRで新たな体験を創造

取り組みには「アンリミテッドな鑑賞体験」「ゼロ・ディスタンスな世界」「五感を拡張するUX」「人と地球に優しいショッピング」などが含まれており、cohはそのうちのひとつ「バーチャルヒューマンの日常化」を見据えたものだ。

cohは、処理を端末側ではなく、MEC側で行うことでスマートフォンやスマートグラスなどのモバイル端末でも自然な動作を可能にした。社会実装に向けて4社のパートナーと共同で開発・事業に取り組んでいる。

「自由に動かせることで、バーチャルヒューマンは新しいユーザーインターフェイスとなれる」と上月氏。人と人との間で交わされる会話を実現できるようになると語る。仕草や表情などの非言語コミュニケーションをcohに取り入れていきたいという。今後普及していくであろうスマートグラス時代の新時代UIとして、また非接触が重要視さされるニューノーマルな時代にこそ力を発揮できるとした。

前述の日本科学未来館のほか、KDDI ART GALLERYでのアテンダントに加えてカネボウのブランド「I HOPE」に一人のモデルとしてコラボレーションすることが決定している。

ミュージアム×テクノロジー

3者による取り組みは2020年11月からスタートした。「5Gや屋内VPSを活用した展示体験を制作し、従来ではできなかったものを提供することで新しい展示スタイルを生み出せる」とKDDI パーソナル事業本部 サービス統括本部 5G・xRサービス企画開発部 サービス・プロダクト企画グループ グループリーダーの水田修氏は語る。

加えて、企画の検討中に新型コロナの影響が拡大してきたこともあり「コロナ後にどういう展示があるか」という少し先の未来を見据えた形として進んだという。こうして生まれたのが今回の「HYPER LANDSCAPE」だ。

体験では、cohが現れるだけではなく、施設の壁や通路の手すりなどにぴったり張り付くようにコンテンツが表示され、まさにバーチャル空間にいるような体験ができる。これは、VPS（Visual Positioning System）で実現した。写真からの情報でものの位置や向きを推定する技術で、KDDI総合研究所 メディアICT部門 メディア認識グループ グループリーダーの小森田賢史氏は「人間は、見知った場所なら居場所がわかるが、VPSはそれを機械でおこなうもの」と説明する。

実証ではVPS地図の作成にあたりGeo-Cosmos周辺のVPSを全天球カメラを用いて撮影。画像間の視差を用いて、3次元構造を認識させているという。こうしてできた地図と写真を比較して場所を認識しているという。

小森田氏によれば日本科学未来館でのVPS検証は「非常にチャレンジングな環境だった」と語る。写真からの情報に頼るVPSの性質上、光の明暗や手すり付近のガラスによる透過や反射、さらに回廊のため同じような景色が続くことから、困難を極めるという。

KDDI総研では、そうした厳しい環境に対応できる手法でVPS地図を作成。昼と夜で同じ写真を比較しても、既存の手法では、オブジェクトの特徴比較箇所が17カ所のところ、同社の研究開発した手法では229カ所にも及ぶ。

こうした技術により、平均位置誤差は約35cm。平均角度誤差は各1度未満となり、正確なコンテンツ表示を楽しめるようになった。

今回は、オリジナルキャラクターであるcohが登場したが、キャラクターは場合によって入れ替えられ、柔軟な運用が見込めるという。今回の実証実験では、VPSの動作、バーチャルヒューマンの受容性などを検証。日本科学未来館との取り組みに加えて、AR技術のツールとしての展開を並行して検討していくという。