AIエンジニアがヘルメット被って三脚担いで現場を回る？──開業3ヶ月で来館10万人を突破した没入型体験施設開発の裏側

今年3月、関内駅前にオープンした「ワンダリア横浜 Supported by Umios」に初めて入ったとき、正直に言えば戸惑った。

壁も床も映像に包まれて、深海のなかに立っているような空間。

ただその場に立っているだけなのに、すごいスピードで空を、深海を進んでいく感覚になる。聞けば常設型では日本最大級のLED空間だそうだ。

これだけでも滅多に味わえない刺激的な体験だけど、さらに「アプリを入れて、スマホをかざそう」とアナウンスされた。

普通、没入体験の施設は「スマホをしまってください」と言うのでは？映画館だってそうだ。
ここでスマホを出すの？と半信半疑でかざしてみると、映像の中の生き物がスッと認識されて、カードになって手元に集まってくる。タップすら要らない。
館内のあちこちで「シャリン、シャリン」と音が鳴り続けている。

これが、思いのほか楽しい。
スマホの画面を見ながら生き物を追ううちに夢中になっている。
没入体験と生き物を捕まえるというゲームの絶妙なバランス。これはどんな経緯で作られたのだろうか。
気になって、作り手に会いに行くことにした。

DeNAという会社のベースとなっている考え方や行動スタイルを探るシリーズ「DeNAの根っこ掘り」。

今回は、DeNAが手がける没入型体験施設「ワンダリア横浜」開業の裏側を、映像とアプリの間に立ち続けた渡辺さんと、アプリ開発をリードした菊地さんに聞いた。

成否を占う「秒」単位の体験設計

──リアル施設とスマホを組み合わせた事例って、企画検討当時はあったんですか？

渡辺 義久（以下、渡辺）：例えば美術館で展示作品の説明が読めるアプリとかはありますけど、あれは夢中でやるというタイプのものではないですね。

菊地 勇輔（以下、菊地）：ある施設で映像の中の生き物をスマホで捕まえられるアプリがあったんです。ただ、捕まえるアクションをしてから生き物が捕まえられるまでに3秒くらいかかるんです。

──その3秒は、なぜ起きるんでしょう。

菊地：推測ですが、生き物を捕まえようとスマホを映像に向けて操作するとサーバーに問い合わせが行って、サーバー側で映像から生き物を消す処理が走る。この往復で時間がかかるんだと思います。

映像とアプリをよりシームレスな体験としてつなぐには、スマートフォンの中だけでいかに速く動かすかに集中するのが一番筋が良かった。だからワンダリア横浜ではサーバーを介さず、スマホの中で完結するオンデバイスAIにして、ギリギリまでチューニングしました。

──写真を1枚撮ってそれを1秒かけて判定する、というのとは違うんですよね。

菊地：全然違います。撮った静止画を1秒かけて分析していいなら比較的道筋が立てやすいのですが、 今回は動き続けている映像をかざしたまま、リアルタイムに認識し続けないといけない。DeNAにはAIを高速に動かすチューニングだけをガリガリやれるエンジニアがいて、そこまでやれるのがDeNAが手がける強みだと思います。

▲AIイベントでの菊地さんによるワンダリアアプリ開発の裏側講演

──それが「シャリン、シャリン」音の裏側で起きていることなんですね。

ゲーム会社が、あえてゲーム性を「下げる」判断

──アプリで生き物をゲットする瞬間、画面をタップするかどうかで議論があったと聞きました。

菊地：ありました。タップを1回入れるとユーザーの主体感が出るからいいんだ、という意見と、でもそれだと遅くなるよね、という意見と。

渡辺：僕はその議論の間に挟まれて「うっ」てなってました（笑）。

菊地：結果論ですけど、タップでゲットする仕様だったら、お客さんはすべての生き物をコンプリートできなかっただろうなと思います。70種類以上ありますから。

渡辺：それにタップにするとゲーム性が出ちゃうんですよ。僕らが目指していたのは、幅広いお客さんがライトに楽しめるもの。ゲームを作ろうとは思っていなかったんです。まんまゲームにしちゃうと画面に釘付けになる。
施設内でお客さんの様子を見ていると、一緒に来た方と話しながらスマホをかざしてるんですよね。

──ゲームの会社が、ゲーム性をあえて下げたんですね。迷いはなかったんですか。

菊地：最初の頃、他部署の方にアプリを触ってもらったら「何だかよくわからない」って言われちゃったんですよ。かざすだけで「ワッ！」って思ってもらえる体験とは何なのか？もう一回やり直そうと、迷走していました。

渡辺：そういうときにテクニカル側をマネジメントしていた方が「実はこういう考え方もあるんじゃないか」と入ってくれたり、外部でクリエイティブディレクションを担っていた方に意見を仰いだりして、もう一回みんなでブレストしたんです。

せっかく独自性と言っていたアプリを、特定の層だけに絞るのか。そうではなく、若者から親子まで、誰でも使えるアプリを考えるべきなんじゃないかと。だから、結果として本当に誰でも使える状態になっているのは、あの立ち返りがあったからだと思います。

──適切な「立ち返り」ができたのは、なぜでしょうか？

渡辺：しっかりしたコンセプトがあったからです。それは「いつもの風景が驚きに変わる感動体験を」というもの。

企画の大前提に「動物」があったんですけど、動物をそのまま映像に出すなら動物園に行けばいいじゃんって話なんですよ。なので最初はファンタジー寄りの未知の生き物という構想もありました。

でもこのコンセプトが立ったことで、実在の生き物も「よく目を凝らしたら、日常的に見ている物事も美しく見える」という文脈で輝かせられる。カフェのいつものハンバーガーだって、このコンセプトならどう見えますか？虹色のアートになるかもしれないよねと。グッズも同じです。

──コンセプトが施設からアプリ、さらにはカフェやグッズまで、しっかり串刺しになっている。

渡辺：この芯の強いコンセプトがなければ、僕はアプリのディレクションもできなかったと思います。クリエイターにお願いするときに「これって一体何なんですか？」に答えられないので。

最初のアイデアは「リアルに体を動かす施設」

──開業3ヶ月で来館者数が10万人を突破と好調ですが、そもそもどのような経緯でこの没入空間をつくられたんですか？

渡辺：いまとは全然違いました。
端緒は、2019年に実施された「横浜市旧市庁舎街区活用事業」（現在のBASEGATE横浜関内）への応募です。その中のエデュテインメント施設の運営としてDeNAが入ることになり、当初は「体を動かす施設」を構想していました。

──体を動かす……いまの姿からは想像がつかないですね。それがなぜ、いまのかたちに？

渡辺：この施設はBASEGATE横浜関内の中で「観光・集客」という役割を持って企画していました。
そこで、日本全国を見渡して、実際に集客できている常設展示施設を調べたところ、映像体験型のアート施設であり、動物園であり、水族館でした。だからまず「映像体験施設は実績があり、観光スポットになる。」というのが1つ目のポイントになりました。

もう1つには、「学び」を提供するという話をしていたので、動物などみんなが知っている生き物に絡めた学びを提供すべきだと。この2つが固まりました。「体を動かす施設」よりも、こちらの方向性でいこうとなり、ピボットしました。

──でも、それだけだと「既にある映像アート施設と同じものを作るんですか」という話になりますよね。

渡辺：まさにそこです。僕らの独自性は何か。それでみんなで考えたのが「映像×動詞」という考え方でした。散歩する、育てる、食べさせる……いろいろ出た中で、「撮影する」が出てきたんですよ。映像施設の中で誰もが自然にする行動を、ユニークな視点で楽しみに変えられないか。これは面白いんじゃないかと。

──菊地さんが合流したのはこの頃ですか？

菊地：僕が合流したのは2024年の6月で、施設のコンセプトがアプリも1つの主軸にすることが決まってきた頃です。「DeNAといえば、スマートフォンアプリに力を入れたいよね」となって、「じゃあ菊地、ちょっと来ないか」と。

──即答したんですか？

菊地：まだ入社2年目だったので、「ちょっと自信ないですけど、行きます」って言いました（笑）。ただ、アプリ開発をしようとしたら、まだ施設で映す映像が無く、アプリが作れないという状況だったので、試作映像から作ることになりました。

映像もアプリもない。それでもAIは学習させなければいけない

──開発をしていく中で生き物を認識するAIは、どうやって学習させたんですか？　普通に考えると、まず実際に投影される映像を制作してそれをもとに・・・

菊地：AIは本物の動物を見る感覚で、その場で形で認識しています。しかも事前の検証で、用意した映像を認識させるのではなく、スマートフォンで実際に撮った映像じゃないと認識精度が全然出ないことがわかっていました。

──ということは、施設が完成しないと学習できない。

菊地：そうなんです。でも施設の映像が出来上がるのがギリギリで。
アプリもない、映像もない、と。

渡辺：どっちもない（笑）。

菊地：だから映像が出来上がったら、担当のAIエンジニアは施設に行って、三脚を立ててスマートフォンで撮影して、その映像に手作業でアノテーション──AIに「これがクマだよ」「これがリスだよ」と教えるために、生き物を四角で囲んでいく作業をしてくれていました。

本当はアノテーションは外部に委託する予定だったんですが、スケジュール的にどう見ても間に合わない。それで「開発チームは一旦手を止めて、全員アノテーションをします」と宣言して、開発メンバー10人くらいが数日間、ずっと囲み続けました。ビジネス側のメンバーも一緒に。

──AIエンジニアのイメージが変わりますね。パソコンの前でプログラミングしている人たちかと。

菊地：ヘルメットを被って三脚を担いで、現場で撮って、持ち帰って手作業ですから（笑）。でも、それをやらないと施設のクオリティが上がらなかった。AIチームとしても「ここまでできるのはすごい」という話が出ていました。

それと、社内のKaggleグランドマスター（世界的なAIコンペティションの最高位称号保持者）に「最後の1ヶ月だけでも戻ってきてくれ」と頼んで、カムバックしてもらったんです。「ここをこう撮影すると精度が上がりそう」という仮説の引き出しがすごくて、最後は信じられない速度で精度が上がっていきました。

渡辺：1年くらい前に「このプロジェクトは最後、泥臭くやることになる」と言われていて、本当にその通りになった。でも誰一人シラけていなかったんですよ。本気で三脚を持ってました（笑）。

──開業直前は、どんな状態だったんですか。

菊地：開業前日の夜まで作業をしていました。僕とアプリチームの後輩の2人で、ゾーン3に座り込んで作業したりしてました。

渡辺：映像チームも、音響のチームも、前日に「ボリュームを1個下げてみようか」「こっちを上げよう」とディテールを詰め続けていて。

誰かが指示していたわけじゃないんです。やることが多すぎて、各々が自分で判断して動いていた。いま思い出せば、あれはすごいチームだったと思います。

──もし間に合わなかったら、という話はしていたんですか？

渡辺：「もしアプリができなければ、映像だけでもリリースする」。これはチームの約束としてありました。映像でのイマーシブ体験と、アプリでの生き物の認識。本来ならこの2つは密にすり合わせながら進めるべきなんです。でも今回は、どちらも一切妥協せず、並行に走って最後にアプリチームが合流した。

生き物の動きをゆっくりにしてアプリに合わせる、という選択肢もあったんです。でもそれをやると圧倒的な映像体験が損なわれてしまう。なので、思い切って両方追う意思決定をしました。

でも正直、間に合うのか間に合わないのかは最後の最後までわからなかったです。

菊地：最後の追い込みで言うと、映像チームの手際の良さは忘れられないですね。「映像を納品しました」と連絡が来た30分後には、こちらが施設内で作業を始められる状態になっていた。時間の単位が「日」じゃなくて「分」で動いていました。

実は、アプリがそこまで使われる自信がなかった

──開業前、社内で「アプリは来館者の何%ぐらいに使われるのか」と聞かれていたそうですね。

渡辺：聞かれるたびに「70%くらいです」と答えてたんですけど、あれ、半分願望なんですよ。本当は20%くらいだと思ってました（笑）。だって、施設に入ってアプリをダウンロードするのって、ぶっちゃけめんどくさいじゃないですか。

菊地：ダウンロードしてもらえるのかという議論は散々やりましたね。エントランスでどう案内するか、チケット購入後の画面でどう出すか。

──蓋を開けてみると、来館者の約9割がアプリを利用してくれています。

渡辺：想定外でした。

菊地：開業後、検証も兼ねて施設にお客さんの様子を見に行くんですけど、生き物をゲットした時の「シャリン、シャリン」という音が館内中で鳴ってるんですよ。子どもたちが楽しんでいて、最後のゾーンで耳をすますと「もう1回やりたいかも」って声が聞こえてくる。「アプリ楽しかった」と言われるのは、めちゃくちゃ嬉しいです。

渡辺：客層も想定外でした。ぬいぐるみと一緒に写真を撮る「ぬい活」の方々が来てくれたり。想定より幅がずっと広かった。アート系の映像施設のように振り切るとお客さんは絞られるし、テーマパーク型の施設に振り切るのとも違う。アートとテーマパークのいい中間にポジショニングできたのは、結果的にすごく良かったです。

──逆に、開業して見えてきた課題はありますか。

菊地：スマートフォンのバッテリー消費です。ワンダリアアプリはカメラ、画像判定AI、マイクによるゾーン判定をフルに使うので、どうしても電池を食う。それから利用率が見込みを大きく超えたことで、当初は想定していなかった動作の不具合も確認されました。

こうした課題にはパフォーマンスチューニングを続けていて、実際に更新もかけています。うれしい悲鳴ではあるんですけど、「9割に使われるアプリ」の運用は、作って終わりではないです。

──お話を伺っていると、最初は自由過ぎるくらいアイデアを広げて、収束させて、という道のりに聞こえます。

渡辺：ブレストしてても、「できない」という言葉を聞いたことがないんですよ。

菊地：いや、裏では調整してますけどね（笑）。実際、スマホをかざすと生き物の輪郭にパーティクル（光の粒）が集まる演出とか、やってみて難しくて落としたものは何個もあります。スマホの中で全部完結させる以上、処理速度に限界はあります。ただ、諦めた演出よりも面白いものが結果的にできたと思っています。

──エンジニアが仕様の受け手じゃなくて、企画から入っているのも特徴的ですよね。

菊地：そこがエンジニアとして嬉しいところです。

別の会社に開発をお願いすると、仕様を伝えて、できるかできないかの応答になることが多いかと思います。

何のための施設かを全員が理解した上で、AIの専門家も、デザイナーも、ゲームを作ってきた人間も、同じ場で本音で共有しながら作れる。ここまでのクオリティは、それがないと絶対に出なかったと思います。

渡辺：しかも関わってくれたみなさんが、開業が終わったいまも精度の改善をやり続けてくれているんですよ。自分の持ち場が終わったら手を引く、という感覚の人が1人もいない。あれは、他ではなかなか見られないと思います。

──「AIのDeNA」とはよく言われますが、菊地さんは実際に事業に取り組んでみて、率直にどう感じられましたか？

菊地：僕は「AI、AI」と言われ始める前に入社したギリギリの世代なんですけど、AIを含めて、ここまでのものが1社の中でやれたというのは、率直に「これだけできるんだ」と思いました。

高いレベルで技術を理解しているAIチームが「こう撮影すれば精度が上がりそうだ」という仮説を立てて、すごい速度で形にしていく。その人たちが同じ社内にいて、全部共有しながら作れる。これからAIの文脈でDeNAに入ってくる人には、その面白さは伝えたいですね。

ワンダリアのイマーシブ体験は、進化し続ける

──開業から約3ヶ月で来館者10万人を突破しました。今後は？

菊地：もう1回行こうと思ってもらえる仕掛け——映像を変えるとか、アプリの中にもうひとひねり足すとかを考えています。

渡辺：時間を区切って「この時間内に集められるか」というキャンペーンとか、鳥の巣にかざすと隠れていた鳥が出てくるとか、「見えていないものが見える」方向のアイデアもあります。夜の時間だけ変化があっても面白いし、子ども向けに今回の技術の裏側を見せるAIワークショップの開催も決定しました。

──没入空間としての魅力に技術力が掛け合わさり、これからも体験の進化が期待できそうですね。私もまた遊びに来たいと思います。

※本記事掲載の情報は、公開日時点のものです。

取材・執筆：大槻 幸夫