AIは、人工知能という名の通り人間的な処理を行えるコンピュータです。音声認識(Speech to Text)が耳、音声合成(Text to Speech)が口だとしたら、目の機能となるのが画像認識(Image Recognition)です。今回からは、画像認識の活用状況を業界別に見ていきましょう。
画像認識について書かれているネット記事を見ると、判で押したように次の3種類に分類されると解説しています。
でも、Object Detection(物体検出)と認識(Classification)で大別するならともかく、認識の中から顔と文字だけピックアップして並べているのはどうも違和感があります。顔認証はバイオメトリクスの1つで指紋や虹彩、網膜、静脈などと並ぶものですし、文字認識もバーコード、QRコードなどもあります。
実際、認識対象は幅広く、顔や文字以外にも病巣(がんや炎症など)、種類(動物や植物の名前、雑草の区別)、商品(無人店舗で活用)、人物(防犯)、障害(製品、インフラ劣化など)など枚挙にいとまがありません。
分類基準はいろいろありますが、上記の3つは技術での分類と対象での分類がごっちゃになっている印象です。そこで本稿では、次の3つの切り口で画像認識を分類し、体系的に理解することとします。
画像認識(Image Recognition)を技術面で大きく分けると、画像の中から特定のクラスの位置を検出するObject Detection(物体検出)と、特徴点を分析してそれが何というインスタンスであるかを認識する分類(Classification)に分けられます(図1)。
図1：物体検出と画像認識
Object Detectionで特定するクラスとは「同様のものの集まり」という英語です。例えば「人間」や「車」「犬」などがクラスになります。一方、Classificationで識別するインスタンスという言葉は「実物」という英語です。「山田さん」や「スープラ」「セントバーナード」というように、対象をより具体的な実物(インスタンス)に特定します。
図2はマイクロソフトのCognitive Servicesで提供している顔認証サービス「Face API」のデモで、私の2枚の写真を顔認証したものです。それぞれの画像で顔の位置(とサイズ)を四角で囲っている技術がObject Detection、2つの顔の特徴点を分析して同一人物と判定している技術がClassificationになります。このデモでは信頼度0.90852で同一人物と判定されていますね。Facebookのようにプロファイルに写真を登録してあれば、それと比較して「梅田」という名前まで付けることもできます。
図2：マイクロソフト「Face API」のデモ
Image Recognitionの技術は膨大で奥深く、セグメンテーション(領域認識)やシーン(状況認識)、エモーション(感情認識)など付帯するさまざまな技術がありますが、ここではスマホでお馴染みの上記2種類の役割の違いだけ理解するにとどめます。
今回は2つ目の「業界で分類」を中心に画像認識の活用例を紹介していくこととします。3つ目の「対象で分類」については、その説明の中で一緒にイメージできると思います。
・Amazon Go2018年1月にアマゾンがオープンした無人コンビニ「Amazon Go」には驚かされましたね。あらかじめアプリをインストールしてクレジットカードを登録し、QRコードをゲートにかざして入店すれば、棚から商品を自分のバッグに入れて店を出るだけ。レジでの支払いが不要でクレジットカード決済される仕組みです(図3)。
図3：「Amazon Go」でのお買い物【出典】NECホームページ
ここで使われている画像認識は、QRコードと人物を一致させたあと、その人物がどこにいるかを追う「行動追跡」と、誰が商品を取ったかを判断する「商品と人物の紐付け」で、その人物が出口ゲートを出た瞬間に自動決済されます。商品を誰が取ったかの判定にはカメラのほかに商品棚の重量センサーも使われています。
なお、当初、10年で全米にAmazon Goを2,000店舗展開する目標を掲げていましたが、新型コロナの影響もあってか現時点でまだ30店舗に届いていません。停滞しているのか、これから一気に加速するのかわかりませんが、米国や中国などでスマートストアが次々オープンしている状況です。最近は日本でも事例が少しずつ増えて来ていますので、いくつか紹介しましょう。
・TOUCH TO GO株式会社TOUCH TO GOは、JR東日本スタートアップ株式会社とサインポスト株式会社の合弁会社として2019年7月に設立された会社です。2017年の大宮駅と2018年の赤羽駅キヨスクでの実証実験を経て、2020年3月に高輪ゲートウェイ駅構内に無人AI決済店舗「TOUCH TO GO」をオープンして話題になりました。基本的な仕組み(人物の行動追跡、商品を取った判断など)はAmazon Goと同じですが、こちらは入るときにQRコードの認証がいらず、代わりに出るときにタッチパネルで支払い処理を行う方式です。
TOUCH TO GO社は、この仕組みをソリューション化して小売店や飲食店に拡販しています。
＜＜Note＞＞スマートストアと客層ボタンAmazon Goのようなストアを無人店舗と呼んでいたのですが、実際には店員がいてレジ以外の作業を行っています。そのため、最近ではスマートストアやスマートコンビニという呼び方が使われています。
ところで、昔のコンビニには店員がお客様を見た目で判断して押す「客層ボタン」がありました。男女別に6段階くらいの年齢層のボタンが用意されていて、レジの際に押して客層をPOSデータに紐づけていました。最近はキャッシュレス決済が増えたことや、忙しいとすべて49歳と入力するなど信憑性にも課題があり、ローソンやファミマなどでは廃止されています。
セブンイレブンは最近よく見かけるセルフレジに入れ替えても継続しているようですが、スマート化が進むと画像認識でより多くの情報が正確に取れるようになるので、いずれは廃止されると予想しています。
・セブンイレブンセブンイレブンはNECと協力して「麹町駅前店」で2020年3月より顔認証決済(セブンイレブン社員限定)の実証を行っています。事前に顔写真と決済用のクレジットカード、確認用コードを登録しておけば、顔認証セルフレジで顔パス決済できます。ただし、商品はバーコードスキャンが必要なので、普通のセルフレジで最後にまとめてスキャンする方が効率的だなぁという印象です。
・NECNECは2020年2月、本社ビル内に「NEC SMART STORE」をオープンしています。こちらはもNECグループの社員限定ですが、あらかじめ写真を登録しておくと、入店時に顔認証によりウォークスルー(顔パス)でゲートが開きます。Amazon Goと同じくカメラと重量センサーで商品と購入者の紐づけまで行っており、マイバッグに入れてそのまま店を出れば自動的に決済され給与から天引きされます。
・ローソンと富士通ローソンは富士通と協力して2020年2月から3ヶ月間限定で「富士通新川崎TS レジレス店」をオープンし、レジなし店の実証実験を行いました。QRコードをかざして入店し、出るときはレジがいらないAmazon Goと同じ方式で、店舗運営システムには米国VCOGNITION TECHNOLOGIES社の「Zippin」を採用しています。
・光洋ショップ-プラス富士通は、2021年1月に光洋ショップ-プラスとレジなし店舗「グリーンリブスプラス横浜テクノタワーホテル店」で実証実験を行っています。ここでは「Zippin」にマルチ生体認証を組み合わせ、スマホのQRコードだけでなく、手のひら静脈と顔情報を組み合わせて本人特定して入店できるようになっています。
・ダイエーダイエーは2019年7月に1週間限定で「昭和女子大学の学生ラウンジ」でAmazon Goと同じ仕組みのウィークスルー決済(レジなし決済)の実証実験を行いました。さらに2021年9月にはNTTデータの「Catch&Go」サービスを使ってNTTデータ本社内に「ウォークスルー店舗」をオープンしてスマートストアの検証を行っています。
・DIME LOUNGE STORE小学館DIME編集部と丸善ジュンク堂、セキュア社の実証プロジェクトで、2021年4月に期間限定で新宿にオープンしたAI無人店舗が「DIME LOUNGE STORE」です。システムにはセキュア社のAI STORE LABを使っています。事前登録した人だけが入店できる顔パス入店ですが、登録は入口に設置してある認証機でできます。こちらもカメラと重量センサーで商品を取ったか判定し、最後に顔認証で決済を行える方式になっています。
・BakeryScanスマートコンビニは、店内にカメラを数十台用意し、商品棚に重量センサーを設置する、アプリを用意するなど仕掛けが壮大です。もっと手軽に、レジにカメラを1台設置するだけでパッと決済できる仕組みがAI画像認識レジです。これを2013年から展開しているのが株式会社ブレインの提供するパン屋さん向けレジ「BakeryScan」です。
仕組みは典型的な機械学習モデルです。あらかじめパンの画像をAIに覚えさせ、トレーをカメラの下に置くとパンの種類、個数、値段をパッと表示してくれ、店員が確認した上で決済できます。同社ではこの仕組みを横展開しており、洋菓子専用AIレジ「Sweets Scan」も発売されています。バーコードを付けにくいパンやケーキにぴったりのソリューションですね。
・Viscovery台湾のViscovery社もAIを使った画像認識レジ「Visual Checkout」を開発・販売しています。原理はBakeryScanとほぼ同じく、利用している店舗もパン屋や洋菓子店、デリカテッセンなど被っています。
・京セラ「無人レジシステム」BakeryScanやViscoveryのようにレジのカメラでパッと決済できる仕組みは、これから広がりそうです。新規参入者の1社が京セラで、2021年6月に物体認識AI技術を搭載した「スマート無人レジシステム」を発表しています。こちらは研究開発を終了した段階で、2023年を目処に実用化を予定しているとのことです。
・NTTデータ ルウィーブ株式会社NTTデータ ルウィーブ社もAI画像認識を使ったオートレジ「CoolRegi」を発売しています。こちらは主に学生食堂や社員食堂での利用をターゲットとしています。画像認識の対象は料理でなくお皿です。あらかじめ食器を機械学習しておき、食べ終わった食器を画像認識して即座に料金計算する仕組みです。
・ロボットマート株式会社ロボットセキュリティポリスが2020年4月にオープンした「ロボットマート 八丁堀店」も、レジ台に商品を並べると購入商品を自動検知するAI画像認識レジを採用しています。
店内カメラの設置が広がるにつけ、画像認識で顧客や店員の行動分析を行うソリューションが増えてきました。以前は、店内に設置したビーコンに顧客が近づくと位置を検知するビーコン方式やWi-Fiのアクセスポイントで動線分析するのが主流でした。しかし、ビーコンやWi-FiはアプリのインストールやWi-Fi接続が必要というハードルがあり、普及の妨げとなっていました。画像解析の進化とともにカメラ方式が増えてきており、顧客の顔認証や行動追跡により次のような分析が可能となっています。
a. 顧客分析・時間帯別の来客属性(性/年代)・顧客の動線、滞在時間
b. 売り場/通路分析・店内や売り場の混雑状況・棚前立ち止まり人数、時間・売り場までの動線、時間・売り場立ち寄り率、購買率・通路の通行数
c. 商品棚分析・商品接触と棚に戻した商品・購入率・顧客の性/年代と購入商品の紐づけ
d. 店舗分析・設備利用状況(試着室など)・レジ前混雑状況(行列/時間/予測)・入店率、入店者数、滞在時間・購買率(購入客数/来店客数)・店舗間比較
e. 店員分析・接客回数と接客時間・店員別作業分析
f.防犯・マスク着用チェック、検温・挙動不審者の検知・通知・不正入室検知
g. 立地(店外カメラ)・時間帯別の店舗前の通行者数、客層・店舗前立ち止まり、入店率
カメラ画像を使った行動分析サービスを提供するベンダーは数多く登場しています。しかし、実店舗での実用例はまだまだこれからという段階なので、ここではホームページに導入事例を紹介している4つのサービスを紹介します。
表：カメラ(画像認証)方式の顧客行動分析ツール
| サービス名 | ベンダー | ベンダーHPで公開している主な事例 |
|---|---|---|
| Flow | 株式会社Flow Solutions | BAYCREW'S、Triumph、トイザらス、DAYTONA、… |
| ABEJA INSIGHT for Retail | 株式会社ABEJA | 三陽商会(マッキントッシュフィロソフィー/LOVELESS)、東京シャツ、BEAMS、ICI石井スポーツ、… |
| Moptar | スプリームシステム株式会社 | キラリナ京王吉祥寺、AQUAIR、… |
| FollowUP | データセクション株式会社 | シップス、コスメネクスト、アメアスポーツ、好日山荘、… |
店内カメラはもともと防犯目的が主流でした。顧客の万引きや店員のバイトテロなどを撮影することで犯罪の証拠を映像で残し、これが抑止力にもなっています。盗られてからでは遅いので、スマートストアのように商品をマイバッグに入れたという動作を画像で認識できれば、AIがリアルタイムに万引きを検知することも期待できます。
もう一歩進んで予防にも活用できます。万引きしそうな挙動を機械学習し、怪しい顧客がいたらリアルタイムで店員に通知する仕組みです。通知を受けた店員は「何をお求めですか」と声をかけるだけで効果があり、これで抑止できればお互いにハッピーですね。
最近のスーパーはセルフレジが普及して私もよく使います。レジ待ち時間が少なくて便利なのですが、日本と違ってアメリカでは同じくらいの重量の安価な商品をスキャンしてから高価な商品をバッグに入れたりするskip scanという盗難が多いそうです。そのためウォルマートはMissed Scan DetectionというAI画像認識システムを使って、商品がきちんとスキャンされているかどうか不正をリアルタイム検知しています。
店舗内外で使われるデジタルサイネージにも画像認識機能が付けられてきました。例えば、商品を手に取ったとたんにサイネージに商品詳細情報が表示されたり、客層(性別や年齢層)を判定して、顧客にあった広告や案内を流すという感じです。
料理店の店頭にサイネージを置いて、お年寄りには天ざる、ガテン系だったらカツ丼セット、若い女性だったらオムライスなど切り替える光景を想像すると、ちょっと楽しいですね(ネットでは当たり前の手法ですが)。
音声合成付きのサイネージも出てきています。店舗ではないですが、高輪ゲートウェイ駅の凸版印刷の多言語AI案内サイネージでは、前回紹介した音声合成エンジンAI Talkが日本語音声に使われています。
AI画像認識の第1回は、店舗での活用でした。ベンダーが「こんなことできます」と発表した開発事例や活用事例は多いですが、まだ導入事例はそれほど多くない印象です。ベンダーのリリースは大本営発表になりがちですが、百聞は一見にしかずですので、導入事例を見て活用状況を肌で感じてください。ただし、各ベンダーが新しい社会に向けて必死にチャレンジしている姿勢には心から敬意を払っています。遠からず花開いて、各社の努力が実ることを祈っています。