図面 (/)

技術 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム

出願人 株式会社Cygames
発明者 倉林修一
出願日 2020年11月6日 (9ヶ月経過) 出願番号 2020-185857
公開日 2021年3月1日 (6ヶ月経過) 公開番号 2021-034065
状態 未査定
技術分野 電子ゲーム機 イメージ分析 検索装置
主要キーワード NNモデル ファインチューニング ラベル集合 ラベル対 電子装置側 ラベル群 ラベル文字 サーバ用アプリケーション
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年3月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステムを提供すること。

解決手段

ユーザからの操作を受け付け可能な操作受付部と、固有学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報づけられる画像認識モデルを複数記憶する記憶部と、操作受付部の受け付けた操作に基づき、前記記憶部に記憶された属性情報の中から少なくとも1つの属性情報を画像情報送り先として特定する送り先属性情報特定部と、特定した属性情報に紐づけられた画像認識モデルを、記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備えることを特徴とする電子装置。

概要

背景

近年の情報ネットワーク発展に伴い、スマートフォンチャットアプリやSNSアプリ等を用いて友人同士などで情報共有することが一般的となっている。このような情報共有のために他のユーザへ送信されるコンテンツは、文字メッセージに限られず、ユーザが撮影した写真スクリーンショット等の画像とすることができる(特許文献1)。メッセージや画像等を受信した他のユーザは、これに対して感想メッセージ等を返信することでユーザ間のコミュニケーションを楽しむことができる。

概要

画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステムを提供すること。ユーザからの操作を受け付け可能な操作受付部と、固有学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報づけられる画像認識モデルを複数記憶する記憶部と、操作受付部の受け付けた操作に基づき、前記記憶部に記憶された属性情報の中から少なくとも1つの属性情報を画像情報送り先として特定する送り先属性情報特定部と、特定した属性情報に紐づけられた画像認識モデルを、記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備えることを特徴とする電子装置。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ユーザからの操作を受け付け可能な操作受付部と、固有学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報推論可能な画像認識モデルであって、固有の属性情報づけられる画像認識モデルを複数記憶する記憶部と、操作受付部の受け付けた操作に基づき、前記記憶部に記憶された属性情報の中から少なくとも1つの属性情報を画像情報送り先として特定する送り先属性情報特定部と、前記送り先属性情報特定部の特定した属性情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備えることを特徴とする電子装置

請求項2

前記記憶部に記憶された複数の画像認識モデルは、その学習内容が各画像認識モデルに固有の教師データによって定義され、当該固有の教師データはそれぞれ画像情報および識別情報であるラベルの対の集合によって定義されることを特徴とする請求項1に記載の電子装置。

請求項3

前記記憶部は、複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶し、前記識別子情報推論部の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部を備えることを特徴とする請求項1または2に記載の電子装置。

請求項4

ユーザに対して情報を表示する表示部を備え、前記記憶部は、前記属性情報に対応する文字情報及びアイコン画像情報の少なくとも1つを記憶し、前記送り先属性情報特定部は、前記記憶部に記憶された前記文字情報及び前記アイコン画像情報の少なくとも1つを前記表示部に表示するとともに、当該表示された文字情報及びアイコン画像情報の少なくとも1つを前記操作受付部によってユーザが指定することで前記記憶部に記憶された属性情報の中から少なくとも1つの属性情報を画像情報の送り先として特定することを特徴とする請求項1ないし請求項3のいずれか1項に記載の電子装置。

請求項5

1つ以上のコンピュータによって実行される方法であって、固有の学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報に紐づけられる画像認識モデルを複数記憶する記憶段階と、ユーザからの操作を受け付ける操作受付段階と、操作受付段階において受け付けた操作に基づき、前記記憶された属性情報の中から少なくとも1つの属性情報を画像情報の送り先として特定する送り先属性情報特定段階と、前記送り先属性情報特定段階において特定した属性情報に紐づけられた画像認識モデルを、前記記憶された複数の画像認識モデルの中から選択する画像認識モデル選択段階と、前記画像認識モデル選択段階において選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論段階と、を実行させることを特徴とする方法。

請求項6

前記1つ以上のコンピュータは、ユーザ端末であることを特徴とする請求項5項に記載の方法。

請求項7

前記1つ以上のコンピュータは、ユーザ端末及びサーバを含むことを特徴とする請求項5に記載の方法。

請求項8

請求項5〜7のいずれか1項に記載された方法を、1以上のコンピュータに実行させることを特徴とするプログラム

請求項9

ユーザ端末及びサーバを含むシステムであって、前記ユーザ端末が、ユーザからの操作を受け付け可能な操作受付部と、操作受付部の受け付けた操作に基づき、少なくとも1つの属性情報を画像情報の送り先として特定する送り先属性情報特定部と、を備え、前記サーバが、固有の学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報に紐づけられる画像認識モデルを複数記憶する記憶部と、前記送り先属性情報特定部の特定した属性情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備えることを特徴とするシステム。

技術分野

0001

本発明は、画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステムに関する。

背景技術

0002

近年の情報ネットワーク発展に伴い、スマートフォンチャットアプリやSNSアプリ等を用いて友人同士などで情報共有することが一般的となっている。このような情報共有のために他のユーザへ送信されるコンテンツは、文字メッセージに限られず、ユーザが撮影した写真スクリーンショット等の画像とすることができる(特許文献1)。メッセージや画像等を受信した他のユーザは、これに対して感想メッセージ等を返信することでユーザ間のコミュニケーションを楽しむことができる。

先行技術

0003

特開2018−073070号公報

発明が解決しようとする課題

0004

スマートフォンにおいて実行されるゲーム等のアプリもまた一般的に利用されている。情報共有のための既存のSNSやコミュニケーション用アプリとゲーム等のアプリとの関係は、ゲーム等のスクリーンショットを他のアプリを用いて他のユーザと共有するという、ゲーム等の情報を外に出すという関係、すなわち、ゲーム等からSNSへのアウトバウンド方向の関係にとどまっており、SNSで得た画像や、カメラで撮影した画像をアプリ内のキャラクタなどの属性情報に対して送信するという、インバウンド方向のメカニズムは実現されていない。

課題を解決するための手段

0005

本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、一つの実施形態における本発明の電子装置は、ユーザからの操作を受け付け可能な操作受付部と、固有学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報にづけられる画像認識モデルを複数記憶する記憶部と、操作受付部の受け付けた操作に基づき、前記記憶部に記憶された属性情報の中から少なくとも1つの属性情報を画像情報送り先として特定する送り先属性情報特定部と、前記送り先属性情報特定部の特定した属性情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備える。

0006

また、前記記憶部に記憶された複数の画像認識モデルは、その学習内容が各画像認識モデルに固有の教師データによって定義され、当該固有の教師データはそれぞれ画像情報および識別情報であるラベルの対の集合によって定義されることができる。

0007

さらに、前記記憶部は、複数の識別子情報のそれぞれに対応する複数の応答内容を前記複数の画像認識モデルのそれぞれに紐づけて記憶し、前記識別子情報推論部の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を前記記憶部に記憶された複数の応答内容の中から特定して実行する応答内容実行部を備えてもよい。

0008

ユーザに対して情報を表示する表示部を備え、前記記憶部は、前記属性情報に対応する文字情報及びアイコン画像情報の少なくとも1つを記憶し、前記送り先属性情報特定部は、前記記憶部に記憶された前記文字情報及び前記アイコン画像情報の少なくとも1つを前記表示部に表示するとともに、当該表示された文字情報及びアイコン画像情報の少なくとも1つを前記操作受付部によってユーザが指定することで前記記憶部に記憶された属性情報の中から少なくとも1つの属性情報を画像情報の送り先として特定するようにしてもよい。

0009

本発明の一つの実施形態における方法は、1つ以上のコンピュータによって実行される方法であって、固有の学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報に紐づけられる画像認識モデルを複数記憶する記憶段階と、ユーザからの操作を受け付ける操作受付段階と、操作受付段階において受け付けた操作に基づき、前記記憶された属性情報の中から少なくとも1つの属性情報を画像情報の送り先として特定する送り先属性情報特定段階と、前記送り先属性情報特定段階において特定した属性情報に紐づけられた画像認識モデルを、前記記憶された複数の画像認識モデルの中から選択する画像認識モデル選択段階と、前記画像認識モデル選択段階において選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論段階と、を実行させる。

0010

前記1つ以上のコンピュータは、ユーザ端末としてもよい。

0011

前記1つ以上のコンピュータは、ユーザ端末及びサーバを含むことができる。

0012

本発明の一つの実施形態におけるプログラムは、前述の方法を、1以上のコンピュータに実行させるものとすることができる。

0013

本発明の一つの実施形態におけるシステムは、ユーザ端末及びサーバを含むシステムであって、前記ユーザ端末が、ユーザからの操作を受け付け可能な操作受付部と、操作受付部の受け付けた操作に基づき、少なくとも1つの属性情報を画像情報の送り先として特定する送り先属性情報特定部と、を備え、前記サーバが、固有の学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能な画像認識モデルであって、固有の属性情報に紐づけられる画像認識モデルを複数記憶する記憶部と、前記送り先属性情報特定部の特定した属性情報に紐づけられた画像認識モデルを、前記記憶部に記憶された複数の画像認識モデルの中から選択する画像認識モデル選択部と、前記画像認識モデル選択部の選択した画像認識モデルへ画像情報を入力し、前記学習内容に基づいて、当該画像情報から識別子情報を推論する識別子情報推論部と、を備える。

発明の効果

0014

本発明によれば、属性情報と画像認識モデルとを紐づけ、送信先の属性情報が選択されると、その属性情報に紐付けられた画像認識モデルが選択され画像認識に使用される、という構成を採用することにより、多数の属性情報のために多数の画像内容を認識する場合であっても、個別の属性情報向けに学習された画像認識モデルを用いた推論処理で対象となる画像内容を認識することができ、少量のデータを用いた場合でも高い推論性能を実現するとともに、個々の画像認識モデルを比較的小さなニューラルネットワークとして実装することにより高いレスポンス性能を実現できる。

図面の簡単な説明

0015

本発明の一実施形態に係るシステム構成図である。
本発明の一実施形態に係るサーバ及び電子装置のハードウェア構成図である。
本発明の一実施形態に係るサーバ及び電子装置の機能ブロック図である。
本発明の一実施形態に係る情報処理を示すフローチャートである。
本発明の一実施形態に係る画面表示例を示す図である。
本発明の一実施形態に係る画面表示例を示す図である。
本発明の一実施形態に係る画面表示例を示す図である。
本発明の一実施形態に係る画面表示例を示す図である。
本発明の位置実施形態に係るサーバ及び電子装置の機能ブロック図である。

実施例

0016

以下、図面を参照して、本発明の実施形態のシステム1について説明する。本明細書においては、説明の便宜上、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細な説明や実質的に同一の構成についての重複説明を省略する場合がある。

0017

[第1の実施形態]
図1は本発明の一実施形態によるシステム1の全体構成の一例を示す。図1に示すように、システム1は、ユーザ端末である複数の電子装置10及びサーバ20を備える。電子装置10及びサーバ20は、インターネットなどのネットワーク2に接続され、互いに通信可能である。

0018

図2は本発明の一実施形態による電子装置10及びサーバ20のハードウェア構成を示すブロック図である。電子装置10は、プロセッサ11、表示装置12、入力装置13、記憶装置14及び通信装置15を備える。これらの各構成装置バス16によって接続される。なお、バス16と各構成装置との間には必要に応じてインタフェースが介在しているものとする。本実施形態において、電子装置10はスマートフォンである。ただし、電子装置10は、上記の構成を備えるものであれば、タブレット型コンピュータタッチパッド等の接触型入力装置を備えるコンピュータなどの端末とすることができる。

0019

サーバ20もまた同様に、プロセッサ21、表示装置22、入力装置23、記憶装置24及び通信装置25を備える。これらの各構成装置はバス26によって接続される。なお、バス26と各構成装置との間には必要に応じてインタフェースが介在しているものとする。本実施形態においてサーバ20はコンピュータによって実現される。

0020

プロセッサ11、21は、電子装置10及びサーバ20全体の動作を制御するものであり、例えばCPUである。なお、プロセッサ11、21としては、MPU等の電子回路が用いられてもよい。プロセッサ11、21は、記憶装置14、24に格納されているプログラムやデータを読み込んで実行することにより、様々な処理を実行する。

0021

表示装置(ディスプレイ)12、22は、プロセッサ11、21の制御に従って、アプリケーション画面などを電子装置10のユーザないしサーバ20のユーザに表示する。好ましくは液晶ディスプレイであるが、有機ELを用いたディスプレイやプラズマディスプレイ等であってもよい。

0022

入力装置13、23は、電子装置10及びサーバ20に対するユーザからの入力を受け付けるユーザインタフェースであり、例えば、タッチパネル、タッチパッド、キーボード、又はマウスである。本実施形態において電子装置10はスマートフォンであるため、電子装置10は入力装置13としてタッチパネルを備え、タッチパネルは表示装置12としても機能し、表示装置12と入力装置13は一体となった構造である。表示装置12と入力装置13は、別の位置に配置される別個の形態であってもよい。サーバ20はコンピュータであるため、入力装置としてキーボード及びマウスを備え、表示装置として液晶ディスプレイを備えるものとする。

0023

記憶装置14及び24は、揮発性メモリであるRAM及び不揮発性メモリであるeMMC、UFSSSDのようなフラッシュメモリを用いた記憶装置及び磁気記憶装置等を含む、一般的なスマートフォン及びコンピュータが備える記憶装置である。記憶装置14、24は、外部メモリを含むこともできる。例えば記憶装置14は、アプリケーション(アプリ)を記憶し、記憶装置24はサーバ用アプリケーションを記憶する。アプリケーションは、アプリケーションのイベントを実行するためのプログラム及び該プログラム実行時に参照する各種データを含む。

0024

通信装置15、25は、ネットワーク2(図2においては省略)を介して他の装置との間でデータの授受を行うことができる。例えば通信装置15、25は、移動体通信無線LAN等の無線通信を行い、ネットワーク2へ接続する。電子装置10は通信装置15を用いることで、ネットワークを介してサーバ20と通信を行う。通信装置15、25は、イーサネット登録商標ケーブル等を用いた有線通信を行ってもよい。

0025

図3は本発明の一実施形態による電子装置10及びサーバ20の機能ブロック図の一例を示す。電子装置10は、制御部101、表示部102、操作受付部103、記憶部104、通信部105、画像情報指定部106、送り先属性情報特定部107、画像認識モデル選択部108、識別子情報推論部109及び応答内容実行部110を備え、サーバ20は、制御部201、表示部202、操作受付部203、記憶部204及び通信部205を備える。記憶部104及び204には複数の画像認識モデル150−1〜N及び250−1〜Mがそれぞれ記憶される。

0026

本実施形態においては、プロセッサ11、21がプログラムを実行することによりこれらの機能が実現される。例えば実行されるプログラムは、記憶装置14、24に記憶されているプログラムである。このように、各種機能がプログラム読み込みにより実現されるため、1つのパート(機能)の一部又は全部を他のパートが有していてもよい。各機能の一部又は全部を実現するための電子回路等を構成することによりハードウェアによってこれらの機能を実現してもよい。

0027

電子装置10の制御部101は、本実施形態のアプリケーションによる機能を実行するにあたっての制御処理を行う。表示部102は、アプリケーションの機能を制御するためのアプリ用画面を表示し、アプリケーションの機能やユーザ操作に応じたアプリ用画面を表示する。操作受付部103は、電子装置10のユーザからの入力を受け付ける。本実施形態においては、表示部102及び操作受付部103を備えたタッチパネルを用いることとし、タッチ検出機能によって操作受付部を実現する。

0028

記憶部104は制御部101によって実行される情報処理に必要な情報を格納する。さらに、記憶部104は、ユーザが利用可能な2以上の属性情報を記憶する。属性情報は、画像の送り先となる属性を示す情報であり、例えば、ゲームアプリケーションにおけるキャラクタや、仮想的な人格識別する情報とすることができる。

0029

本実施形態においては、属性はゲームのキャラクタとし、属性情報をキャラクタ識別情報とする。同一キャラクタであっても、レア度の違いや、コスチュームの違いなどによって複数のバリエーションが存在する場合には、属性情報として異なるキャラクタ識別情報を与えてもよい。記憶部104は、属性情報として、ユーザが所有するキャラクタのキャラクタ識別子を記憶する。さらに、記憶部104は、各属性情報対応付けられた画像認識モデル150−1〜Nを格納する。ここでは、ユーザが所有するN個のキャラクタのキャラクタ識別子に紐付けられた画像認識モデルが記憶される。画像認識モデルは、各モデル毎に固有の学習内容によって定義され、当該学習内容を利用して少なくとも1つの識別子情報を推論可能なニューラルネットワーク(NN)モデルである。

0030

識別子情報は、画像内容を示す情報であり、予めシステム設計者によって設定することができる。本明細書においては、学習内容を利用した画像認識モデルの推論結果としての識別子情報をクラスと表現することがある。学習内容を定義するための教師データを定義するための識別子情報をラベルと表現することがある。また、推論された識別子情報に基づいて実行される応答内容を示すスクリプトデータと紐付けられた識別子情報もラベルと表現することがある。

0031

送り先属性情報特定部107は、操作受付部103が受け付けたユーザによる入力操作に基づき、記憶部104に記憶された属性情報の中から少なくとも1つの属性情報を画像情報の送り先として特定する。画像情報指定部106は、操作受付部103の受け付けたユーザ入力操作に基づき、送り先へ送るための画像情報を指定する。画像情報は静止画の画像情報だけでなく、動画像の画像情報であってもかまわない。

0032

画像認識モデル選択部108は、送り先属性情報特定部107の特定した属性情報に紐づけられた画像認識モデルを、記憶部104に記憶された複数の画像認識モデルの中から選択する。識別子情報推論部109は、画像認識モデル選択部108の選択した画像認識モデル150へ画像情報指定部106の指定した画像情報を入力し、学習内容に基づいて、画像情報から識別子情報を推論する。応答内容実行部110は、識別子情報推論部109の推論した識別子情報に基づき、当該識別子情報に対応した応答内容を記憶部104に記憶された複数の応答内容の中から特定して実行する。

0033

サーバ20の制御部201は、電子装置10において実行されるアプリケーションのための処理を行う。1つの例では、制御部201は、電子装置10においてアプリケーションが実行されると、定期的に、又は必要に応じてデータの送受信を行い、電子装置10においてアプリケーションの機能を実現させる。表示部202は、必要に応じてサーバ管理者のための管理画面を表示装置22に表示する。

0034

記憶部204は、制御部201によって実行される情報処理に必要な情報を格納する。さらに、記憶部204は、アプリケーションにおいて利用可能なすべての属性情報を記憶するとともに、各属性情報に対応付けられた画像認識モデル250−1〜Mを格納する。本実施形態においては、サーバ20において、ゲームアプリにおいて利用可能な全てのキャラクタであるM個のキャラクタのために、各モデルに固有の教師データが用意されて画像認識モデル250−1〜Mが生成され、記憶部204に記憶される。そして、そのうちの電子装置10のユーザが所有するキャラクタに対応する画像認識モデルが電子装置10へ送信され、記憶部104に記憶される。

0035

次に、図4を用いて、本実施形態におけるシステムの情報処理動作400について説明する。本実施形態においては、システムはゲームシステムであり、電子装置10としてスマートフォンを用い、アプリケーションとしてゲームアプリケーションが電子装置10においてスマートフォン用のOS上で実行され、サーバ20においてはサーバ用のゲームアプリケーションがサーバ用のOS上で実行されるものとする。本ゲームにおいては、ゲーム媒体として複数のキャラクタが用意され、ユーザは例えば抽選処理によってキャラクタを入手する。そして、入手した複数のキャラクタを用いながらゲームを進行させるものとする。ここでは、ユーザが所有するキャラクタに対して、ユーザがゲーム外で取得した画像をキャラクタに対して送信し、推論されたその画像の画像内容に応じてキャラクタ毎に定められた応答処理が実行される場合を例にとって説明する。キャラクタに対して送信するとは、キャラクタと共有するための他の概念を含みうる。

0036

本実施形態においては、推論時に、画像情報としてビットマップ画像を入力して、その画像内容に対応するクラスとしての識別子情報を出力する関数として画像認識モデルがモデル化される。ここで、画像内容とは画像内に撮影されているオブジェクト背景、オブジェクトの組み合わせなど、ニューラルネットワークが分類可能な任意の特徴を意味する。

0037

例えば、画像内容が果物リンゴのとき、本システムは、推論として、”リンゴ, 90%”のように、識別子情報(クラス)とその確率を出力する。そして、推論された識別子情報として、最も確率の高い識別子のための識別子情報のみを出力したり、所定の閾値を超えるすべての識別子情報を出力することができる。

0038

情報処理動作400においてはまず、キャラクタ毎に固有の学習内容を用意して、この固有の学習内容によって画像認識モデルが定義され、サーバの記憶部204に記憶されるとともに、電子装置10においてユーザが所有するキャラクタに紐づけられた画像認識モデルがダウンロードされ、記憶部104において記憶される(S401)。これによって、キャラクタ毎に個性化されたニューラルネットワークモデルを用意することが可能となる。

0039

本実施形態においては学習内容は各画像認識モデルに固有の教師データによって定義され、当該固有の教師データはそれぞれ画像情報およびラベルとしての識別子情報の対の集合によって定義される。教師データDcのデータ構造の一例を式(1)に示す。

0040

ここで、labeliは、i番目の画像が示す画像内容のラベル文字列である。bitmapiは、i番目の画像のビットマップデータである。すなわち、本発明では、教師データは、画像とそのラベルの対の集合となる。深層学習による多クラス分類問題の解決では、1つのビットマップ画像に、複数のラベルを紐づけて学習することが可能であり、n×mの関係として、ラベルとビットマップを定義している。次に、Dcが定義するすべてのラベル集合であるLcは、次のように定義できる。

0041

ここで、labeliは、i番目のラベル文字列であり、集合Lc内ではユニークな識別性を有する。pは、Dcが規定するラベルの種類の数に対応する。キャラクタcに対応する演出シナリオScは次のように定義できる。

0042

ここで、labeliは、i番目の種類のラベル文字列であり、scriptiは、i番目のラベルが入力された際に、システムが再生すべき演出のスクリプトデータである。なお、本発明では、ラベルを一つだけ用いるのではなく、例えば、リンゴとサングラスが同時に撮影された場合などのように、複数のラベルを組み合わせて画像内容を記述しても良い。したがって、ここでのラベル数最大値qは、ラベルの種類の数pよりも多くても良い。

0043

次に、キャラクタ毎に個性化したニューラルネットワークモデルの生成方法を示す。DNNを用いた学習を行う関数であるlearn関数は、ある特定のキャラクタcに対応する教師データ学習データバケットDcを受け取り、画像内容の多クラス分類(Multiclass Classification)を行うモデルMcを出力する関数であり、次のように定義できる:

0044

このlearn関数は、一般的に知られた画像認識NNモデルを作成する方式や、学習済みモデルへのファインチューニングとしてトレーニングデータを入力する方式として実装することができる。画像認識NNモデルを作成する方式としては、例えば、AlexNetやVGG1を用いることができ、学習済みモデルへのファインチューニングとしてトレーニングデータを入力する方式としては、Inception-v3を用いることができる。これらの方式は、例えば、Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012、Lecun, Y, Bengio, Y & Hinton, G, "Deep learning," Nature, vol. 521, no. 7553, pp. 436-444. 2015、 Toru Ogawa, Atsushi Otsubo, Rei Narita, Yusuke Matsui, Toshihiko Yamasaki, Kiyoharu Aizawa, "Object Detection for Comics using Manga109 Annotations," arXiv:1803.08670, 2018、Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016)、及び、Rethinking the Inception Architecture for Computer Vision. 2016IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2818-2826に記載されているように、当業者にはよく知られたものである。

0045

このように、キャラクタ毎に個性化した学習内容を用意して、個性化したニューラルネットワークモデルを用意することにより、キャラクタの個性に合わせて、識別する画像内容を定めることができる。例えば、ゲームシナリオの設定において、キャラクタAはリンゴと自動車が好きであり、キャラクタBはクモカエルが嫌いな場合には、リンゴと自動車を画像内容として含む画像をキャラクタAのための教師データとして用意し、クモとカエルを画像内容として含む画像をキャラクタBのための教師データとして用意する。そして、これらを用いて、キャラクタA及びBのための画像認識モデルをそれぞれ生成する。これによって、キャラクタAの画像認識モデルに画像情報が入力されると、リンゴと自動車を識別し、キャラクタBの画像認識モデルに画像情報が入力されるとクモとカエルを識別し、キャラクタに固有に定められた画像内容を識別することが可能となる。そして、識別された画像内容にしたがって、個性化されたシナリオスクリプトを実行することができる。

0046

ニューラルネットワークモデルを用いた一般画像認識モデルが知られており、自動車やバス、ハンドバックや人のように、画像内の物体一般名詞ラベリングしていくような、高度なラベリング問題を解くことができる。このような一般画像認識モデルは、自動運転や高度な監視カメラにおいて用いることができる。一般画像認識は優れた技術であるものの、ゲーム内容に応じてラベル対象の分類を細かくすることや、特定の看板にのみ反応させるような、アプリケーションに特化したカスタマイズを行うことは難しく、多数のアプリケーションに対応する多数の学習モデルを既存の方式で用意するためには極めて大規模なデータを用意する必要があるため、応用の種類へのスケーラビリティという面で課題がある。さらに、一般的な多数の物体を認識するため、ユーザ端末のような電子装置で高速レスポンスさせることは必ずしも容易ではないとともに、小さなデータ追加のみで画像認識機能修正拡張させることも困難である。

0047

これに対して、本実施形態のように、キャラクタ毎に個性化されたニューラルネットワークモデルは、特定の画像内容だけ識別することが可能であれば十分であるから、キャラクタに応じてラベル対象をカスタマイズさせることは容易であるとともに、比較的小さなニューラルネットワークモデルとして実装が可能であるため、推論時のレスポンス性能が高く、また小さなデータ追加のみで画像認識機能を拡張させることができる。

0048

ゲーム内において多数のキャラクタが存在する場合であっても、各ユーザが所有するキャラクタのための画像認識モデルだけを電子装置10へダウンロードさせればよいし、更新された際も、その更新された画像認識モデルのみを更新して、ダウンロードさせることができる。

0049

電子装置10において、ユーザが所有するキャラクタのための画像認識モデルが記憶された後、アプリを用いて送信するための画像情報を指定するための画面500が表示部102に表示される。そして、操作受付部103が受け付けたユーザ入力操作に基づいて、画像情報指定部106が、送信対象となる画像情報を指定する(S402)。例えば、図5Aに示すように複数の写真のサムネイル画像501が画面に表示され、アプリで送信したい画像のサムネイル画像501にユーザがタッチして、「アプリで送信」ボタン502をタッチすることにより、送信対象となる画像情報が指定される。送信するための画像情報として2以上の画像情報を指定しても良い。

0050

次に、ユーザによる操作にしたがって、指定された画像情報を送信するためのアプリケーションを特定する。例えば、図5Bに示すように、S402において指定された画像情報の画像512を表示するとともに、送信用に利用可能なアプリケーションのアイコン514が表示され、ユーザによるアイコンへのタッチによってアプリケーションが選択されて、「決定」ボタン516をタッチすることにより、送信用のアプリケーションが決定される。ここでは、本発明を実施するためのゲームアプリが選択されるものとする。

0051

本実施形態においては、画像情報を指定する処理及び送信用のアプリケーションを決定する処理は、スマートフォンのOSの機能として実行されるものとするが、本発明のゲームアプリの一部の機能とすることもできる。例えば、ゲームアプリを起動した後、画像情報をキャラクタへ送信するための機能を起動することにより、画像情報指定用の画面500を表示させることができる。

0052

送信用のアプリケーションとして、キャラクタへの画像の送信を希望するユーザが本実施形態のためのゲームアプリを選択すると、当該ゲームアプリが起動され、送り先属性情報としてのキャラクタ識別情報を選択するための画面が表示部102に表示される。そして、送り先属性情報特定部107が、操作受付部の受け付けたユーザ操作に基づき、少なくとも1つの属性情報としてのキャラクタ識別情報を画像情報の送り先として特定する(S404)。例えば、図5Cに示すように、送信対象として指定された画像522が表示されるとともに、送り先キャラクタの選択ボタンがキャラクタ名を示す文字情報524を含むボタンとして表示され、ユーザによるボタンへのタッチによってキャラクタが選択されて、決定ボタン526をタッチすることにより、送り先属性情報識別情報としてのキャラクタ識別情報が特定される。キャラクタ名の文字情報に加えて、または、キャラクタ名に代えてキャラクタを示すアイコン画像情報を表示しても良い。キャラクタ識別情報を特定することができれば、ユーザによって入力された文字情報など、その他の方法で特定しても良い。

0053

次に、画像認識モデル選択部108が、特定された属性情報であるキャラクタ識別情報に紐づけられた画像認識モデルを、記憶部104に記憶された複数の画像認識モデル150−1〜Nの中から選択する(S406)。

0054

識別子情報推論部109が、画像認識モデル選択部108の選択した画像認識モデルへ画像情報指定部106の指定した画像情報を入力し、学習内容に基づいて、当該画像情報から識別子情報を推論する(S408)。

0055

例えば、画像情報dと宛先となるキャラクタ識別情報cを入力した場合に、ラベルについての推論についての関数であるinferは、次のように定義できる

0056

ここで、label_scoreiは、i番目のラベルに対応する画像内容がビットマップ内に存在する存在確率である。そして、本実施形態では、識別子情報推論部109は、推論された識別子情報として、存在確率が最も高いラベルに対応する画像内容が存在するものとして、その識別子情報であるラベルを出力する。所定の閾値を超えるスコアを持つすべてのラベルを含むラベル群を出力しても良い。

0057

画像認識モデルに入力された画像522は画像内容としてリンゴを含み、自動車は含まれないから、label_score1は高い値が出力され、label_score2は低い値が出力され、推論結果としてリンゴに対応するlabel1が出力される。

0058

そして、応答内容実行部110は、識別子情報推論部109が出力した識別子情報に基づき、当該識別子情報に対応した応答内容を記憶部104に記憶された複数の応答内容の中から特定して実行する(S410)。

0059

本実施形態においては、記憶部104は、式(3)に示すデータ構造で、キャラクタ識別子情報に紐付けて演出シナリオScを記憶している。応答内容実行部110は、送り先属性情報特定部107によって特定されたキャラクタ識別情報に紐付けられたキャラクシリオScを特定し、そのキャラクタシナリオの集合のうち、識別子情報推論部109によって推論された識別子情報であるラベルに紐付けられたスクリプトデータを特定する。そして、この特定されたスクリプトデータに基づいて、応答内容を実行する。例えば、図5Dに示すように、送り先として特定されたキャラクタ識別情報に対応するキャラクタの画像530を表示部102に表示するとともに、入力された画像の画像内容であるリンゴに関連するメッセージを応答メッセージ540として表示することができる。

0060

従来のゲーム内のキャラクタとのコミュニケーションはキャラクタへタップして、その応答が表示されるなどの限定的なものであった。本実施形態を用いることにより、例えばユーザが現実世界で撮影した画像をキャラクタに送信すると、画像内容に応じたそのキャラクタの反応が演出されるため、あたかもキャラクタと写真や動画像を共有しあっているような自然なコミュニケーションを可能とし、キャラクタのリアリティ性を高めることができる。その結果、ゲームへの没入感、現実との融合間を高めることが可能となる。

0061

本実施形態において送信される画像情報は、特定のカメラデバイスに依存しておらず、カメラから撮影した画像だけでなく、ゲームアプリのSNSアカウントを通じて配布された画像や、ユーザが、コラージュ的に作成した画像なども対象とすることができる。これにより、現実のイベントに参加して撮影した画像にキャラクタが反応する演出や、SNSアカウントを介して配布された画像にキャラクタが反応する演出を実現することができる。

0062

スクリプトデータによる応答内容は、メッセージによる応答に限られず、入力された画像情報に応答するものであればどのようなものであってもかまわない。例えば、キャラクタの動画が再生されたり、そのキャラクタとのバトルイベントが開始されても良い。現実のイベント会場において掲示されたポスターを撮影して属性情報に対して送信を行うことにより、ゲーム内イベント実行処理を開始してもよい。

0063

本実施形態のように、属性情報と画像認識モデルとを紐づけ、送信先の属性情報が選択されると、その属性情報に紐付けられた画像認識モデルが選択され画像認識に使用される、という構成を採用することにより、例えば、ゲームアプリにおいて数百名以上のキャラクタが数万種類以上の画像内容を認識するという設定においても、個別のキャラクタ向けに学習された画像認識モデルを用いた高々1 回の推論処理で対象となる画像内容を認識することができ、高いレスポンス性能を実現できる。

0064

画像を認識する学習モデルは例えば数百キロバイト程度とすることができ、属性情報に予め紐づけて容易に電子装置にダウンロードさせることができ、電子装置側画像認識処理を実行することが可能である。このため、画像情報をサーバに送る必要がなく、個人情報保護を適切に行うと同時にサーバ負荷の低減を実現することができる。また、画像認識モデルを更新した場合であっても、更新された画像認識モデルを電子装置側に再度ダウンロードさせるだけでよいため、高い拡張性を実現する。

0065

[第2の実施形態]
本実施形態は、電子装置10が画像認識モデルを記憶部104に記憶せず、電子装置10の画像認識モデル選択部108及び識別子情報推論部109に代えて、サーバ20が画像認識モデル選択部208及び識別子情報推論部209を備える点で、第1の実施形態と異なる。以下、第1の実施形態と異なる点を中心に説明する。

0066

本実施形態においては、サーバ20において、キャラクタ毎に固有の学習内容を用意して、この固有の学習内容によって画像認識モデルを定義して、記憶部204に記憶するが(S401)、電子装置10へ画像認識モデルをダウンロードさせない。

0067

その後、第1の実施形態と同様の処理により、電子装置10において、属性情報に対して送信するための画像情報を指定し(S402)、送り先属性情報を特定する(S404)。そして、通信部105を用いて、指定された画像情報及び特定された送り先属性情報を含む、識別子情報推論要求をサーバ20へ送信する。サーバ20の画像認識モデル選択部208は受信した識別子情報推論要求に含まれる送り先属性情報に基づいて、画像情報を入力するための画像認識モデル250を選択する(S406)。識別子情報推論部209は、識別子情報推論要求に含まれる画像情報を、選択された画像認識モデル250に入力して、識別情報推論処理を実行する(S408)。識別子情報推論部209は、画像情報の画像内容に対応する識別子情報を出力し、サーバ20の通信部205がこれを電子装置10へ送信する。電子装置10の通信部105は、サーバ20から送信された識別子情報を受信し、これに紐づけられたスクリプトデータに基づいて、応答内容を実行する(S410)。

0068

本実施形態を用いることにより、電子装置10は、画像認識モデルを記憶し、識別子情報推論処理を実行する必要がないから、電子装置10の記憶容量や処理能力が極めて小さい場合であっても、高いレスポンス性能で処理を実行することが可能となる。

0069

また、電子装置10において識別子情報に対応するスクリプトデータを特定せずに、サーバ20においてスクリプトデータを特定し、送信されたスクリプトデータに基づいて、応答内容を実行してもかまわない。さらに、例えば、ブラウザベースのゲームアプリの場合には、サーバ20において応答処理を実行し、実行された演出を電子装置10において表示するだけであっても良い。

0070

以上に説明した処理または動作において、矛盾が生じない限りにおいて、処理または動作を自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

0071

1 :システム
2 :ネットワーク
10 :電子装置
11 :プロセッサ
12 :表示装置
13 :入力装置
14 :記憶装置
15 :通信装置
16 :バス
20 :サーバ
21 :プロセッサ
22 :表示装置
23 :入力装置
24 :記憶装置
25 :通信装置
26 :バス
101 :制御部
102 :表示部
103 :操作受付部
104 :記憶部
105 :通信部
106 :画像情報指定部
107 :送り先属性情報特定部
108 :画像認識モデル選択部
109 :識別子情報推論部
110 :応答内容実行部
150 :画像認識モデル
201 :制御部
202 :表示部
203 :操作受付部
204 :記憶部
205 :通信部
208 :画像認識モデル選択部
209 :識別子情報推論部
250 :画像認識モデル

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ