図面 (/)

技術 お絵かき画像表示システム

出願人 チームラボ株式会社
発明者 猪子寿之
出願日 2015年10月6日 (5年7ヶ月経過) 出願番号 2015-198229
公開日 2017年2月16日 (4年2ヶ月経過) 公開番号 2017-037614
状態 特許登録済
技術分野 電子ゲーム機 イメージ処理・作成 練習用教習具 表示装置の制御、回路
主要キーワード ベース原 仮想レイヤ 騒音量 トリム領域 塗り絵 立体構造物 創造性 クマノミ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年2月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

ユーザの創造性表現力を発揮させることのできる画像表示システムを提供する。

解決手段

画像表示システム100は,オブジェクトが描かれた物理媒体スキャンして画像データを取り込む画像取込装置1と,画像データからオブジェクト画像を生成する制御装置2と,オブジェクト画像を表示する表示装置3を備える。制御装置2は,画像取込装置1から画像データを取得して解析し,その解析結果に基づいてAIプログラムデータベースから一又は複数のAIプログラムを読み出すとともに,画像データの中からオブジェクトが描かれた領域を抽出してオブジェクト画像を生成する。制御装置2は,AIプログラムに基づいてオブジェクト画像を制御し,その制御下にあるオブジェクト画像を表示装置3へと出力する。

概要

背景

従来から,原稿に描かれた画像をスキャンして画像データとして取り込み,その画像データを編集してディスプレイに表示させる画像処理装置が知られている(特許文献1)。特許文献1の画像処理装置は,ベース原稿のマスク領域に抽出原稿のトリム領域の画像を合成するという「はめ込み合成機能」を備えている。

概要

ユーザの創造性表現力を発揮させることのできる画像表示システムを提供する。画像表示システム100は,オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置1と,画像データからオブジェクト画像を生成する制御装置2と,オブジェクト画像を表示する表示装置3を備える。制御装置2は,画像取込装置1から画像データを取得して解析し,その解析結果に基づいてAIプログラムデータベースから一又は複数のAIプログラムを読み出すとともに,画像データの中からオブジェクトが描かれた領域を抽出してオブジェクト画像を生成する。制御装置2は,AIプログラムに基づいてオブジェクト画像を制御し,その制御下にあるオブジェクト画像を表示装置3へと出力する。

目的

本発明は,塗り絵絵画を応用して,ユーザの創造性や表現力を発揮させることのできる画像表示システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

オブジェクトが描かれた物理媒体スキャンして画像データを取り込む画像取込装置(1)と,前記画像データからオブジェクト画像を生成する制御装置(2)と,前記オブジェクト画像を表示する表示装置(3)と,を備えた画像表示システムであって,前記制御装置(2)は,前記画像取込装置から前記画像データを取得する画像入力部(10)と,前記画像データを解析する画像解析部(11)と,前記画像解析部(11)の解析結果に基づいて,AIプログラムデータベース(12)から一又は複数のAIプログラムを読み出すAI読出部(13)と,前記画像データの中から前記オブジェクトが描かれた領域を抽出して前記オブジェクト画像を生成する描画処理部(14)と,前記AI読出部(13)によって読み出された前記AIプログラムに基づいて,前記オブジェクト画像を制御するオブジェクト画像制御部(15)と,前記オブジェクト画像制御部(15)によって制御される前記オブジェクト画像を前記表示装置(3)に出力する画像出力部(16)と,を有する画像表示システム。

請求項2

前記画像取込装置(1)は,前記物理媒体に描かれたオブジェクトとともに,当該オブジェクトの種類を特定するために当該物理媒体に描かれたマーカをスキャンして画像データを取り込むものであり,前記画像解析部(11)は,前記画像データに含まれる前記マーカを解析して,前記オブジェクトの種類を特定するマーカ解析部(11a)を含み,前記AI読出部(13)は,前記マーカ解析部(11a)によって特定された前記オブジェクトの種類に応じて,前記AIプログラムデータベース(12)から一又は複数のAIプログラムを読み出す請求項1に記載の画像表示システム。

請求項3

前記画像解析部(11)は,前記画像データに含まれる前記オブジェクトの色を解析する色解析部(11b)を含み,前記AI読出部(13)は,前記色解析部(11b)によって解析された前記オブジェクトの色に応じて,前記AIプログラムデータベース(12)から一又は複数のAIプログラムを読み出す請求項2に記載の画像表示システム。

請求項4

前記AIプログラムデータベース(12)は,少なくとも,前記オブジェクトの種類ごとに,複数の色と対応付けて複数の第1動作AIプログラムを記憶した第1動作AIテーブルと,前記オブジェクトの種類ごとに,複数の色と対応付けて複数の第2動作AIプログラムを記憶した第2動作AIテーブルと,を含み,前記色解析部(11b)は,少なくとも,前記画像データに含まれる前記オブジェクトの色を解析して,同一又は異なる第1色と第2色を抽出し,前記AI読出部(13)は,少なくとも,前記色解析部(11b)によって抽出された前記第1色に応じて,前記第1動作AIテーブルから前記第1動作AIプログラムを読み出すとともに,前記色解析部(11b)によって抽出された前記第2色に応じて,前記第2動作AIテーブルから前記第2動作AIプログラムを読み出し,前記オブジェクト画像制御部(15)は,少なくとも,前記AI読出部(13)によって読み出された前記第1動作AIプログラム及び前記第2動作AIプログラムに基づいて,前記オブジェクト画像を制御する請求項3に記載の画像表示システム。

請求項5

前記画像表示システムは,前記表示装置(3)の表示画面の近傍に存在する人の存在又は表示画面に対する接触位置を検知可能な検知装置(4)をさらに備え,前記制御装置(2)は,前記検知装置(4)からの検知情報を取得する検知情報入力部(17)をさらに有し,前記オブジェクト画像制御部(15)は,前記検知情報及び前記AIプログラムに基づいて,前記オブジェクト画像を制御する請求項1から請求項4のいずれかに記載の画像表示システム。

請求項6

コンピュータを,請求項1から請求項5のいずれかに記載の画像表示システムにおける前記制御装置(2)として機能させるためのプログラム。

技術分野

0001

本発明は,画像表示システムに関する。具体的に説明すると,本発明は,ユーザによって着色されたり描かれたりしたお絵かきの画像をデジタル情報として取り込み,そのお絵かき画像をリアルタイム表示画面に表示させ,その画面上で生き物のように動作させることのできるシステムに関するものである。

背景技術

0002

従来から,原稿に描かれた画像をスキャンして画像データとして取り込み,その画像データを編集してディスプレイに表示させる画像処理装置が知られている(特許文献1)。特許文献1の画像処理装置は,ベース原稿のマスク領域に抽出原稿のトリム領域の画像を合成するという「はめ込み合成機能」を備えている。

先行技術

0003

特開平5−145735号公報

発明が解決しようとする課題

0004

しかしながら,従来の画像処理装置は,原稿から取り込んだ画像データを静止画としてディスプレイに表示させるものであり,面白味に欠けるものであった。

0005

ところで,近年の幼児教育においては,単に幼児に対して知識を与えるだけでなく,幼児自らが積極的に知識を収集する行動を取るように促し,幼児の創造性を引き出すことが重要であるとされている。この点,塗り絵絵画は幼児教育において非常に有効であるが,単に画用紙に絵を描かせただけでは,幼児の想像を超える刺激を与えることはできない。このため,塗り絵や絵画を応用して,幼児の創造性や表現力を発揮させることで,多様性を尊重する重要性認知させ,さらには自己効力感を醸成させることのできる教育システムが求められている

0006

そこで,本発明は,塗り絵や絵画を応用して,ユーザの創造性や表現力を発揮させることのできる画像表示システムを提供することを目的とする。

課題を解決するための手段

0007

本発明の発明者は,上記課題の解決手段について鋭意検討した結果,塗り絵や絵画をスキャンして画像データとして取り込み,そこに描かれているオブジェクトの画像を抽出してオブジェクト画像を生成し,そのオブジェクト画像にAI(Artificial Intelligence:人工知能プログラムを与えて,表示画面上で動作させるというシステムを発案した。このようなシステムによれば,塗り絵や絵画を応用して,ユーザの創造性や表現力をより効果的に発揮させることができる。そして,本発明者は,上記知見に基づけば上記の課題を解決できることに想到し,本発明を完成させた。具体的に説明すると,本発明は以下の構成を有する。

0008

本発明の第1の側面は,画像表示システムに関する。本発明に係る画像表示システムは,オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置1と,画像データからオブジェクト画像を生成する制御装置2と,オブジェクト画像を表示する表示装置3と,を備える。
制御装置2は,画像入力部10,画像解析部11,AI読出部13,描画処理部14,オブジェクト画像制御部15,及び画像出力部16を有する。これらの各機能部は,基本的に,入出力IFや,CPU,GPUなどのプロセッサにより実現される。
画像入力部10は,画像取込装置1から画像データを取得する。
画像解析部11は,画像入力部10によって取得した画像データを解析する。
AI読出部13は,画像解析部11の解析結果に基づいて,AIプログラムデータベース12から一又は複数のAIプログラムを読み出す。AIプログラムデータベース12は,制御装置2内に備わっていてもよいし,外部に設置されていてもよいし,制御装置2とインターネットを介して通信可能なウェブサーバが備えるものであってもよい。
描画処理部14は,画像データの中からオブジェクトが描かれた領域を抽出してオブジェクト画像を生成する。
オブジェクト画像制御部15は,AI読出部13によって読み出されたAIプログラムに基づいて,オブジェクト画像を制御する。
画像出力部16は,オブジェクト画像制御部15によって制御されたオブジェクト画像を表示装置3に出力する。

0009

上記構成のように,絵画や塗り絵などの物理媒体から生成したオブジェクト画像を,AIプログラムに基づいて画面上で動作させることで,ユーザに対して,創造性や表現力を向上させる面白みのある体験を与えることができる。特に,AIプログラムは,画像データの解析結果に応じて読み出されるものであるため,それぞれのオブジェクト画像に適したものが選定される。その結果,オブジェクト画像に最適な動作をさせることが可能である。

0010

本発明のシステムにおいて,画像取込装置1は,物理媒体に描かれたオブジェクトとともに,当該オブジェクトの種類を特定するために当該物理媒体に描かれたマーカをスキャンして画像データを取り込むことが好ましい。また,画像解析部11は,画像データに含まれるマーカを解析して,オブジェクトの種類を特定するマーカ解析部11aを含むことが好ましい。この場合,AI読出部13は,マーカ解析部11aによって特定されたオブジェクトの種類に応じて,AIプログラムデータベース12から一又は複数のAIプログラムを読み出す。

0011

上記構成のように,物理媒体に設けられたマーカを解析することで,オブジェクトの種類を判別する処理を高速かつ正確に行うことができる。これにより,物理媒体をスキャンしてからオブジェクト画像を表示するまでの処理を効率的に行うことができる。

0012

本発明のシステムにおいて,画像解析部11は,画像データに含まれるオブジェクトの色を解析する色解析部11bを含むことが好ましい。この場合,AI読出部13は,色解析部11bによって解析されたオブジェクトの色に応じて,AIプログラムデータベース12から一又は複数のAIプログラムを読み出す。

0013

上記構成のように,オブジェクト画像の色に応じてAIプログラムを読み出すことで,塗り絵や絵画を作成したユーザの思想や感情を,オブジェクト画像の動作に反映することができる。例えば,赤色が多い場合にはオブジェクト画像を活発に動作させたり,青色が多ければゆっくり動作させたりするなど,オブジェクト画像の動作にユーザの個性を反映させることができる。

0014

本発明のシステムにおいて,AIプログラムデータベース12は,少なくとも,第1動作AIテーブルと第2動作AIテーブルを含むことが好ましい。第1動作AIテーブルには,オブジェクトの種類ごとに,複数の色と対応付けて複数の第1動作AIプログラムが記憶されている。また,第2動作AIテーブルには,オブジェクトの種類ごとに,複数の色と対応付けて複数の第2動作AIプログラムを記憶した第2動作AIテーブルが記憶されている。
この場合に,色解析部11bは,少なくとも,画像データに含まれるオブジェクトの色を解析して,同一又は異なる第1色と第2色を抽出する。そして,AI読出部13は,色解析部11bによって抽出された第1色に応じて,第1動作AIテーブルから第1動作AIプログラムを読み出す。また,AI読出部13は,色解析部11bによって抽出された第2色に応じて,第2動作AIテーブルから第2動作AIプログラムを読み出す。その結果,オブジェクト画像制御部15は,少なくとも,AI読出部13によって読み出された第1動作AIプログラム及び第2動作AIプログラムに基づいて,オブジェクト画像を制御する。

0015

上記構成のように,オブジェクト画像を構成する色に応じて複数のAIプログラムを読み出し,それらのAIプログラムに従った動作制御を行うことで,オブジェクト画像の動作のバリエーション飛躍的に増やすことができる。これにより,塗り絵や絵画を作成したユーザの個性に応じて,オブジェクト画像に様々な動きをさせることができる。

0016

本発明の画像表示システムは,検知装置4をさらに備えることが好ましい。この検知装置4は,表示装置3の表示画面の近傍に存在する人の存在又は表示画面に対する接触位置を検知することができる。この場合,制御装置2は,検知装置4からの検知情報を取得する検知情報入力部17をさらに有するものとなる。そして,オブジェクト画像制御部15は,検知装置4からの検知情報及びAIプログラムに基づいて,オブジェクト画像を制御する。

0017

上記構成のように,画像表示システムが検知装置4をさらに備えることで,例えば,オブジェクト画像に対して,画面の近くのユーザに寄るような動作をさせたり,人に触れられたときに逃げる動作をさせたりするなど,インタラクティブな動作制御を行うことができる。

0018

本発明のシステムにおいて,オブジェクト画像制御部15は,比較的新しく生成された一又は複数のオブジェクト画像を第1仮想レイヤで動作させるとともに,比較的古くに生成された一又は複数のオブジェクト画像を第1仮想レイヤの背面となる第2仮想レイヤで動作させる制御を行うことが好ましい。

0019

上記構成のように,オブジェクト画像が生成された順番に応じて,各オブジェクト画像を,前面側に位置する第1仮想レイヤに存在させるか,若しくは後面側に位置する第2仮想レイヤに存在させるかを決定する。これにより,画面上に存在するオブジェクト画像が増えた場合であっても,新しく生成されたオブジェクト画像を目立つように表示させることができる。また,表示画面を仮想的に2層のレイヤに分け,古いオブジェクト画像を第2仮想レイヤに移動させるように制御することで,画面上のオブジェクト画像が増えた場合であっても,古いオブジェクト画像をすぐに消す必要がなくなるため,比較的長い時間オブジェクト画像を表示し続けることが可能となる。

0020

本発明のシステムにおいて,オブジェクト画像制御部15は,第1仮想レイヤに存在するオブジェクト画像の動作には,検知装置4からの取得した検知情報を反映させ,第2仮想レイヤに存在するオブジェクト画像の動作には,検知装置4からの取得した検知情報を反映させないように制御を行うことが好ましい。

0021

上記構成のように,比較的新しいオブジェクト画像にのみ検知装置4からの検知情報を反映させるようにすることで,例えば表示画面の前にユーザが集まり過ぎて混雑が発生するのを防止できる。また,第2仮想レイヤに存在するオブジェクト画像には検知情報を反映させないようにすることで,オブジェクト画像制御部15の処理が複雑になることを回避し,演算処理遅延が発生することを防止できる。

0022

本発明の第2の側面は,コンピュータプログラムに関する。本発明のプログラムは,コンピュータを,上記した第1の側面に係る画像表示システムにおける制御装置2として機能させるためのプログラムである。

発明の効果

0023

本発明によれば,塗り絵や絵画を応用して,ユーザの創造性や表現力を発揮させることが可能な画像表示システムを提供することができる。

図面の簡単な説明

0024

図1は,本発明に係る画像表示システムの全体構成を示した模式図である。
図2は,塗り絵用紙の例を示している。
図3は,画像表示システムに含まれる制御装置の構成例を示したブロック図である。
図4は,制御装置による処理の流れを模式的に示している。
図5は,AIプログラムデータベースに記憶された情報の一例を示している。
図6は,仮想レイヤの概念を模式的に示している。
図7は,オブジェクトを利用した制御の一例を示している。

実施例

0025

以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜変更したものも含む。

0026

図1は,本発明に係る画像表示システム100の全体構成の例を示している。図1に示されるように,画像表示システム100は,画像取込装置1(スキャナ)と,制御装置2(コンピュータ)と,表示装置3(プロジェクタ及びスクリーン)と,検知装置4(センサ)を備えている。画像取込装置1によって取り込まれた画像データは,制御装置2へと送出される。制御装置2は,画像取込装置1から取得した画像データに対して所定の画像処理を行ってオブジェクト画像を生成し,このオブジェクト画像の動作を制御する。制御装置2は,オブジェクト画像を表示装置3に送出する。表示装置3は,制御装置2の制御下にあるオブジェクト画像をユーザが視認可能な態様で表示させる。また,表示装置3の表示画面の近くには,ユーザが存在している。検知装置4は,表示画面の近くに存在するユーザを検知して,その検知情報を制御装置2へと送出する。例えば,検知装置4は,ユーザの位置を検知してもよいし,ユーザが表示画面に触れた位置(表画面上の座標)を検知してもよい。制御装置2は,検知装置4からの検知情報を,オブジェクト画像の動作に反映させることができる。以下,これら各装置の構成について具体的に説明する。

0027

画像取込装置1は,オブジェクト(O)が描かれた物理媒体(P)をスキャンして画像データを取り込む。また,物理媒体(P)にマーカ(M)が描画されている場合には,画像取込装置1は,オブジェクト(O)とマーカ(M)が描かれた物理媒体(P)の表面をスキャンして,画像データに変換する。画像取込装置1としては,公知のスキャナやカメラを利用することができる。画像取込装置1は,スキャンした画像をGIFやJPEGといった公知の形式データ化し,制御装置2へと送る。

0028

図2には,画像取込装置1によって取り込み可能な物理媒体(P)の例が示されている。図2に示されるように,物理媒体(P)の一例としては,塗り絵用紙が挙げられる。塗り絵用紙には,カジキや,クマノミ,ホオジロサメといった魚類などのオブジェクト(O)が描かれている。図2の例において,塗り絵用紙には,魚類の輪郭が描かれており,その輪郭の中に色鉛筆クレヨンなどを使って自由に着色を施すことができるようになっている。物理媒体に描かれるオブジェクト(O)は,魚類に限られず,その他の動物や,植物,車両,飛行機建物,人間,キャラクターなど様々なものを採用できる。また,図2の例では,オブジェクト(O)には初めから色が付いておらず,ユーザが自由に色を付けることができるようになっているが,このオブジェクト(O)には初めから色が付いていてもよい。また,オブジェクト(O)は,塗り絵に限られず,ユーザが自由に描いた絵画であってもよい。また,物理媒体(P)は,印刷用紙に限られず,プラスチック板や,金属板であってもよい。また,物理媒体(P)は,平面的なものに限られず,様々な立体構造物であってもよく,カメラやスキャナによって表面を撮影可能なものを適宜採用することができる。

0029

また,図2に示されるように,塗り絵用紙には,四隅にマーカ(M)が描かれている。このマーカ(M)は,その塗り絵用紙に描かれたオブジェクト(O)に対応するものであり,オブジェクト(O)毎に固有のマーカ(M)が設けられている。このため,マーカ(M)を解析すれば,その塗り絵用紙に描かれているオブジェクト(O)の種類を特定することができる。例えば,カジキが描かれた塗り絵用紙には,カジキを特定するためのマーカ(M)が付与される。また,マーカ(M)を塗り絵用紙の四隅に設けることで,その各マーカ(M)を頂点とする矩形領域を画定することができる。これにより,各マーカ(M)の位置を検出することで,各マーカ(M)を頂点とする矩形領域内に,オブジェクト(O)が存在していることを認識することができる。なお,マーカ(M)は,必ずしも塗り絵用紙の四隅に設ける必要はなく,三隅に設けられていてもよいし,対角線上の二隅に設けられていてもよい。三隅や対角線上の二隅であっても,オブジェクト(O)の種類と矩形領域を認識できる。また,矩形領域を認識する必要がなく,オブジェクト(O)の種類を特定するだけでもよい場合には,塗り絵用紙上の任意の一箇所にマーカ(M)を設けておけばよい。図2の例のように,マーカ(M)は文字が描かれたものであってもよいし,その他公知のQRコード登録商標)などであってもよい。

0030

表示装置3は,制御装置2の制御に従って,オブジェクト画像を表示する。図1に示した例において,表示装置3は,プロジェクタ3aとスクリーン3bを備えている。プロジェクタ3aは,制御装置2からオブジェクト画像やその背景画像などを受信して,それらの画像をスクリーン3bの表面上に投影する。プロジェクタ3aやスクリーン3bは公知のものを採用すればよい。なお,スクリーン3bは平面的な壁などによっても代用できる。また,表示装置3としては,大型モニタや,液晶ディスプレイ,あるいは有機ELディスプレイなどを採用することもできる。ただし,簡易かつ低コストな構成でオブジェクト画像を大画面に表示できることから,表示装置3としては,プロジェクタ3aとスクリーン3bを採用することが好ましい。

0031

検知装置4は,表示装置3の表示画面(スクリーン3b)の近くに存在する人の存在や,表示画面(スクリーン3b)に対する接触位置を検知する。例えば,検知装置4としては,赤外線センサや,光センサ超音波センサ静電容量センサ感圧センサ音センサ温度センサなど各種公知のセンサを採用することができる。また,検知装置4としては,赤外線センサと感圧センサの組み合わせなど,異なる機能を持つ複数のセンサを採用することも可能である。例えば,検知装置4は,人の接近を検知したり,人がスクリーン3bに触れたときにその接触位置(スクリーン3b上の座標位置)を検知することが好ましい。また,検知装置4は,部屋の明るさや,騒音量,あるいは人の声などを検知することもできる。検知装置4による様々な検知情報は,リアルタイムに制御装置2へと送出され,オブジェクト画像の動作制御に利用される。

0032

制御装置2は,上記した画像取込装置1,表示装置3,及び検知装置4に対して有線又は無線で接続されており,これら各装置の制御を行う。制御装置2としては,汎用的なコンピュータを利用することができる。また,制御装置2は,複数のコンピュータによって構築し,各コンピュータに処理を分担させることもできる。さらに,制御装置2としては,画像取込装置1,表示装置3,及び検知装置4に対してインターネットを介して接続されたウェブサーバを利用することも可能である。

0033

図3は,制御装置2の機能構成を示したブロック図である。制御装置2は,汎用的なコンピュータと同様に入力部(入力IF),出力部(出力IF),記憶部(メモリ),演算部(CPUやGPUなどのプロセッサ),及び制御部(CPUやGPUなどのプロセッサ)を有しており,図3に示された機能構成は,これらの各部位の機能によって実現される。制御装置2の記憶部には,この制御装置2の機能を実現するためのプログラムが格納されており,制御部は,このプログラムに従って,情報の入出力処理や,演算処理,あるいは記憶処理を行う。また,図4には,制御装置2による処理の流れが模式的に示されている。以下では,図4に示した処理の流れに従って,制御装置2の各機能構成について説明する。

0034

図3及び図4に示されるように,画像取込装置1のスキャンによって取得された画像データは,画像入力部10を介して,画像取込装置1に入力される。画像入力部10を介して制御装置2内に取り込まれた画像データは,画像解析部11へと送られる。

0035

画像解析部11は,画像データを解析する。第1に,画像解析部11は,画像データに含まれるオブジェクトの種類を特定するための解析を行う。本実施形態においては,物理媒体(P)(塗り絵用紙)の表面に,オブジェクト(O)に対応したマーカ(M)が付されている。このため,画像解析部11は,画像データに含まれるマーカを解析して,オブジェクトの種類を特定するマーカ解析部11aを有する。マーカはオブジェクト固有のものであるため,マーカ解析部11aは,このマーカを解析することでオブジェクトの種類を特定できる。マーカ解析部11aによって特定されたオブジェクトの種類に関する情報は,AI読出部13及び描画処理部14へと送られる。なお,画像解析部11は,マーカに依存せずに,画像データに含まれるオブジェクトの種類を特定することとしてもよい。例えば,画像解析部11は,画像データを解析して,オブジェクトの輪郭を把握し,その輪郭の形状を,記憶部に記憶されているデータと照合することよって,オブジェクトの種類を特定することも可能である。

0036

第2に,画像解析部11は,画像データに含まれるオブジェクトの色を解析する。このため,画像解析部11は,色解析部11bを有するものである。色解析部11bは,画像データを解析して,オブジェクトを構成している色情報を取得する。色解析部11bは,少なくともオブジェクトを構成する色情報を一種類以上抽出する。例えば,色解析部11bは,画像データを解析して,オブジェクトを構成する色情報のマップを作成し,その中から,最も多く存在する一つの色情報を,オブジェクトを構成する「代表色」として抽出することとしてもよい。また,色解析部11bは,オブジェクトを構成する色情報のマップの中から,最も多く存在する「第1位の色(第1色)」を抽出するとともに,その次に多く存在する「第2位の色(第2色)」を抽出し,その次に多く存在する「第3位の色(第3色)」を抽出することが好ましい。その際,第1色,第2色,第3色の色情報には,順列が付けられる。画像解析部11の色解析部11bによって抽出された色情報(代表色や色の順列に関する情報)は,AI読出部13へと送られる。

0037

続いて,描画処理部14は,画像データの中からオブジェクトが描かれた領域を抽出して,背景などの不要な部分を取り除いたオブジェクト画像を生成する描画処理を行う。図4に示されるように,描画処理部14は,まず,画像データに含まれる4つのマーカ(M)の位置を把握して,その4つのマーカ(M)を頂点とした矩形領域を画定し,その矩形領域の外側を除去する。これにより,画像データの中から,オブジェクトが描かれた矩形画像切り抜くことができる。

0038

また,描画処理部14は,マーカ解析部11aから受け取ったオブジェクトの種類に関する情報に基づいて,マスク画像データベース18からマスク処理に利用するマスク画像検索する。このマスク画像データベース18には,オブジェクトの種類ごとにマスク画像が記憶されている。例えば,マーカ解析部11aによってオブジェクトの種類が「クマノミ」であることが特定されている場合,描画処理部14は,マスク画像データベース18からクマノミ用のマスク画像を読み出す。このマスク画像は,各オブジェクトの輪郭に対応しており,輪郭の外側が除去部分,輪郭の内側が透明部分となっている。そして,描画処理部14は,読み出したマスク画像を上記した矩形画像と合成してマスク処理を行い,オブジェクトの輪郭の内側の色部分を抽出する。これにより,オブジェクトの輪郭の中に任意の着色が施されたオブジェクト画像が生成される。そして,描画処理部14は,このようにして生成したオブジェクト画像を,オブジェクト画像制御部15へと送る。

0039

なお,描画処理部14によってオブジェクト画像を生成する方法は,上記したマスク処理に限られない。例えば,上記した矩形画像の中から色付きの部分を抽出して白色部分(色無しの部分)を透明化するクロマキー合成処理を行って,オブジェクト画像を生成することも可能である。また,マスク画像データベース18は,制御装置2内に備わっていてもよいし,外部に設置されていてもよいし,制御装置2とインターネットを介して通信可能なウェブサーバが備えるものであってもよい。

0040

続いて,AI読出部13は,画像解析部11による解析結果に基づいて,描画処理部14が生成したオブジェクト画像を動作させるためのAIプログラムを,AIプログラムデータベース12から読み出す。具体的には,AI読出部13は,画像解析部11のマーカ解析部11aによって特定されたオブジェクトの種類に関する情報のみに基づいて,AIプログラムを読み出してもよい。また,AI読出部13は,オブジェクトの種類に関する情報に加えて,色解析部11bによって抽出された色情報(代表色や色の順列に関する情報)に基づいて,AIプログラムを読み出すこともできる。ここでは,オブジェクトの種類と色の順列に関する情報に基づいて,AIプログラムを読み出す例について説明する。

0041

図5には,AIプログラムデータベース12に記憶されている情報の一例が示されている。例えば,AIプログラムデータベース12は,基本動作AIテーブル(第1動作AIテーブル)を含む。基本動作AIテーブルでは,オブジェクトの種類ごとに,基本動作AIプログラム(第1動作AIプログラム)が記憶されている。例えば,「カジキ」の基本動作AIプログラム(A1〜A8)は,各種オブジェクトの中で最も泳ぐスピードが速いことや,その泳ぎ方の特徴などといった,「カジキ」特有の基本動作を規定している。また,例えば,「クマノミ」の基本動作AIプログラム(B1〜B8)は,泳ぐスピードがあまり速くないことや,背景のサンゴ周りに長時間滞在するといった,「クマノミ」特有の基本動作が規定されている。また,基本動作AIプログラムでは,他のオブジェクトとの関係性(例:近寄ったり逃げたりする関係性)が規定されていてもよい。これらの基本動作AIプログラムは,各種オブジェクトごとに用意されている。さらに,基本動作AIテーブルは,オブジェクトの種類ごとに,複数の色と対応付けて,それぞれ基本動作AIプログラムが記憶されている。例えば,色が「C(シアン)」となる「カジキ」のには,基本動作AIプログラム「A1」が対応付けられており,また,色が「M(マゼンタ)」となる「カジキ」のには,基本動作AIプログラム「A2」が対応付けられている。これらの色ごとに分かれている基本動作AIプログラムは,それぞれオブジェクト画像の動作が少しずつ異なる。例えば,「M(マゼンタ)」に対応付けられた基本動作AIプログラム「A2」は,「C(シアン)」に対応付けられた基本動作AIプログラム「A1」よりも素早く動作することが規定されている。

0042

さらに,AIプログラムデータベース12は,基本動作AIテーブル(第1動作AIテーブル)に加えて,登場動作AIテーブル(第2動作AIテーブル)と,食事動作AIテーブル(第3動作AIテーブル)を含むものであってもよい。登場動作AIテーブルに記憶されている登場動作AIプログラム(第2動作AIプログラム)は,例えば,オブジェクト画像が表示画面上に出現してから一定期間(例:10秒間)の動作を規定している。また,食事動作AIテーブルに記憶されている食事動作AIプログラム(第3動作AIプログラム)は,オブジェクト画像がエサ画像の周辺に存在するときの動作を規定している。例えば,オブジェクト画像は,表示画面上に出現してから一定期間の間は登場動作AIプログラムに従って動作し,エサ画像の周辺に存在するときには食事動作AIプログラムに従って動作し,それ以外の状況にあるときには基本動作AIプログラムに従って動作する。

0043

また,登場動作AIテーブルと食事動作AIテーブルでは,基本動作AIテーブルと同様に,オブジェクトの種類ごとに,複数の色と対応付けて,それぞれ基本動作AIプログラムが記憶されている。例えば,登場動作AIテーブルにおいて,色が「C(シアン)」となる「カジキ」には,登場動作AIプログラム「a1」が対応付けられており,色が「M(マゼンタ)」となる「カジキ」には,登場動作AIプログラム「a2」が対応付けられている。また,例えば,食事動作AIテーブルにおいて,色が「C(シアン)」となる「カジキ」には,食事動作AIプログラム「α1」が対応付けられており,色が「M(マゼンタ)」となる「カジキ」には,食事動作AIプログラム「α2」が対応付けられている。これらの色ごとに分かれている登場動作AIプログラムや食事動作AIプログラムは,それぞれオブジェクト画像の動作が少しずつ異なる。

0044

また,上述したとおり,AI読出部13は,画像解析部11のマーカ解析部11aからオブジェクトの種類に関する情報を受け取り,かつ,画像解析部11の色解析部11bからオブジェクトを構成する「第1位の色(第1色)」,「第2位の色(第2色)」,及び「第3位の色(第3色)」に関する情報を受け取る。この場合に,まず,AI読出部13は,オブジェクトの種類と第1位の色に関する情報に基づいて,基本動作AIテーブルにアクセスし,基本動作AIプログラムを一つ読み出す。また,AI読出部13は,オブジェクトの種類と第2位の色に関する情報に基づいて,登場動作AIテーブルにアクセスし,登場動作AIプログラムを一つ読み出す。さらに,AI読出部13は,オブジェクトの種類と第3位の色に関する情報に基づいて,食事動作AIテーブルにアクセスし,食事動作AIプログラムを一つ読み出す。

0045

例えば,画像解析部11によって,オブジェクトの種類が「クマノミ」であると特定され,オブジェクトを構成する色の第1位が「R(赤色)」であり,第2位が「Y(イエロー)」であり,第3位が「G(緑色)」であると解析された場合を考える。この場合,AI読出部13は,まず,基本動作AIテーブルにアクセスし,「クマノミ」「R(赤色)」に対応付けられた基本動作AIプログラム「B4」を読み出す。次に,AI読出部13は,登場動作AIテーブルにアクセスし,「クマノミ」「Y(イエロー)」に対応付けられた登場動作AIプログラム「b3」を読み出す。さらに,AI読出部13は,食事動作AIテーブルにアクセスし,「クマノミ」「G(緑色)」に対応付けられた食事動作AIプログラム「β6」を読み出す。このようにして,各種テーブルから,基本動作AIプログラム「B4」,登場動作AIプログラム「b3」,及び食事動作AIプログラム「β6」が,オブジェクト画像の動作を制御するためのAIプログラムとして読み出される。AI読出部13は,AIプログラムデータベース12から読み出した複数のAIプログラムを,オブジェクト画像制御部15へと送る。

0046

オブジェクト画像制御部15は,描画処理部14からオブジェクト画像を受け取るとともに,AI読出部13から,そのオブジェクト画像に対応する一又は複数のAIプログラムを受け取る。そして,AIプログラムに従って,オブジェクト画像の動作を制御する。例えば,AI読出部13によって基本動作AIプログラム,登場動作AIプログラム,及び食事動作AIプログラムが読み出された場合には,オブジェクト画像制御部15は,それら3種のAIプログラムを利用して,オブジェクト画像を制御する。また,オブジェクト画像制御部15の制御下にあるオブジェクト画像は,画像出力部16を介して,表示装置3を構成するプロジェクタ3aへと出力される。これにより,オブジェクト画像制御部15によって動作制御されているオブジェクト画像が,プロジェクタ3aによって投影されて,スクリーン3bに映し出されることとなる。

0047

また,制御装置2は,検知装置4(各種センサ)からの検知情報が入力される検知情報入力部17を有している。検知情報入力部17は,検知装置4から検知情報を受け取ると,それをオブジェクト画像制御部15へと送る。オブジェクト画像制御部15は,検知情報入力部17から受け取った検知情報を,オブジェクト画像の動作制御に反映させる。例えば,図1に示されるように,検知装置4によって,スクリーン3bの近くに立つユーザの存在が検知されると,オブジェクト画像制御部15は,そのユーザの周囲に集まるように,複数のオブジェクト画像の動作を制御する。また,検知装置4によって,ユーザがスクリーン3bに触れたことが検知されると,オブジェクト画像制御部15は,その接触位置にオブジェクト画像が表示されているか否かを判断し,接触位置とオブジェクト画像の位置が一致すると判断した場合には,そのオブジェクト画像をユーザによる接触位置から素早く逃げるように動作制御する。また,検知装置4としては,赤外線センサや,光センサ,超音波センサ,静電容量センサ,感圧センサ,音センサ,温度センサなど各種公知のセンサを採用することができる。オブジェクト画像制御部15は,これらの検知装置4から各種検知情報を受け取り,オブジェクト画像の動作制御に適宜利用することが可能である。

0048

図6は,仮想レイヤを利用したオブジェクト画像の動作制御の例を示している。オブジェクト画像制御部15は,オブジェクト画像を表示させる仮想的なレイヤとして,第1仮想レイヤと第2仮想レイヤとを構築している。第1仮想レイヤと第2仮想レイヤは,共にオブジェクト画像が表示される仮想的なディスプレイ面であり,第1仮想レイヤは,第2仮想レイヤの前面側に配置されているが,第2仮想レイヤ上に表示されるオブジェクト画像は,第1仮想レイヤを透過してユーザに視認される。ただし,第1仮想レイヤ上に表示されたオブジェクト画像と第2仮想レイヤ上に表示されるオブジェクト画像とが重なった場合,第1仮想レイヤ上に表示されたオブジェクト画像が前面となり,第2仮想レイヤ上に表示されるオブジェクト画像は,その背面に隠れることとなる。このように,オブジェクト画像制御部15は,第1仮想レイヤと第2仮想レイヤとに分けて,複数のオブジェクト画像を表示する制御を行う。

0049

例えば,図6に示されるように,オブジェクト画像が生成されると,オブジェクト画像制御部15は,まず,そのオブジェクト画像を第1仮想レイヤに表示させる。そして,第1仮想レイヤへの表示を続け,第1仮想レイヤ上に存在するオブジェクト画像の数が,一定数を超えたときに,その中で最も古くに生成されたオブジェクト画像を,第2仮想レイヤへと移動させる。このように,第1仮想レイヤに表示可能なオブジェクト画像の数には制限があり,その制限を超えた場合,古いものから順番に第2仮想レイヤへと移動される。第1仮想レイヤに表示可能なオブジェクト画像の数は,例えば10〜50程度の範囲で調整すればよい。また,第2仮想レイヤにも,表示可能なオブジェクト画像の数の制限が設けられており,その制限を超えた場合,最も古くに生成されたオブジェクト画像が,第2仮想レイヤから消去される。例えば,第2仮想レイヤに表示可能なオブジェクト画像の数は,例えば10〜50程度の範囲で調整すればよい。このようにして,生成されたオブジェクト画像は,まず第1仮想レイヤ上に表示され,その後第2仮想レイヤへと移動して,最終的には画面から消去されることとなる。

0050

また,オブジェクト画像制御部15は,第1仮想レイヤと第2仮想レイヤとで,検知装置4からの検出情報の影響が異なるように制御を行うことが好ましい。例えば,オブジェクト画像制御部15は,第1仮想レイヤに存在するオブジェクト画像に対しては,検知装置4からの検出情報の影響を与えることとし,第2仮想レイヤに存在するオブジェクト画像に対しては,検知装置4からの検出情報の影響を与えないようにする。図6に示した例においては,検知装置4がスクリーンに対するユーザの接触位置を検出した際に,その接触位置と第1仮想レイヤ上に存在するオブジェクト画像の位置とが重なる場合には,その接触位置から逃げるようにオブジェクト画像を制御する。他方,検知装置4がスクリーンに対するユーザの接触位置を検出した際に,その接触位置と第2仮想レイヤ上に存在するオブジェクト画像の位置とが重なる場合であっても,特にそのオブジェクト画像の動作は変化させない。このように,第1仮想レイヤ上のオブジェクト画像はインタラクティブに制御されるが,第2仮想レイヤ上のオブジェクト画像は特に検知装置4からの影響を受けないようになっている。これにより,オブジェクト画像制御部15は,オブジェクト画像の数が増えてきた場合であっても,第1仮想レイヤ上に存在する一定数以下のオブジェクト画像のみについて,検知装置4からの検知情報の影響を算出すれば済むため,CPU(或いはGPU)の演算量を低減できる。

0051

また,図3に示されるように,オブジェクト画像制御部15は,イベントデータベース19からの所定のデータを受け取り,オブジェクト画像の制御に反映させることができる。このイベントデータベース19には,イベント画像が記憶されている。イベント画像は,画像取込装置1によって取り込まれた画像を加工して得られたオブジェクト画像ものとは区別されるものであり,予めこのイベントデータベース19に記憶されている。図7には,イベント画像の一例として,エサ画像(F)が表示画面上に表示されている。オブジェクト画像制御部15は,イベントデータベース19からエサ画像(F)を読み出すと,これを画像出力部16を介して表示装置3へと出力し,表示画面上に映し出す。そして,エサ画像の周囲(例えば点線の範囲)にいるオブジェクト画像は,そのエサ画像(F)に集まるように,オブジェクト画像制御部15によって制御される。また,エサ画像(P)に集まる際に,オブジェクト画像は,上述した食事動作AIプログラムに従って動作制御される。また,エサ画像(F)に集まるように設定されたAIプログラムだけでなく,エサ画像(F)に対して無関心であったりエサ画像(F)から遠ざかるように設定されたAIプログラムが存在していてもよい。また,イベントデータベース19には,その他オブジェクト画像の動作に影響を与える種々のイベント画像を記憶しておくことができる。オブジェクト画像は,イベント画像に対して近づくものであってもよいし,イベント画像から離れるものであってもよいし,その他動作に影響を受けることとしてもよい。

0052

図3に示されるように,オブジェクト画像制御部15は,描画処理部14によって作成されたオブジェクト画像とAI読出部13によって読み出されたAIプログラムの組み合わせを,オブジェクト記憶部20に記憶させることも可能である。オブジェクト画像制御部15は,オブジェクト記憶部20されているオブジェクト画像とAIプログラムとの組み合わせを読み出して,再度,表示画面上に表示させることもできる。

0053

その他,図示は省略するが,制御装置2は,ユーザによって作成されたオブジェクト画像を,インターネットを介して,そのユーザの携帯端末に送信するといったサービスを行うこともできる。また,制御装置2は,表示装置3に表示されている映像を,インターネットを介してウェブサーバに提供することも可能である。その場合,ユーザは,携帯端末を介してウェブサーバにアクセスすれば,表示装置3に表示されている映像を,自分の携帯端末の画面を通じて閲覧することができる。

0054

以上,本願明細書では,本発明の内容を表現するために,図面を参照しながら本発明の実施形態の説明を行った。ただし,本発明は,上記実施形態に限定されるものではなく,本願明細書に記載された事項に基づいて当業者が自明な変更形態改良形態包含するものである。

0055

本発明は,ユーザによって着色されたり描かれたりしたお絵かきの画像をデジタル情報として取り込み,リアルタイムに表示することのできるシステムに関する。従って,本発明は,エンターテイメント産業や教育業において好適に利用し得る。

0056

1…画像取込装置2…制御装置
3…表示装置3a…プロジェクタ
3b…スクリーン4…検知装置
10…画像入力部 11…画像解析部
11a…マーカ解析部 11b…色解析部
12…AIプログラムデータベース13…AI読出部
14…描画処理部 15…オブジェクト画像制御部
16…画像出力部 17…検知情報入力部
18…マスク画像データベース19…イベントデータベース
20…オブジェクト記憶部 100…画像表示システム
O…オブジェクト M…マーカ
P…物理媒体F…エサ画像

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社セガゲームスの「 プログラム及び情報処理装置」が 公開されました。( 2021/03/18)

    【課題】プレイヤに二以上のコンテンツが当選する抽選ゲームを実行するモチベーションを与える。【解決手段】プログラムがコンピュータを、蓄積数が所定数に到達した場合、イベントを実行する実行権をプレイヤに獲得... 詳細

  • 株式会社セガゲームスの「 プログラム及び情報処理装置」が 公開されました。( 2021/03/18)

    【課題】プレイヤに二以上のコンテンツが当選する抽選ゲームを実行するモチベーションを与える。【解決手段】プログラムがコンピュータを、蓄積数が所定数に到達した場合、イベントを実行する実行権をプレイヤに獲得... 詳細

  • 株式会社バンダイの「 プログラム、端末、サーバ装置及びシステム」が 公開されました。( 2021/03/18)

    【課題】ユーザの興趣性を向上させたゲームを提供すること。【解決手段】プレーヤが第1ゲーム要素を使用して行うゲームをコンピュータに実行させるプログラムであって、プレーヤのデッキを構成する第1ゲーム要素を... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ