図面 (/)

技術 画像処理装置、スキャナ、プロジェクタ、画像処理方法、プログラム

出願人 日本電気株式会社
発明者 瀬川哲
出願日 2019年4月18日 (1年9ヶ月経過) 出願番号 2019-079646
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-177476
状態 特許登録済
技術分野 イメージ分析 画像処理
主要キーワード 投影指示 認識モデル 投影範囲 一画像領域 記入用紙 模範解答 最小構成 スキャン領域
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力する画像処理装置を提供する。

解決手段

スキャナから取得したスキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する。加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影する。

概要

背景

人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき情報を共有することがビジネス教育などの様々な場面で存在する。紙媒体とは例えばノート、書面、本、パンフレット記入用紙などである。このような紙媒体に記載されている情報やその他の情報の共有を行う場合において、情報を他の紙媒体に転写することや、人から人に伝えた関連情報をその情報の受け手が紙媒体に書き込むことが多く行われる。

関連する技術が特許文献1,2に開示されている。特許文献1には、投影データ投影装置と、投影データの投影面を撮像する撮像装置とに通信可能に接続されて、投影面上のオブジェクトの位置を特定し、その位置が所定領域内にある状態の投影面を撮像するように撮像装置を制御する技術が記載されている。特許文献1の技術に記載される情報処理装置は、紙媒体を用いて紙媒体に記載されている事項を説明したことの証跡を残すために利用される。

また特許文献2には、プロジェクタカメラ通信接続され、平面上に投影された表示画面または操作キーに対して操作者が行った入力操作識別する入出力装置の技術が開示されている。

概要

人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力する画像処理装置を提供する。スキャナから取得したスキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する。加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影する。

目的

この発明は、上述の課題を解決する画像処理装置、スキャナ、プロジェクタ、画像処理方法プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、を備える画像処理装置

請求項2

前記加工処理部は、前記第一対象物の前記撮影状態である前記第一スキャン領域における載置の向きに基づいて、前記第二対象物の画像情報の前記投影領域における向きを補正する加工を行う請求項1に記載の画像処理装置。

請求項3

前記加工処理部は、前記第一対象物の前記撮影状態である前記第一画像領域中の大きさに基づいて、前記第二対象物の画像情報の大きさを加工する請求項1または請求項2に記載の画像処理装置。

請求項4

前記加工処理部は、前記第一対象物の前記撮影状態である前記第一画像領域中の位置に基づいて、前記第二対象物の画像情報の位置を加工する請求項1から請求項3の何れか一項に記載の画像処理装置。

請求項5

前記加工処理部は、前記第一対象物の前記撮影状態である前記第一画像領域中の色情報に基づいて、前記第二対象物の画像情報の色情報を加工する請求項1から請求項4の何れか一項に記載の画像処理装置。

請求項6

請求項1から請求項5の何れか一項に記載の画像処理装置を備えたスキャナ。

請求項7

平面上の第一の領域と第二の領域とを撮影範囲に含む画角を有するカメラと、前記カメラから得た光学情報に基づいて生成したスキャン画像であってスキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、を備えるスキャナ。

請求項8

スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域に投影する投影部と、を備えるプロジェクタ。

請求項9

スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得し、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工し、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力することを特徴とする画像処理方法

請求項10

スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得手段、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理手段、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力手段、として機能させるプログラム

技術分野

背景技術

0002

人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき情報を共有することがビジネス教育などの様々な場面で存在する。紙媒体とは例えばノート、書面、本、パンフレット記入用紙などである。このような紙媒体に記載されている情報やその他の情報の共有を行う場合において、情報を他の紙媒体に転写することや、人から人に伝えた関連情報をその情報の受け手が紙媒体に書き込むことが多く行われる。

0003

関連する技術が特許文献1,2に開示されている。特許文献1には、投影データ投影装置と、投影データの投影面を撮像する撮像装置とに通信可能に接続されて、投影面上のオブジェクトの位置を特定し、その位置が所定領域内にある状態の投影面を撮像するように撮像装置を制御する技術が記載されている。特許文献1の技術に記載される情報処理装置は、紙媒体を用いて紙媒体に記載されている事項を説明したことの証跡を残すために利用される。

0004

また特許文献2には、プロジェクタやカメラ通信接続され、平面上に投影された表示画面または操作キーに対して操作者が行った入力操作識別する入出力装置の技術が開示されている。

先行技術

0005

特許第5835411号公報
特開2000−298544号公報

発明が解決しようとする課題

0006

上述のような人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力する技術が求められている。

0007

そこでこの発明は、上述の課題を解決する画像処理装置、スキャナ、プロジェクタ、画像処理方法、プログラムを提供することを目的としている。

課題を解決するための手段

0008

本発明の第1の態様によれば、画像処理装置は、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、を備えることを特徴とする。

0009

本発明の第2の態様によれば、スキャナは上述の画像処理装置を備えることを特徴とする。

0010

本発明の第3の態様によれば、スキャナは、平面上の第一の領域と第二の領域とを撮影範囲に含む画角を有するカメラと、前記カメラから得た光学情報に基づいて生成したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、を備えることを特徴とする。

0011

本発明の第4の態様によれば、プロジェクタは、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域に投影する投影部と、を備えることを特徴とする。

0012

本発明の第5の態様によれば、画像処理方法は、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得し、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工し、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力することを特徴とする。

0013

本発明の第6の態様によれば、プログラムは、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得手段、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理手段、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力手段、として機能させることを特徴とする。

発明の効果

0014

本発明によれば、人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力することができる。

図面の簡単な説明

0015

本発明の一実施形態による情報共有システム概要を示す図である。
本発明の一実施形態による情報共有システムの構成を示す図である。
本発明の一実施形態による画像処理装置のハードウェア構成を示す図である。
本発明の一実施形態による画像処理装置の機能ブロック図である。
本発明の一実施形態による情報共有システムの利用時におけるスキャナとプロジェクタの配置例を示す図である。
本発明の一実施形態による画像処理装置の処理フローを示す図である。
本発明の一実施形態による画像処理装置の最小構成を示す図である。
本発明の一実施形態による最小構成の画像処理装置による処理フローを示す図である。

実施例

0016

以下、本発明の一実施形態による情報共有システムを、図面を参照して説明する。
図1は同実施形態による情報共有システムの概要を示す図である。
図2は同実施形態による情報共有システムの構成を示す図である。
この図で示すように情報共有システム100は、画像処理装置1、スキャナ2、プロジェクタ3を少なくとも含んで構成される。画像処理装置1はスキャナ2、プロジェクタ3それぞれと無線または有線により通信接続する。なお好ましくは、画像処理装置1はスキャナ2、プロジェクタ3それぞれと無線により通信接続する。

0017

情報共有システムは、人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場面で主に利用される。例えば、教育現場において指導者生徒との間でテキストやノートなどの紙媒体に表示されている情報や、それ以外の関連情報を共有する際に、指導者と生徒は情報共有システム100を利用する。また例えば、ビジネスの場面において営業担当者と顧客との間でパンフレットやその他の資料などの紙媒体に表示されている情報や、それ以外の関連情報を共有する際に、営業担当者と顧客は情報共有システム100を利用する。ビジネスの場面の例としては、金融商品販売する場面、サービスに関する情報を説明する場面などである。

0018

なおスキャナ2とプロジェクタ3とはそれぞれ分離可能であり、それらはなどの平面上に載置される。またスキャナ2やプロジェクタ3は持ち運びが可能な程度の大きさである。

0019

スキャナ2は、広角レンズを有している。スキャナ2は、机平面のスキャナ2を中心とする360度の周囲方向を一度に撮影できる構造となっていてよい。またはスキャナ2は、スキャナ2を中心とする180度以上の周囲の範囲方向を一度に撮影できる構造となっていてよい。これによりスキャナ2は机上平面においてユーザが任意に設定した第一スキャン領域と第二スキャン領域を撮影範囲に含むスキャン画像を生成する。

0020

一例として第一スキャン領域は第一ユーザ着座する位置に対応する机上の範囲を示す。また第二スキャン領域は第二ユーザが着座する位置に対応する机上の範囲を示す。第一ユーザまたは第二ユーザは、スキャナ2に設けられたカメラの撮影範囲が第一スキャン領域と第二スキャン領域を含むようにスキャナ2を机上に載置する。

0021

プロジェクタ3は、画像処理装置1の出力した画像を机上に投影する。この時、プロジェクタ3は第一スキャン領域または第二スキャン領域を判定し、何れか指定された領域、または特定した領域に画像を投影してよい。画像処理装置1の出力する画像は、画像処理装置1がスキャナ2から取得したスキャン画像に含まれる画像の一部であってもよい。画像処理装置1は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する。そして画像処理装置1は、加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタ3に出力する。プロジェクタ3は画像処理装置1から取得した画像情報を投影する。

0022

図3は画像処理装置のハードウェア構成を示す図である。
画像処理装置1は、図3で示すようにCPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、インタフェース105、通信モジュール106等の各ハードウェア構成を一例として備える。

0023

図4は画像処理装置の機能ブロック図である。
画像処理装置1のCPU101は画像処理プログラムを実行する。これにより画像処理装置1は、取得部11、加工処理部12、出力部13、制御部14の機能を発揮する。
取得部11は、スキャナ2から受信したスキャン画像であってスキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する。
加工処理部12は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する。
出力部13は、加工処理部12によって加工された後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタ3に出力する。
制御部14はスキャン画像に含まれる情報や、加工処理部12の加工処理に基づいてプロジェクタ3による画像情報の投影を制御する。

0024

なお加工処理部12は、第一対象物の撮影状態である第一スキャン領域における載置の向きに基づいて、第二対象物の画像情報の投影領域における向きを補正する加工を行ってよい。
また加工処理部12は、第一対象物の撮影状態である第一画像領域中の大きさに基づいて、第二対象物の画像情報の大きさを加工してよい。
また加工処理部12は、第一対象物の撮影状態である第一画像領域中の位置に基づいて、第二対象物の画像情報の位置を加工してよい。
また加工処理部12は、第一対象物の前記撮影状態である第一画像領域中の色情報に基づいて、第二対象物の画像情報の色情報を加工してよい。

0025

図5は情報共有システムの利用時におけるスキャナとプロジェクタの配置例を示す図である。
図5<a>は、第一ユーザU1と第二ユーザU2とが机を挟んで対面し、紙媒体に表示されている情報とその情報に加えるべき関連情報を共有するミーティングを行う初期段階の状態を示している。この時、スキャナ2とプロジェクタ3とが机上に載置されている。

0026

図5<b>は、第一ユーザU1と第二ユーザU2とはミーティングを開始した後の段階を示している。ミーティングが開始されると、第一ユーザU1または第二ユーザU2は、スキャナ2のカメラのスキャン領域Aが、第一ユーザU1が着座する位置の近傍の机上の領域である第一スキャン領域A1と、第二ユーザU1が着座する位置の近傍の机上の領域である第二スキャン領域A2とを含む。

0027

なおスキャン領域Aにおける第一スキャン領域A1と第二スキャン領域A2とは予め定められていてよい。またはスキャン領域Aにおける第一スキャン領域A1と第二スキャン領域A2とを、画像処理装置1が何等かの手法によって検出してもよい。例えば画像処理装置1はスキャン領域Aをスキャンして生成したスキャン画像においてプロジェクタ3が写っている場合には、そのプロジェクタ3の画像の投影方向をプロジェクタ3の画像のパターンマッチング等により判定し、投影方向のプロジェクタ前面の所定領域を第一スキャン領域A1と判定してよい。スキャン領域Aにおいて第一スキャン領域A1と第二スキャン領域A2の位置関係は逆であってもよい。

0028

第一スキャン領域A1には第一ユーザが利用する紙媒体(ノート、教科書など)が配置される。また第二スキャン領域A2には第二ユーザが利用する紙媒体(模範解答印刷物や教科書など)が配置される。画像処理装置1は、スキャン画像を取得し、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物(ノート等)の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物(模範解答印刷物など)の画像情報を加工し、その画像情報をプロジェクタ3へ出力する。例えば加工処理の例としては、第二対象物が第一スキャン領域A1において第一ユーザU1に視認しやすい方向となるように、第二対象物の向き、位置、大きさを加工する等の処理である。画像処理装置1は一例としてはタブレット端末である。第二ユーザはタブレット端末を用いて、スキャン画像に文字や図形を記入するなどの加工を行い、その加工したスキャン画像をプロジェクタ3に出力してもよい。

0029

図6は画像処理装置の処理フローを示す図である。
次に、画像処理装置1の処理フローについて順を追って説明する。
まずスキャナ2は生成したスキャン画像を画像処理装置1へ送信する。画像処理装置1の取得部11はスキャン画像を取得する(ステップS101)。取得部11は加工処理部12へスキャン画像を出力する。加工処理部12は、スキャン画像を解析し、スキャン画像中の第一スキャン領域に対応する第一画像領域と、スキャン画像中の第二スキャン領域に対応する第二画像領域とを特定する(ステップS102)。加工処理部12は、第一画像領域に第一対象物が、また第二画像領域に第二対象物が写っているかを判定する。以降、第一対象物がノート、第二対象物が模範解答印刷物であるとする。

0030

加工処理部12はスキャン画像中の第二画像領域から第二対象物である模範解答印刷物を認識すると、当該模範解答印刷物の画像を切り出し、プロジェクタ出力画像の一例である模範解答画像を生成する(ステップS103)。当該模範解答画像の生成は加工処理の一態様である。加工処理部12は模範解答画像をプロジェクタ3へ出力する(ステップS104)。プロジェクタ3は模範解答画像を机上へ投影する。この時、プロジェクタ3の投影範囲が第一スキャン領域A1となるように載置されている場合には、プロジェクタ3は第一スキャン領域A1に模範解答画像を投影する。第一ユーザは、第一スキャン領域A1に投影された模範解答画像を確認することができる。

0031

なおスキャナ2がスキャン画像を生成するタイミング、画像処理装置1が模範解答画像をプロジェクタ3へ出力するタイミング、プロジェクタ3が模範解答画像を投影するタイミングは、第二ユーザが画像処理装置1を操作して指示することができる。

0032

例えば、スキャン画像を生成するタイミングは、第二ユーザがスキャン指示を画像処理装置1へ入力し、画像処理装置1の制御部14がスキャナ2へスキャン指示を出力したことに基づいてスキャナ2が検知してよい。スキャナ2はスキャン指示を入力した場合、スキャン領域のスキャンとスキャン画像の生成およびスキャン画像の画像処理装置1への送信を行う。なおスキャナ2によるスキャン領域のスキャンとは撮影であってよい。

0033

また画像処理装置1が模範解答画像をプロジェクタ3へ出力するタイミングは、第二ユーザによる模範解答画像の出力指示の画像処理装置1への入力に基づいて、画像処理装置1の制御部14が検知してよい。画像処理装置1の制御部14は出力指示を入力すると、加工処理部12へ加工処理と模範解答画像の出力指示を行う。

0034

またプロジェクタ3が模範解答画像を投影するタイミングは、第二ユーザが投影指示を画像処理装置1へ入力し、画像処理装置1の制御部14がプロジェクタ3へ投影指示を出力することに基づいてプロジェクタ3が検知してよい。プロジェクタ3は、投影指示を入力した場合、画像処理装置1から取得した模範解答画像を投影する。

0035

画像処理装置1は模範解答画像を出力した後も、スキャナ2を制御してスキャン画像を取得する(ステップS105)。そして画像処理装置1の加工処理部12は、模範解答画像の出力後に取得したスキャン画像に映る模範解答画像の向きや大きさと、第一スキャン領域に対応する第一対象物であるノートの向きや大きさとに基づいて、模範解答画像の向きや大きさを加工する(ステップS106)。この処理において、加工処理部12は、模範解答画像の向きが、第一対象物であるノートの向きや大きさに合うように、当該模範解答画像の向きや大きさを加工してよい。模範解答画像の向きはノートの向きと一致する向き、模範解答画像の大きさはノートの大きさと同等の大きさであってよい。

0036

加工処理部12は、ノートや印刷物などの矩形の物を機械学習などの処理により生成した認識モデルを用いて認識してよい。加工処理部12は第一対象物のノートに記載されている罫線や、ノートの縁の方向に基づいてノートの向きを認識する。例えば加工処理部12がノートの罫線に基づいてノートの向きを認識する場合、罫線に直角な方向がノートの向きであると認識する。または加工処理部12がノートの縁の方向に基づいてノートの向きを認識する場合、ノートの縁の長さに基づいて短い縁の直線が示す方向をノートの向きと認識する。または加工処理部12はノートの四隅等に印字されているマークの形状、印字の向きに基づいてノートの向きを認識してよい。また加工処理部12は第一対象物であるノートの大きさを認識する。

0037

加工処理部12はスキャン画像中の第一画像領域から認識した第一対象物であるノートと、模範解答画像との向きと大きさを判定すると、加工処理部12は第一対象物であるノートの向きと大きさに、模範解答画像が一致するように模範解答画像の向きと大きさを加工する。そして、加工処理部12は、再度加工した模範解答画像をプロジェクタ3へ出力する(ステップS107)。プロジェクタ3は模範解答画像を投影する。これにより、第一ユーザU1が模範解答画像を視認しやすいように加工して、第一ユーザU1の前方の第一スキャン領域A1に模範解答画像を投影することができる。第一ユーザU1は、ノートに記載した自分の回答と、模範解答画像に映る模範解答を見比べることができる。制御部14は投影終了かを判定し(ステップS108)、投影終了の指示を取得するまで処理を繰り返す。

0038

上述の処理においては、画像処理装置1が取得したスキャン画像に映る、当該画像処理装置1がプロジェクタ3に送信した画像情報の向きと、第一対象物の向きとに基づいて、画像情報の向きを補正する例を示している。しかしながら、画像処理装置1は画像処理装置1が取得したスキャン画像に映る、当該画像処理装置1がプロジェクタ3に送信した画像情報の向きを、スキャン画像に映るプロジェクタ3の向きに基づいて補正してもよい。例えば加工処理部12は、スキャン画像に映るプロジェクタ3の向きに基づいてパターンマッチング等により当該スキャン画像の画像空間におけるプロジェクタ3の投影方向を認識する。そして、加工処理部12はプロジェクタ3の投影方向と、その投影範囲と、ノートの位置と向きとに基づいて、投影範囲に投影する画像情報がノートの向きや大きさに合うようにその画像情報の向きと大きさを同様に加工する。

0039

なお上述の処理において加工処理部12は、プロジェクタ3に出力する画像情報の投影領域における位置や色を加工してもよい。例えば加工処理部12は、第一対象物であるノートの撮影状態である第一画像領域中の位置に基づいて、第二対象物である模範解答画像の位置を加工する。当該位置は、ノートと同じ位置であってもよいし、ノートの横に並ぶ位置であってもよい。この時、制御部14は、加工処理部12が加工した位置に基づいて、プロジェクタ3の投影位置を制御してもよい。例えば制御部14は、プロジェクタ3の投影方向を変更する制御情報をプロジェクタ3に出力する。これによりプロジェクタ3は、模範解答画像を所定の位置に投影してよい。また加工処理部12は、第一対象物であるノートの輝度に合わせて、模範解答画像の輝度を調整する加工を行ってよい。

0040

加工処理部12は、画像処理装置1に入力された情報や、第二対象物に書き込まれた情報を認識して、それらの情報を抽出した画像情報をプロジェクタに出力してもよい。例えば、加工処理部12は第二対象物である模範解答に書き込まれた文字や図を認識する。例えば模範解答に書き込まれる文字や図が所定の色で書き込まれた場合、その所定の色の画素を文字や図を構成する画素と認識する。加工処理部12はそれら文字や図を構成する画素の情報を抽出して文字や図を示す画像情報を生成する。出力部13はその画像情報をプロジェクタ3へ出力する。これによりプロジェクタ3は文字や図を表す画像情報を投影することができる。

0041

図5で示す例では、スキャナ2のスキャン領域Aはスキャナ2の前方の180度未満の範囲である様子を示している。しかしながらスキャナ2のスキャン領域Aはより広い領域であってもよい。例えばスキャナ2は、スキャナ2を中心とする所定半径の円の領域をスキャン領域とするものであってよい。

0042

そして画像処理装置の加工処理部12は、スキャン領域Aにおいて2つ以上のn個の第1〜第nスキャン領域を特定してよい。例えば加工処理部12は所定のノートが4つスキャン領域Aに配置されていると認識した場合、それら4つのノートの領域を第一スキャン領域A1〜第四スキャン領域A4と認識してよい。そして加工処理部12は、それら複数の第nスキャン領域のうちの何れか一つまたは複数の第nスキャン領域を特定し、その領域から生成した投影画像を、他の領域に投影するようプロジェクタ3に指示するようにしてもよい。これにより、例えば第一スキャン領域A1と第四スキャン領域A4から生成した投影画像の情報を、第二スキャン領域A2と第三スキャン領域A3に投影するといった処理を行うことができる。

0043

上述の処理において画像処理装置1はタブレット端末である場合を例に説明している。しかしながら画像処理装置1はスキャナ2またはプロジェクタ3に備わる装置であってよい。

0044

スキャナ2が画像処理装置1を備える場合、スキャナ2は、平面上の第一の領域と第二の領域とを撮影範囲に含む画角を有するカメラから得た光学情報に基づいて生成したスキャン画像であってスキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部11を備える。またスキャナ2は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部12を備える。またスキャナ2は加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部13を備える。

0045

またプロジェクタ3が画像処理装置1を備える場合、プロジェクタ3は、スキャナ2から受信したスキャン画像であってスキャナ2のスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部11を備える。またプロジェクタ3は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部12を備える。またプロジェクタ3は、加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域に投影する投影部を備える。

0046

図7は画像処理装置の最小構成を示す図である。
図8は最小構成の画像処理装置による処理フローを示す図である。
画像処理装置1は少なくとも、取得部11、加工処理部12、出力部13を備える。
取得部11は、スキャナ2から受信したスキャン画像であってスキャナ2のスキャン領域Aに含まれる第一スキャン領域A1と第二スキャン領域A2をスキャンしたスキャン画像を取得する(ステップS201)。
加工処理部12は、スキャン画像中の第一スキャン領域A1に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域A2に対応する第二画像領域に映る第二対象物の画像情報を加工する(ステップS202)。
出力部13は、加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する(ステップS203)。

0047

上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式コンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータ読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク光磁気ディスクCD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラム通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

0048

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラム)であっても良い。

0049

1・・・画像処理装置
2・・・スキャナ2
3・・・プロジェクタ3
11・・・取得部
12・・・加工処理部
13・・・出力部
14・・・制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ