図面 (/)

技術 情報伝送装置、情報伝送プログラム、及び情報伝送システム

出願人 株式会社リコー
発明者 西田泰士山本健吾大村慶二
出願日 2012年5月18日 (8年7ヶ月経過) 出願番号 2012-114242
公開日 2013年12月5日 (7年1ヶ月経過) 公開番号 2013-242639
状態 特許登録済
技術分野 イメージ処理・作成
主要キーワード 相対位置判定 手書き画像データ 比較元画像 連絡先テーブル 二重積分 所定ピクセル 相対サイズ 撮像箇所
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年12月5日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題

複数の画像間における同一オブジェクトの関連を表示する。

解決手段

取得した複数の画像に含まれる同一オブジェクトの相対位置を判定する相対位置判定手段と、前記複数の画像に含まれる同一オブジェクトの相対サイズを判定する相対サイズ判定手段と、前記相対位置判定手段により判定された相対位置又は前記相対サイズ判定手段により判定された相対サイズを用いて、前記同一オブジェクトの関連を示す画像を生成する画像生成手段とを有することにより上記課題を解決する。

概要

背景

従来では、例えばタッチディスプレイや、マイク、スピーカカメラ等を備えた端末間において、打ち合わせ等の音声データや、図面等の静止画像データ、又は手書き画像データを随時伝送する情報伝送システムが既に知られている(例えば、特許文献1参照)。

概要

複数の画像間における同一オブジェクトの関連を表示する。取得した複数の画像に含まれる同一オブジェクトの相対位置を判定する相対位置判定手段と、前記複数の画像に含まれる同一オブジェクトの相対サイズを判定する相対サイズ判定手段と、前記相対位置判定手段により判定された相対位置又は前記相対サイズ判定手段により判定された相対サイズを用いて、前記同一オブジェクトの関連を示す画像を生成する画像生成手段とを有することにより上記課題を解決する。

目的

本発明は、上記の課題に鑑みてなされたものであり、複数の画像間における同一オブジェクトの関連を表示することが可能な情報伝送装置情報伝送プログラム、及び情報伝送システムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

取得した複数の画像に含まれる同一オブジェクトの相対位置を判定する相対位置判定手段と、前記複数の画像に含まれる同一オブジェクトの相対サイズを判定する相対サイズ判定手段と、前記相対位置判定手段により判定された相対位置又は前記相対サイズ判定手段により判定された相対サイズを用いて、前記同一オブジェクトの関連を示す画像を生成する画像生成手段とを有することを特徴とする情報伝送装置

請求項2

前記画像生成手段は、前記同一オブジェクトの関連を示す画像として、前記同一オブジェクトの相対位置を示す画像を生成することを特徴とする請求項1に記載の情報伝送装置。

請求項3

前記画像生成手段は、前記複数の画像のうち、一方の画像のサイズを他方の画像との前記相対サイズに対応して調整し、調整した一方の画像を、前記他方の画像の前記相対位置の領域に重畳して、前記同一オブジェクトの相対位置を示す画像を生成することを特徴とする請求項2に記載の情報伝送装置。

請求項4

前記一方の画像と前記同一オブジェクトの相対位置を示す画像とを切り換え切換手段とを有し、前記切換手段は、前記一方の画像上に生成された切換ボタンが選択されると、前記同一オブジェクトの相対位置を示す画像に切り換えて、前記同一オブジェクトの相対位置を示す画像における前記相対位置の領域が選択されると、前記一方の画像に切り換えることを特徴とする請求項3に記載の情報伝送装置。

請求項5

前記相対サイズ判定手段は、前記一方の画像を所定の倍率ごとに伸縮させ、伸縮させた前記一方の画像が前記他方の画像の一部又は全部に類似したときの倍率により、前記相対サイズを判定することを特徴とする請求項3又は4に記載の情報伝送装置。

請求項6

前記相対位置判定手段は、前記伸縮させた前記一方の画像が前記他方の画像の一部又は全部に類似したときの前記他方の画像上の位置により、前記相対位置を判定することを特徴とする請求項5に記載の情報伝送装置。

請求項7

前記相対位置判定手段は、前記他方の画像を撮像した位置から、前記一方の画像を撮像した位置までの移動情報を用いて、前記相対位置を判定することを特徴とする請求項3乃至6のいずれか一項に記載の情報伝送装置。

請求項8

前記相対位置判定手段は、前記一方の画像の取得に際し、前記他方の画像に対して指示された指示情報を用いて、前記相対位置を判定することを特徴とする請求項3乃至7のいずれか一項に記載の情報伝送装置。

請求項9

コンピュータを、請求項1乃至8のいずれか一項に記載の情報伝送装置が有する各手段として機能させるための情報伝送プログラム

請求項10

請求項1乃至8のいずれか一項に記載の情報伝送装置を有する情報伝送システム

技術分野

0001

本発明は、情報伝送装置情報伝送プログラム、及び情報伝送システムに関する。

背景技術

0002

従来では、例えばタッチディスプレイや、マイク、スピーカカメラ等を備えた端末間において、打ち合わせ等の音声データや、図面等の静止画像データ、又は手書き画像データを随時伝送する情報伝送システムが既に知られている(例えば、特許文献1参照)。

発明が解決しようとする課題

0003

ところで、上述したような情報伝送システムでは、伝送されるデータが共通の目的や対象を有する等、データ間で関連がある場合には、その関連する情報を各データ間で保持して管理することが好ましい。

0004

しかしながら、従来の手法では、例えばカメラ等により撮像した複数の画像のうち、例えば先に撮像したオブジェクトの一部を次に拡大して撮像した画像があったとしても、その画像間における同一オブジェクトの関連を考慮した表示をすることできなかった。したがって、例えば端末間においてその関連を示しながら、複数の画像を共有することができず、不便が生じていた。

0005

本発明は、上記の課題に鑑みてなされたものであり、複数の画像間における同一オブジェクトの関連を表示することが可能な情報伝送装置、情報伝送プログラム、及び情報伝送システムを提供することを目的とする。

課題を解決するための手段

0006

上記目的を達成するために、本発明の情報伝送装置は、取得した複数の画像に含まれる同一オブジェクトの相対位置を判定する相対位置判定手段と、前記複数の画像に含まれる同一オブジェクトの相対サイズを判定する相対サイズ判定手段と、前記相対位置判定手段により判定された相対位置又は前記相対サイズ判定手段により判定された相対サイズを用いて、前記同一オブジェクトの関連を示す画像を生成する画像生成手段とを有することを特徴とする。

発明の効果

0007

本発明によれば、複数の画像間における同一オブジェクトの関連を表示することが可能となる。

図面の簡単な説明

0008

本実施形態に係る情報伝送システムの概略構成の一例を示す図である。
サーバクライアント形式の情報伝送システムの一例を示す図である。
情報伝送装置、情報記録装置ハードウェア構成の一例を示す図である。
データ格納手段に格納された各テーブルの一例を示す図である。
相対位置及び相対サイズ判定手順の一例を示すフローチャートである。
相対サイズを示す画像の一例を示す図である。
相対位置を示す画像の一例を示す図である。
相対位置を示す画像を生成する画像生成手順の一例を示すフローチャートである。
シングルウィンドウの場合の動作の流れの一例を示すフローチャートである。
マルチウィンドウの場合の動作の流れの一例を示すフローチャートである。
撮像手段による撮像可能範囲を説明する図である。
操作情報を用いて相対位置の領域を表示する画像の一例を示す図である。
操作情報を用いた場合の手順の一例を示すフローチャートである。
類似度が低いことを示すアイコンを表示する画像の一例を示す図である。

実施例

0009

以下、本発明の実施の形態について詳細に説明する。

0010

<情報伝送システム>
図1は、本実施形態に係る情報伝送システムの概略構成の一例を示す図である。図1に示すように、情報伝送システム100は、複数の情報伝送装置10−1〜10−4を有するように構成される。複数の情報伝送装置10−1〜10−4は、通信ネットワーク20を介して接続される。通信ネットワーク20は、無線又は有線であっても良く、専用回線であっても良い。なお、通信ネットワーク20に接続される情報伝送装置10−1〜10−4の装置数についてはこれに限定されない。

0011

また、情報伝送装置10−1は、遠隔地拠点等と通信可能な通信装置30を介して通信ネットワーク20に接続される。情報伝送装置10−1は、通信装置30により、通信ネットワーク20を介して、他の拠点に設置された情報伝送装置10−2〜10−4のうち少なくとも1つと接続して、データを送受信することが可能となる。

0012

なお、通信装置30は、情報伝送装置10−1に内蔵する通信手段として設けても良い。また、情報伝送装置10−2〜10−4と、ネットワーク20との間に通信装置30が設けられていても良い。

0013

上述した情報伝送装置10−1〜10−4は、共通の構成を有することができる。したがって、以下の説明では、必要に応じて情報伝送装置10−1〜10−4を情報伝送装置10と総称して説明する。

0014

情報伝送装置10は、表示手段11と、操作手段12と、データ格納手段13と、制御手段14と、撮像手段15と、位置センサ16と、加速度センサ17と、音声出力手段18と、音声入力手段19とを有するように構成される。

0015

表示手段11は、例えばPDP(Plasma Display Panel)や液晶ディスプレイ等で構成され、各種表示を行う。

0016

操作手段12は、例えばタッチパネル等により構成され、操作者の入力を受け付ける。

0017

データ格納手段13は、例えばHDD(Hard Disk Drive)等により構成され、画像テーブル42と、連絡先テーブル43と、関連テーブル44とを有するように構成される。

0018

画像テーブル42は、撮像手段15により撮像された静止画等の画像情報を格納する。連絡先テーブル43は、ネットワーク20を介して接続された他の装置(例えば情報伝送装置10−2〜10−4)等の連絡先情報等を格納する。関連テーブル44は、撮像手段15により撮像された画像や他の装置から取得した画像等、複数の画像間における関連情報等を格納する。なお、画像テーブル42、連絡先テーブル43、関連テーブル44の詳細については後述する。

0019

制御手段14は、例えばCPU(Central Processing Unit)等により構成され、相対位置判定手段45と、相対サイズ判定手段46と、画像生成手段47と、切換手段48とを制御する。制御手段14は、これらの手段を制御することにより、取得した複数の画像間の関連付けを行い、例えば複数の画像間における同一オブジェクトの関連を示す画像を、他の装置との間で共有しながら、複数の画像を管理することを可能とする。

0020

ここで、画像に含まれるオブジェクトとは、例えば撮像対象となった対象物を示す。以下の説明では、同一オブジェクトを撮像した複数の画像のうち、例えば先に撮像された画像を親画像(他方の画像)とし、親画像よりも後に撮像された画像を子画像(一方の画像)として説明する。

0021

相対位置判定手段45は、撮像手段15や他の装置から取得した複数の画像に含まれる同一オブジェクトの相対位置を判定する。相対位置判定手段45は、例えば複数の画像のうち、所定の倍率伸縮された子画像が親画像の一部又は全部に類似したときの親画像上の子画像の位置を、同一オブジェクトの相対位置として判定する。

0022

また、相対位置判定手段45は、親画像を撮像した位置から、子画像を撮像した位置までの移動情報を用いたり、子画像の取得に際して、親画像に対して指示された指示情報を用いたりして、同一オブジェクトの相対位置を判定しても良い。なお、相対位置判定手段45による具体的な処理については後述する。

0023

相対サイズ判定手段46は、撮像手段15や他の装置から取得した複数の画像に含まれる同一オブジェクトの相対サイズを判定する。相対サイズ判定手段46は、例えば複数の画像のうち、子画像を所定の倍率ごとに伸縮させ、伸縮させた子画像が親画像の一部又は全部に類似したときの倍率により、同一オブジェクトの相対サイズを判定する。

0024

また、相対サイズ判定手段46は、親画像、子画像の撮像時のオートフォーカス距離情報ズーム機能の情報を用いることにより、同一オブジェクトの相対サイズを判定しても良い。なお、相対サイズ判定手段46による具体的な処理については後述する。

0025

画像生成手段47は、相対位置判定手段45により判定された相対位置又は相対サイズ判定手段46により判定された相対サイズを用いて、複数の画像に含まれる同一オブジェクトの関連を示す画像を生成する。画像生成手段47は、同一オブジェクトの関連を示す画像として、例えば同一オブジェクトの相対位置を示す画像を生成する。

0026

画像生成手段47は、例えば、複数の画像のうち、子画像を、親画像との相対サイズに対応して調整し、調整した子画像を、親画像の相対位置の領域に重畳して、同一オブジェクトの相対位置を示す画像を生成する。なお、画像生成手段47により生成される同一オブジェクトの関連を示す画像例については後述する。

0027

切換手段48は、子画像と同一オブジェクトの相対位置を示す画像とを切り換える。切換手段48は、例えば子画像上に生成された切換ボタンが選択されると、同一オブジェクトの相対位置を示す画像に切り換え、同一オブジェクトの相対位置を示す画像における相対位置の領域が選択されると、子画像に切り換える。

0028

このように、子画像と同一オブジェクトの相対位置を示す画像との切り換えを可能とすることにより、複数の画像間における関連を容易に把握するための表示を行うことが可能となる。

0029

撮像手段15は、例えばカメラ等により構成され、オブジェクトとしての撮影対象となる対象物が撮像された静止画像を入力する。

0030

位置センサ16は、情報伝送装置10の現在位置における緯度経度、又は方位等の情報を取得する。位置センサ16から得られた情報は、例えば複数の画像間の関連付けを行う際に処理対象となる画像があるか否か判定する際に用いられる。

0031

加速度センサ17は、情報伝送装置10が移動したときのx、y方向の加速度情報を取得する。加速度センサ17から得られた情報は、例えば相対位置判定手段45により、親画像を撮像した位置から子画像を撮像した位置までの移動情報を取得する際に用いられる。

0032

音声出力装置18は、例えばスピーカ等により構成され、音声を出力する。音声入力手段19は、例えばマイク等により構成され、音声を入力する。音声出力装置18及び音声入力手段19は、例えば他の装置から音声指示にしたがって画像を撮像する際に用いられる。

0033

回線インターフェース手段41は、情報伝送装置10をネットワーク20に接続し、ネットワーク20を介して画像データ、音声コード等の送受信を行う。例えば、情報伝送装置10−1は、回線インターフェース手段41により、他の装置(例えば情報伝送装置10−2〜10−4)に、JSON(Java Script(登録商標) Object Notation)形式のデータや、画像データを、例えばHTTP等により送信するが、これに限定されるものではない。

0034

<サーバ・クライアント形式の情報伝送システム>
次に、上述した情報伝送システム100をサーバ・クライアント形式により構成した例について説明する。図2は、サーバ・クライアント形式の情報伝送システムの一例を示す図である。なお、図2に示す情報伝送システム101において、上述した情報伝送システム100と同様の構成を有する部分については、同一の名称及び符号を付するものとし、ここでの具体的な説明は省略する。

0035

図2に示すように、情報伝送システム101は、図1に示す情報伝送システム100と比較すると、ネットワーク20に通信装置30−2を介して情報記録装置60が接続されている点で異なる。また、情報記録装置60が、情報伝送装置10−1のデータ格納手段13に対応するデータ格納手段62を有しており、情報伝送装置50−1が、データ格納手段13を有していない点で異なる。以下の説明では、上述した異なる点を中心に説明する。

0036

情報伝送システム101は、クライアントとなる複数の情報伝送装置50−1〜50−4と、サーバとなる情報記録装置60とを有するように構成される。複数の情報伝送装置50−1〜50−4は、通信ネットワーク20を介して、情報記録装置60とそれぞれ接続される。

0037

情報記録装置60は、回線インターフェース手段61と、データ格納手段62と、データ処理手段63とを有するように構成される。データ格納手段62は、上述した画像テーブル42と、連絡先テーブル43と、関連テーブル44とを有するように構成される。

0038

データ処理手段63は、例えば相対位置判定手段45と、相対サイズ判定手段46と、画像生成手段47と、切換手段48に対応する処理を実行する。

0039

これにより、情報記録装置60は、情報伝送装置50の代わりに、データ格納手段62を有するとともに、取得した複数の画像間における関連付けを行い、複数の画像間における同一オブジェクトの関連を示す画像を、情報伝送装置50−1〜50−4に提供することが可能となる。

0040

情報伝送装置50−1は、回線インターフェース手段41により、情報記録装置60、又は他の情報伝送装置50−2〜50−4に、例えばJSON(Java Script Object Notation)形式のデータや、画像データを、例えばHTTPにより送信するが、これに限定されるものではない。

0041

クライアント装置20及びホスト装置30のハードウェア構成>
次に、上述した情報伝送装置10、記録情報装置60のハードウェア構成について説明する。図3は、情報伝送装置、情報記録装置のハードウェア構成の一例を示す図である。

0042

図3に示すように、情報伝送装置10、情報記録装置60は、入力装置71と、表示装置72と、ドライブ装置73と、RAM(Random Access Memory)74と、ROM(Read Only Memory)75と、CPU(Central Processing Unit)76と、インターフェース装置77と、及びHDD(Hard Disk Drive)78等を備え、それぞれがバスBで相互に接続されている。

0043

入力装置71は、例えばタッチパネル等を含み、情報伝送装置10、情報記録装置60に各操作信号を入力するのに用いられる。表示装置72は、ディスプレイ等を含み、情報伝送装置10、情報記録装置60による処理結果を表示する。

0044

ドライブ装置73は、着脱可能な記録媒体73aとのインターフェースである。これにより、情報伝送装置10、情報記録装置60は、ドライブ装置73を介して、記録媒体73aの読み取り及び/又は書き込みを行うことができる。記録媒体73aには、例えば、SDメモリカード(SD Memory Card)やUSB(Universal Serial Bus)メモリ等がある。

0045

RAM74は、各実施形態を実現するためのプログラムやデータを一時保持する揮発性半導体メモリ記憶装置)である。

0046

ROM75は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ(記憶装置)である。ROM75には、情報伝送装置10、情報記録装置60の起動時に実行されるBIOS(Basic Input/Output System)、システム設定ネットワーク設定等のプログラムやデータが格納されている。

0047

CPU76は、記憶装置(例えば「HDD」や「ROM」等)から、上述した相対位置判定手段45、相対サイズ判定手段46、画像生成手段47、切換手段48等を実行するためのプログラムや、画像テーブル42、連絡先テーブル43、関連テーブル44等に含まれるデータをRAM(メモリ)上に読み出し、各処理を実行したり、装置全体の制御や搭載機能を実現したりする。

0048

インターフェース装置77は、上述した情報伝送装置10、情報記録装置60を有線又は無線ネットワーク等の伝送路に接続するインターフェースである。これにより、情報伝送装置10、情報記録装置60は、インターフェース装置77を介して、他の外部装置データ通信を行うことが可能である。

0049

HDD78は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、情報伝送装置10、情報記録装置60全体を制御するシステム(例えば「Windows(登録商標)」や「UNIX(登録商標)」等の基本ソフトウェアであるOS(Operating System))、及びシステム上において各種機能を提供するアプリケーション等が含まれる。

0050

また、HDD78は、上述した相対位置判定手段45、相対サイズ判定手段46、画像生成手段47、切換手段48等を実行するためのプログラムや画像テーブル42、連絡先テーブル43、関連テーブル44等のテーブルを格納している。

0051

なお、HDD78は、格納しているプログラムやデータを、所定のファイルシステム及び/又はDB(Data Base)により管理している。

0052

情報伝送装置10、情報記録装置60は、上述したハードウェア構成により、各種処理を提供することができる。

0053

<データ格納手段13>
次に、上述したデータ格納手段13により格納された各テーブルについて説明する。図4は、データ格納手段に格納された各テーブルの一例を示す図である。なお、図4(A)は、画像テーブル42の一例を示し、図4(B)は、連絡先テーブル43の一例を示し、図4(C)は、関連テーブル44の一例を示す図である。

0054

図4(A)に示す画像テーブル42は、例えば、画像を識別する「画像ID」、「画像名」、画像が撮像された「撮像日時」、「撮像位置」等の各情報により構成され、撮像手段15により撮像された画像や他の装置から取得した画像に関する情報が格納されている。

0055

なお、「撮像位置」には、画像を撮像したときの情報伝送装置10の撮像位置として、位置センサ16により得られる緯度、経度の2つの値が格納されている。ここで、緯度、経度の値は整数で示されているが、小数点以下を保持しても良い。

0056

図4(B)に示す連絡先テーブル43は、例えば、他の装置の連絡先を識別する「連絡先ID」、「名前」、連絡先(接続先)のIPアドレスである「接続先IP」等の各情報により構成されている。

0057

図4(C)に示す関連テーブル44は、取得した複数の画像間において同一オブジェクトに基づき関連付けした情報が格納されている。関連テーブル44は、例えば、各画像の関連を識別する「関連ID」、親画像のIDである「親画像ID」、子画像のIDである「子画像ID」、「倍率」、「類似度」、「位置」等の各情報により構成される。

0058

「倍率」には、相対サイズ判定手段46により判定された相対サイズとして、例えば親画像を100%としたときの子画像のズーム率が示されている。また、「類似度」には、例えば子画像を「倍率」に基づいて伸縮し、伸縮した子画像と親画像とを比較したときの類似度の数値が示されている。「位置」には、相対位置判定手段45により判定された相対位置が示され、例えば相対位置の領域の中心位置を示すx、y座標等が示されている。

0059

<実施形態1>
次に、実施形態1として、上述した相対位置判定手段45又は相対サイズ判定手段46により判定される同一オブジェクトの相対位置及び相対サイズ判定手順について説明する。図5は、相対位置及び相対サイズ判定手順の一例を示すフローチャートである。

0060

図5に示すように、例えば、操作者により情報伝送装置10−1を用いて比較元画像(子画像)が撮像されると(S10)、撮像された比較元画像は、画像テーブル42に格納され、表示手段11に表示される。

0061

また、撮像された比較元画像は、情報伝送装置10−1に接続された他の装置のうちの少なくとも1つの表示手段に表示することができる。なお、操作は、操作者が入力しやすいように、例えばGUI(graphical user interface)画面タッチ操作することが好ましい。

0062

次に、相対位置判定手段45又は相対サイズ判定手段46は、比較元画像と関連付ける処理対象となる画像が、例えば画像テーブル42に存在するか否か判定する(S11)。ここでは、例えば直近1時間以内に撮った画像を処理対象の画像としても良いし、画像テーブル42に保存されている撮像位置情報を用いて、例えば緯度、経度の誤差が5度以内の画像を処理対象の画像としても良い。なお、どの画像を処理対象とするかについては、予め操作者等により、例えば画像テーブル42等に含まれる各情報を用いて任意に設定することができる。

0063

処理対象となる画像が存在すると判定した場合(S11において、YES)、画像テーブル42に含まれる処理対象の画像を取得する(S12)。

0064

次に、相対サイズ判定手段46は、比較元画像のサイズを縮小する(S13)。相対位置判定手段45又は相対サイズ判定手段46は、縮小した比較元画像と、処理対象の画像とを比較して、縮小した比較元画像が処理対象の画像の一部又は全部と一致するか否か判定する(S14)。

0065

相対サイズ判定手段46は、画像を縮小する方法として、例えば画像のサイズを所定の比率(例えば、1%)ごと縮小しても良く、所定のピクセル(例えば、5ピクセル)ごとに縮小するように縮小率(%)を設定し、設定した縮小率ごとに縮小しても良い。また、相対サイズ判定手段46は、例えば所定の比率(例えば、10%)ごとに比較元画像のサイズを縮小し、縮小した比較元画像と処理対象の画像との類似度の増減に応じて、縮小率を変動させても良く、比較元画像、処理対象の画像の各撮像時に用いたズーム機能情報を利用しても良い。

0066

また、相対位置判定手段45又は相対サイズ判定手段46は、画像の類似度を判定する方法として、処理対象の画像の所定位置に(例えば、画像の左上から右下まで)、縮小した比較元画像を当てはめ、例えば画像内のカラーヒストグラム(各色のピクセル数グラフ)を比較し、所定以内の誤差の場合には一致すると判定しても良い。なお、誤差範囲は、予め設定しても良く、画像の解像度等に対応させて設定しても良い。また、上述した方法に限定することなく、各画像の特徴量に基づき類似度を判定する等、公知の方法を用いて類似度を判定しても良い。

0067

縮小したサイズの比較元画像が処理対象の画像の一部又は全部と一致しないと判定した場合(S14において、NO)、相対サイズ判定手段46は、比較元画像を更に縮小可能か否か判定する(S15)。例えば、比較元画像の縦及び横の長さが所定ピクセル(例えば、1ピクセル)以下となった場合や、縮小を所定回数上行なった場合に、縮小不可能と判定する。

0068

相対サイズ判定手段46は、更に縮小不可能と判定した場合(S15において、NO)、比較元画像と処理対象の画像とを入れ替えたか否か判定する(S16)。比較元画像と処理対象の画像とを入れ替えていないと判定した場合(S16において、NO)、比較元画像と処理対象の画像とを入れ替えて(S17)、S13の処理を続ける。

0069

比較元画像と処理対象の画像とを入れ替えたと判定した場合には(S16において、YES)、縮小率(相対サイズ)を該当なし(N/A)とする(S18)。

0070

一方、例えば縮小したサイズの比較元画像が処理対象の画像の一部又は全部と一致したと判定した場合(S14において、YES)、相対サイズ判定手段46は、縮小率を計算する(S19)。また、相対サイズ判定手段46は、例えば一致したと判定したときの比較元画像の縮小率により、画像間の同一オブジェクトの相対サイズを判定する。また、相対位置判定手段45は、一致したと判定したときの処理対象の画像における比較元画像の位置により、画像間の同一オブジェクトの相対位置を判定する。

0071

次に、相対位置判定手段45又は相対サイズ判定手段46は、S14の処理において比較元画像と一部又は全部が一致したと判定した処理対象の画像を親画像とし、関連テーブル44に判定した相対サイズ及び相対位置を保存して(S20)、関連テーブル44に各情報を格納する。

0072

次に、画像生成手段47は、後述するような相対サイズを記した比較元画像や相対位置を示す画像等を生成し、他の装置に送信して(S21)、処理を終了する。

0073

なお、相対位置判定手段45又は相対サイズ判定手段46は、画像テーブル42に格納された過去に撮像した各画像について上述したS13〜S20等の手順により関連付けを行い、関連テーブル44を作成しても良い。

0074

また、情報記録装置60により上述した手順を実行する場合には、データ処理手段63により、情報伝送装置50から取得した比較元画像と画像テーブル42に格納された処理対象の画像とに含まれる同一オブジェクトの相対サイズや相対位置を判定し、判定した結果や、生成した相対サイズや相対位置を示す画像を情報伝送装置50等に送信しても良い。

0075

<同一オブジェクトの関連を示す画像例>
次に、上述した相対サイズ又は相対位置を用いて、画像生成手段47により生成される複数の画像間における同一オブジェクトの関連を示す画像例について説明する。図6は、相対サイズを示す画像の一例を示す図である。また、図7は、相対位置を示す画像の一例を示す図である。

0076

図6(A)は、親画像80の一例を示す図であり、図6(B)は、子画像81の一例を示す図である。画像生成手段47は、上述した手順により判定された相対サイズを用いて、例えば、子画像81が親画像80に対して2倍の大きさになっている場合、子画像81の所定の領域(例えば、領域A)に「200%」と表示する画像を生成する。

0077

画像生成手段47は、このような表示を子画像81の領域Aにおいて画像合成により表示しても良く、子画像81の領域Aに文字列により表示するようにしても良い。なお、画像生成手段47は、子画像81の領域ではなく、親画像80の所定の領域に「1/2」の表示をする画像を生成しても良い。

0078

上述した図6に示すような相対サイズを示す画像により、画像間における同一オブジェクトの関連を示す画像を表示することが可能となる。

0079

また、図7(A)は、子画像81の一例を示す図であり、図7(B)は、同一オブジェクトの相対位置を示す画像82の一例を示す図である。

0080

図7(A)に示すように、画像生成手段47は、子画像81の所定の領域(例えば、領域B)に、切換ボタンである戻るボタン83を生成する。

0081

また、図7(B)に示すように、画像生成手段47は、同一オブジェクトの相対位置を示す画像82を、上述した手順により判定された相対位置を用いて生成する。図7(B)の例では、画像82には、親画像80と子画像81とに含まれる同一オブジェクトの相対位置を示す領域Cが、枠等により表示されている。

0082

なお、画像生成手段47は、相対位置を示す領域Cの色表示を変更したり、相対位置を示す領域Cに含まれるオブジェクトの表示形式と、相対位置を示す領域Cに含まれないオブジェクトの表示形式とを変更したりすることにより、同一オブジェクトの相対位置を示しても良い。

0083

<相対位置を示す画像82の生成手順
次に、上述した同一オブジェクトの相対位置を示す画像82を生成する画像生成手順について説明する。図8は、相対位置を示す画像を生成する画像生成手順の一例を示すフローチャートである。

0084

図8に示すように、画像生成手段47は、例えばオペレーティングシステム依存の画像選択画面から画像が選択されると(S20)、選択された画像の画像IDが、関連テーブル44の「親画像ID」に含まれるか否か判断する。画像生成手段47は、選択された画像の画像IDが「親画像ID」に含まれると判断すると、選択された画像を親画像80と判断し、画面の最下層になるように設定する。

0085

次に、画像生成手段47は、関連テーブル44に親画像80の子画像IDの関連データが関連テーブル44にあるか否か判断し(S21)、子画像IDの関連データがあると判定すると(S21において、YES)、関連データリストを取得し(S22)、取得した関連データリストに含まれる子画像81を取得する。

0086

画像生成手段47は、関連データリストのうち、上述した相対位置を示す画像82として対応付けられていない(重畳されていない)子画像81(未処理の関連データ)があるか否か判断し(S23)、未処理の関連データがあると判断すると(S22において、YES)、未処理の関連データを取得する(S24)。

0087

画像生成手段47は、未処理の関連データを取得すると、親画像80との相対サイズに対応して子画像81のサイズを伸縮して調整し、調整したサイズの子画像81を親画像80における相対位置の領域に重畳し、同一オブジェクトの相対位置を示す画像82を生成する。

0088

画像82上の相対位置の領域には、例えば枠等を表示する(S25)。例えば、図7(B)の例では、図7(A)に示す子画像81を親画像80の相対位置の領域Cに重畳し、相対位置の領域Cを示す枠を表示することで、上述した同一オブジェクトの相対位置を示す画像82を生成する。

0089

なお、画像生成手段47は、子画像IDの関連データが関連テーブル44にないと判断したり(S21において、NO)、未処理の関連データがないと判断したりすると(S23において、NO)、そのまま画像選択画面から選択された画像を表示し(S26)、処理を終了する。

0090

また、画像生成手段47は、図7(A)に示す子画像81の戻るボタン83や、図7(B)に示す画像82のうち相対位置の領域Cにリンク機能を付与しておくと良い。これにより、切換手段48は、画面上で図7(A)に示す子画像81の戻るボタン83が選択された場合には、図7(B)に示す画像82が表示された画面に切り換え、画面上で画像82のうち相対位置の領域Cが選択された場合には、図7(A)に示す子画像81を表示する画面を切り換えることが可能となる。

0091

なお、上述した親画像と子画像の相対位置を示す画像82は、これに限定されるものではない。例えば、相対位置を示す画像82には、1つの親画像に対して複数の子画像81を表示させることが可能である。

0092

上述した図7に示すような子画像81や同一オブジェクトの相対位置を示す画像82により、画像間における同一オブジェクトの関連を示す画像を表示することが可能となる。

0093

<実施形態2>
次に、実施形態2として、上述した図7(A)に示す子画像81と図7(B)に示す画像82との切換処理について説明する。図9は、シングルウィンドウの場合の動作の流れの一例を示すフローチャートである。また、図10は、マルチウィンドウの場合の動作の流れの一例を示すフローチャートである。

0094

図9に示すように、切換手段48は、表示手段11の画面がシングルウィンドウの場合、画面に表示された画像82の相対位置の領域Cが選択されると(S30)、画面に表示されていた画像82の親画像のIDを記憶し(S31)、戻るボタン83が付与された子画像81を画面(ウィンドウ)に表示する(S32)。

0095

切換手段48は、画面に表示された子画像81の戻るボタン83が押下されると(S33)、子画像81が表示された画面(ウィンドウ)を閉じて(S34)、S31の処理で記憶した親画像のIDに基づき、相対位置が示された画像82を画面に再表示し(S35)、処理を終了する。

0096

次に、図10に示すように、切換手段48は、表示手段11の画面がマルチウィンドウ(複数画像)の場合、画面に表示された画像82の相対位置の領域Cが選択されると(S40)、戻るボタン83が付与された子画像81を表示するとともに、子画像81が表示された画面の下や横に別ウィンドウで相対位置を示す画像82を表示する(S41)。

0097

切換手段48は、画面に表示された子画像81の戻るボタン83が押下されると(S42)、子画像81が表示された画面(ウィンドウ)を閉じて(S43)、相対位置を示す画像82の画面のみ表示して、処理を終了する。

0098

上述のように子画像81及び同一オブジェクトの相対位置を示す画像82を切り換えて表示することにより、例えば車全体を示す画像82と、車の一部(ドア部分等)を示す子画像81があった場合でも、複数の画像間の関連を容易に把握することが可能となる。

0099

<実施形態3>
次に、実施形態3として、上述した加速度センサ17により得られる加速度情報と撮像時のオートフォーカスによる距離情報とを用いて、画像間に含まれる同一オブジェクトの相対位置及び相対サイズを判定する手順について説明する。

0100

相対位置判定手段45は、例えば情報伝送装置10の中心を加速度センサ17の原点とし、加速度センサ17から得られる情報伝送装置10のx、y方向の加速度加速されていた時間とを用いて、画像間の同一オブジェクトの相対位置を判定する。また、相対サイズ判定手段46は、撮像手段15による撮像時のオートフォーカスの距離情報に基づいて、画像間における同一オブジェクトの相対サイズを判定する。

0101

例えば、等加速度を用いた距離の算出式は、「距離=初速度×時間+1/2×加速度×時間2」等の式が用いられ、例えば、親画像を撮った位置では、情報伝送装置10は止まっていたと考えられるため、初速度が「0」となる。

0102

このとき、相対位置判定手段45は、例えば「距離=1/2×加速度×時間2」の式を用いることにより、サンプリング時間△tごとの距離を算出し、算出した距離の値を合計して、情報伝送装置10がx、y方向にどの程度移動したかを算出することが可能となる。又は、親画像の撮像時から子画像の撮像時までのサンプリング時間△tの間は等加速度として、加速度の時間を二重積分して得られた値を合計して、移動した距離に近似させても良い。

0103

いずれの場合も、例えば左右及び上下の値は、それぞれの方向に応じてプラスマイナスが逆になるように計算することが可能である。

0104

ここで、図11は、撮像手段による撮像可能範囲を説明する図である。図11に示すレンズ90は円形である。例えば、移動前の親画像を撮像するときのレンズ90の位置から、撮影対象となる対象物(オブジェクト)の位置における撮像可能な範囲の半径r1と、距離d1との関係は、母線と高さをなす角度θとを用いて、例えば、「r1=d1×tanθ」の式により表せる。このとき、距離d1は、撮像時のオートフォーカスによって測定されているため、撮像可能な範囲の半径r1を算出することが可能である。

0105

また、図11に示すレンズ90の位置から撮像される画像の縦の長さhと、画像の横の長さwと、対角線の長さrと、画像内でのx軸方向への移動距離をaxとを用いると、実世界のx軸の移動距離dxの比は、例えば、「2r1:r=dx:ax」の式により表すことが可能である。したがって、画像内での移動距離axは、例えば、「ax=(r×dx)÷2r1」の式により表せる。

0106

なお、対角線の長さrは、三平方定理により算出でき、画像の縦の長さh、画像の横の長さwは、撮像時に設定されている値から取得することが可能である。

0107

同様に、画像内でのy軸方向の移動距離ayも算出することが可能である。したがって、相対位置判定手段45は、上述した手順により、画像内での移動位置(図11の例では、画像内で上方向にax移動し、横方向にay移動した位置)を判定することが可能となる。

0108

画像生成手段47は、このように相対位置判定手段45により得られた移動位置(ax移動し、ay移動した位置)を画像間の同一オブジェクトの相対位置と判定し、例えば上述した図7(B)の相対位置の領域Cを示すときの枠の中心位置とすると良い。

0109

また、相対サイズ判定手段46が、親画像と子画像に含まれる同一オブジェクトの相対サイズ(画像の倍率)を判定するときには、撮像手段15による撮像時のオートフォーカスの距離情報から得られる撮像可能範囲の比率、例えば「(r1/r2)×100」の式を用いて相対サイズを判定すると良い。

0110

上述したように、撮像時の加速度情報やオートフォーカスの距離情報等を用いて、親画像及び子画像に含まれる同一オブジェクトの相対位置や相対サイズを判定することにより、同一オブジェクトの相対位置を示す画像82等を生成することが可能となる。

0111

<実施形態4>
次に、実施形態4として、子画像を取得する際に親画像に対して指示された指示情報(操作情報)を用いて、相対位置判定手段45により同一オブジェクトの相対位置を判定する判定手順について説明する。図12は、操作情報を用いて相対位置の領域を表示する画像の一例を示す図である。図13は、操作情報を用いた場合の手順の一例を示すフローチャートである。

0112

図12(A)の例では、画面上に表示されている画像110のオブジェクト111の所定の領域に、操作者の手書きにより円や矩形状で指定された手書き指示領域112が示されている。

0113

例えば、情報伝送装置10−1の操作者が指示者となり、情報伝送装置10−2の操作者が遠隔地にいる作業者となり、指示者が、オブジェクト111の撮像された画面を参照し、「この辺をもう少しアップで撮ってください」と画面上に手書き又はポインタ操作等で指示するような場合が考えられる。このとき、指示者は上述した手書き指示領域112で指示することで、次の撮像箇所を作業者に伝えることとなる。

0114

その後、作業者によって撮像される画像は、指示者が手書き又はポインタ操作で示した箇所である確率が高い。そこで、相対位置判定手段45は、上述した手書き情報又はポインタ操作情報を利用して、親画像と子画像に含まれる同一オブジェクトの相対位置を判定する。

0115

また、画像生成手段47は、手書き情報又はポインタ操作情報を利用して判定された相対位置を用いて、図12(B)に示す親画像のオブジェクト111に対して子画像113を重畳させる。これにより、画像生成手段47は、子画像と親画像との画像間に含まれる同一オブジェクト111の相対位置を示す画像114を生成する。

0116

ここで、上述した処理を、情報伝送装置10−2で処理した場合の手順について説明する。なお、情報伝送装置10−2では、予め情報伝送装置10−1で撮像された画像(例えば、親画像)を保持しているものとする。また、情報伝送装置10−1と情報伝送装置10−2とは同期されているため、情報伝送装置10−1で撮像された画像(例えば、親画像)に対して指示された手書き情報又はポインタ操作情報は、情報伝送装置10−2で保持されているものとする。

0117

図13に示すように、情報伝送装置10−2の相対位置判定手段45は、画像(例えば、子画像)が撮像されると(S50)、例えば直前に取得した操作情報があるか否か判定する(S51)。ここで、操作情報とは、上述した手書き情報やポインタ操作情報が含まれ、例えば指示者による最後のタッチダウンタッチアップのx、y座標でも良く、円や矩形領域等を形成している手書き指示領域112の情報であっても良い。

0118

なお、S51の処理では、直前の操作情報が手書き情報のクリアだったような場合には、操作情報がないと判定しても良く、クリアの前の操作情報を直前の操作情報としても良い。

0119

相対位置判定手段45は、直前に取得した操作情報があると判定すると(S51において、YES)、直前の操作情報を取得し(S52)、取得した直前の操作情報を利用して、親画像と子画像とに含まれる同一オブジェクトの相対位置を判定する(S53)。

0120

例えば、直前の操作情報のうち、タッチダウン、タッチアップのx、y座標や、円や矩形領域等を形成している手書き指示領域112の中心位置を画像間の同一オブジェクトの相対位置と判定し、上述した相対位置の領域の中心位置とすることができる。

0121

次に、相対サイズ判定手段46は、S53の処理により得られた相対位置の情報を用いて、上述した図5のS13〜S19等の処理により縮小率を計算し(S54)、親画像と子画像に含まれる同一オブジェクトの相対サイズを判定する。ここで、相対サイズ判定手段46は、S53の処理により得られた相対位置を利用して、画像の一致を判定することが可能となるため、効率良く相対サイズを判定することが可能となる。

0122

なお、相対位置判定手段45は、直前に取得した操作情報がないと判定すると(S51において、NO)、上述した図5のS13〜S19等の処理で相対サイズ判定手段46により縮小率を計算して相対サイズを判定するとともに、相対位置を判定する。

0123

次に、情報伝送装置10−2は、相対サイズを記した子画像や相対位置の情報を情報伝送装置10−1に送信して(S55)、処理を終了する。

0124

なお、情報記録装置60により上述した手順を実行する場合には、データ処理手段63により、情報伝送装置50−1で撮像された画像や操作情報と、情報伝送装置50−2で撮像された画像とを取得して実行すれば良い。

0125

上述したように、子画像を取得する際に、親画像に対して指示された手書き指定領域112の操作情報を利用することで、画像間の同一オブジェクトの相対位置等を判定することが可能となる。

0126

<実施形態5>
次に、実施形態5として、例えば、上述した図5のS11の処理で処理対象となる画像があるか否か判定するときに、加速度センサ17により得られた加速度情報を利用する処理について説明する。

0127

例えば、車をオブジェクトとした場合に、複数台の車の画像を一度に撮像すると、同一車種では画像の類似度が高い。例えば、同一車種の異なる2つの車(例えば、車A、車B)が存在する場合には、車Aの画像と車Bの画像とが関連付けられてしまう場合もある。

0128

そこで、本実施形態では、図5のS11等の処理の前に、加速度センサ17により得られた加速度情報を用いて、オブジェクトの判定処理を実行する。例えば、相対位置判定手段45は、実施形態3で説明した加速度情報から得られるx、y方向に移動した距離を用いて、撮像される画像の縦の長さh、横の長さw以上に移動したと判定した場合、親画像において対象としていたオブジェクトはフレームアウトしたと判定し、図5のS11等の処理の対象としないようにする。

0129

これにより、本実施形態では、親画像と子画像の相対位置や相対サイズを判定するときの判定時間を短縮したり、関連テーブル44に不要なデータを含めないようにしたりして、より効率的に関連付けを行うことが可能となる。

0130

<実施形態6>
次に、実施形態6として、例えば、上述した図5のS14等の処理において類似度を算出したときに、所定の数値以下の場合には、類似度が低いことを示すアイコン等を表示する処理について説明する。図14は、類似度が低いことを示すアイコンを表示する画像の一例を示す図である。

0131

図14(A)に示すように、先に撮像した画像(親画像)120に複数のオブジェクト121、122が含まれている場合、オブジェクトの中の1つをズームして撮像することが考えられる。図14(B)には、オブジェクト121の手書き指定領域123に対するズーム画像(子画像)124が示されている。

0132

ここで、図14(A)に示す画像120のオブジェクト121が青色で、直方体のオブジェクト122が黒色のとき、図14(B)に示す画像124が撮像時のフラッシュで光り全体的に白く色が飛んでしまった場合を考える。このような場合、画像120と画像124とを比較すると、オブジェクト121の形状が一部一致するが、画像120全体と画像124とのカラーヒストグラムには色の異なるオブジェクトが含まれることになるため、大きな差が生じて、類似度が低くなる。

0133

上述したように、類似度が低い場合には、例えば図14(B)に示す相対サイズの表示部分に「200%?」マークを付加したり、図14(C)に示す相対位置の領域115の部分に「?」マークを付加したりしても良い。このように類似度が低いと判断される画像については、後の画像の確認処理を省いて作業時間を短縮等することも可能となる。

0134

上述したように、本発明の実施形態によれば、複数の画像間における同一オブジェクトの関連を表示することが可能となる。

0135

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

0136

10,50情報伝送装置
11 表示手段
12操作手段
13,62データ格納手段
14 制御手段
15撮像手段
16位置センサ
17加速度センサ
18音声出力手段
19音声入力手段
20ネットワーク
30通信装置
41,61回線インターフェース手段
42画像テーブル
43連絡先テーブル
44関連テーブル
45相対位置判定手段
46相対サイズ判定手段
47画像生成手段
48切換手段
60情報記録装置
63データ処理手段
71入力装置
72表示装置
73ドライブ装置
74 RAM
75 ROM
76 CPU
77インターフェース装置
78 HDD
80 親画像
81子画像
82 相対位置を示す画像
100,101 情報伝送システム

先行技術

0137

特開平8−322027号公報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ