図面 (/)

技術 画像処理システム、情報処理装置、画像処理装置、情報処理方法、画像処理方法およびプログラム

出願人 オリンパス株式会社
発明者 井上香菜子新谷浩一谷憲福谷佳之長和彦野中修
出願日 2018年12月19日 (1年8ヶ月経過) 出願番号 2018-237781
公開日 2020年7月2日 (2ヶ月経過) 公開番号 2020-101868
状態 未査定
技術分野 スタジオ装置 TV信号の記録 イメージ処理・作成
主要キーワード 電子パネル 貼付情報 貼付場所 情緒性 タブレット型端末装置 メッセージ性 顕微鏡モード 指定画像ファイル
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年7月2日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

画像の確認時に画像とその他の情報との関連性を把握することができる情報処理システム情報処理装置画像処理装置情報処理方法画像処理方法およびプログラムを提供する。

解決手段

携帯端末3は、外部機器によって生成された第1の画像データを受信する通信部34と、第1の画像データを紙媒体上において表示するための処理情報を含む第2の画像を撮像する撮像部31と、を備える。

概要

背景

映像処理システムにおいて、複数の画像で構成された映像中に存在する物に関する情報をリアルタイムに生成する技術が知られている(例えば特許文献1参照)。この技術によれば、認識対象物の画像内の特徴点に基づくi次元特徴ベクトルからなる第1局所特徴量と、第1の画像内に基づくj次元の特徴ベクトルからなる第2局所特徴量と、第1の画像と異なる第2の画像内に基づくk次元の特徴ベクトルからなる第3局所特徴量と、に基づいて、認識対象物に関する情報を生成することによって、画像中に存在する物の出現率を判定する。

概要

画像の確認時に画像とその他の情報との関連性を把握することができる情報処理システム情報処理装置画像処理装置情報処理方法画像処理方法およびプログラムを提供する。携帯端末3は、外部機器によって生成された第1の画像データを受信する通信部34と、第1の画像データを紙媒体上において表示するための処理情報を含む第2の画像を撮像する撮像部31と、を備える。

目的

このため、画像の確認時に画像との関連性を把握することができる技術が望まれていた

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

第1の機器が自然物を撮影して得た第1の画像データと、第2の機器が手書きメモを撮影して得た第2の画像データと、を受信する通信部と、前記第1の画像データを表示部の表示画面上に表示する表示制御部と、を備え、前記第2の画像データは、前記表示画面上において表示するための処理情報を含む、画像処理システム

請求項2

外部機器によって生成された第1の画像データを受信する通信部と、前記第1の画像データを紙媒体上において表示するための処理情報を含む第2の画像を撮像する撮像部と、を備える情報処理装置

請求項3

請求項2に記載の情報処理装置であって、前記処理情報は、前記第1の画像データのプリント時に合成される文字情報である、情報処理装置。

請求項4

請求項3に記載の情報処理装置であって、前記処理情報は、前記第1の画像データに対応する第1の画像を前記紙媒体上において貼付するための貼付情報である、情報処理装置。

請求項5

請求項4に記載の情報処理装置であって、前記貼付情報は、テキスト情報、前記第1の画像を前記紙媒体上に貼付するための位置を示す位置情報および大きさ情報を含む、情報処理装置。

請求項6

請求項5に記載の情報処理装置であって、前記紙媒体上に前記第1の画像を貼付するための貼付領域を算出する算出部と、前記算出部が算出した前記貼付領域に基づいて、前記第1の画像の表示領域をリサイズする画像処理部と、をさらに備え、前記撮像部は、前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、前記算出部は、前記撮像部によって順次生成されたライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する、情報処理装置。

請求項7

請求項6に記載の情報処理装置であって、前記第1の画像と、前記第2の画像と、前記処理情報と、を含む画像ファイルを生成して記録部に記録する記録制御部をさらに備える、情報処理装置。

請求項8

請求項7に記載の情報処理装置であって、前記ライブビュー画像を表示部に表示させる表示制御部をさらに備え、前記表示制御部は、前記画像処理部によってリサイズされた前記第1の画像を前記ライブビュー画像における前記筆記情報に重畳して前記表示部に表示させる、情報処理装置。

請求項9

情報処理装置によって生成された外部機器によって生成された第1の画像と、前記第1の画像を紙媒体上において表示するための処理情報を有する第2の画像と、を含む画像ファイルを受信する通信部と、前記処理情報に基づいて、前記第1の画像に前記第2の画像を合成することによって合成データを生成する合成部と、前記合成データを出力する出力部と、を備える画像処理装置

請求項10

請求項9に記載の画像処理装置であって、前記処理情報は、前記第1の画像のプリント時に合成される文字情報である、画像処理装置。

請求項11

請求項9に記載の画像処理装置であって、前記処理情報は、前記第1の画像を前記紙媒体上において貼付するための貼付情報である、画像処理装置。

請求項12

画像処理システムが実行する画像処理方法であって、第1の機器が自然物を撮影して得た第1の画像データと、第2の機器が手書きメモを撮影して得た第2の画像データと、を受信し、前記第1の画像データを表示部の表示画面上に表示し、前記第2の画像データは、前記表示画面上において表示するための処理情報を含む、情報処理方法

請求項13

情報処理装置が実行する情報処理方法であって、外部機器によって生成された第1の画像を受信し、前記第1の画像を紙媒体上において表示するための処理情報を含む第2の画像を撮像する、情報処理方法。

請求項14

画像処理装置が実行する画像処理方法であって、情報処理装置によって生成された外部機器によって生成された第1の画像と、前記第1の画像を紙媒体上において表示するための処理情報を有する第2の画像と、を含む画像ファイルを受信し、前記処理情報に基づいて、前記第1の画像に前記第2の画像を合成することによって合成データを生成し、前記合成データを出力する、画像処理方法。

請求項15

画像処理システムに実行させるプログラムであって、第1の機器が自然物を撮影して得た第1の画像データと、第2の機器が手書きメモを撮影して得た第2の画像データと、を受信し、前記第1の画像データを表示部の表示画面上に表示し、前記第2の画像データは、前記表示画面上において表示するための処理情報を含む、プログラム。

請求項16

情報処理装置に実行させるプログラムであって、外部機器によって生成された第1の画像を受信し、前記第1の画像を紙媒体上において表示するための処理情報を含む第2の画像を撮像する、プログラム。

請求項17

画像処理装置に実行させるプログラムであって、情報処理装置によって生成された外部機器によって生成された第1の画像と、前記第1の画像を紙媒体上において表示するための処理情報を有する第2の画像と、を含む画像ファイルを受信し、前記処理情報に基づいて、前記第1の画像に前記第2の画像を合成することによって合成データを生成し、前記合成データを出力する、プログラム。

技術分野

0001

本開示は、被写体を撮像することによって画像データを生成する画像処理システム情報処理装置画像処理装置情報処理方法画像処理方法およびプログラムに関する。

背景技術

0002

映像処理システムにおいて、複数の画像で構成された映像中に存在する物に関する情報をリアルタイムに生成する技術が知られている(例えば特許文献1参照)。この技術によれば、認識対象物の画像内の特徴点に基づくi次元特徴ベクトルからなる第1局所特徴量と、第1の画像内に基づくj次元の特徴ベクトルからなる第2局所特徴量と、第1の画像と異なる第2の画像内に基づくk次元の特徴ベクトルからなる第3局所特徴量と、に基づいて、認識対象物に関する情報を生成することによって、画像中に存在する物の出現率を判定する。

先行技術

0003

特開2015−92302号公報

発明が解決しようとする課題

0004

しかしながら、上述した特許文献1では、映像中に存在する物の出現率を判定しているのみであり、画像の確認時に画像とその他の情報との関連付けが分からなかった。このため、画像の確認時に画像との関連性を把握することができる技術が望まれていた。

0005

本開示は、上記に鑑みてなされたものであって、画像の確認時に画像とその他の情報との関連性を把握することができる画像処理システム、情報処理装置、画像処理装置、情報処理方法、画像処理方法およびプログラムを提供することを目的とする。

課題を解決するための手段

0006

上述した課題を解決し、目的を達成するために、本開示に係る画像処理システムは、第1の機器が自然物を撮影して得た第1の画像データと、第2の機器が手書きメモを撮影して得た第2の画像データと、を受信する通信部と、前記第1の画像データを表示部の表示画面上に表示する表示制御部と、を備え、前記第2の画像データは、前記表示画面上において表示するための処理情報を含む。

0007

また、本開示に係る情報処理装置は、外部機器によって生成された第1の画像データを受信する通信部と、前記第1の画像データを紙媒体上において表示するための処理情報を含む第2の画像を撮像する撮像部と、を備える。

0008

また、本開示に係る情報処理装置は、上記開示において、前記処理情報は、前記第1の画像データのプリント時に合成される文字情報である。

0009

また、本開示に係る情報処理装置は、上記開示において、前記処理情報は、前記第1の画像データに対応する第1の画像を前記紙媒体上において貼付するための貼付情報である。

0010

また、本開示に係る情報処理装置は、上記開示において、前記貼付情報は、テキスト情報、前記第1の画像を前記紙媒体上に貼付するための位置を示す位置情報および大きさ情報を含む。

0011

また、本開示に係る情報処理装置は、上記開示において、前記紙媒体上に前記第1の画像を貼付するための貼付領域を算出する算出部と、前記算出部が算出した前記貼付領域に基づいて、前記第1の画像の表示領域をリサイズする画像処理部と、をさらに備え、前記撮像部は、前記紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報を連続的に撮像し、前記算出部は、前記撮像部によって順次生成されたライブビュー画像に写る前記筆記情報に基づいて、前記貼付領域を算出する。

0012

また、本開示に係る情報処理装置は、上記開示において、前記第1の画像と、前記第2の画像と、前記処理情報と、を含む画像ファイルを生成して記録部に記録する記録制御部をさらに備える。

0013

また、本開示に係る情報処理装置は、上記開示において、前記ライブビュー画像を表示部に表示させる表示制御部をさらに備え、前記表示制御部は、前記画像処理部によってリサイズされた前記第1の画像を前記ライブビュー画像における前記筆記情報に重畳して前記表示部に表示させる。

0014

また、本開示に係る画像処理装置は、情報処理装置によって生成された外部機器によって生成された第1の画像と、前記第1の画像を紙媒体上において表示するための処理情報を有する第2の画像と、を含む画像ファイルを受信する通信部と、前記処理情報に基づいて、前記第1の画像に前記第2の画像を合成することによって合成データを生成する合成部と、前記合成データを出力する出力部と、を備える。

0015

また、本開示に係る画像処理装置は、上記開示において、前記処理情報は、前記第1の画像のプリント時に合成される文字情報である。

0016

また、本開示に係る画像処理装置は、上記開示において、前記処理情報は、前記第1の画像を前記紙媒体上において貼付するための貼付情報である。

0017

また、本開示に係る画像処理方法は、画像処理システムが実行する画像処理方法であって、第1の機器が自然物を撮影して得た第1の画像データと、第2の機器が手書きメモを撮影して得た第2の画像データと、を受信し、前記第1の画像データを表示部の表示画面上に表示し、前記第2の画像データは、前記表示画面上において表示するための処理情報を含む。

0018

また、本開示に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、外部機器によって生成された第1の画像を受信し、前記第1の画像を紙媒体上において表示するための処理情報を含む第2の画像を撮像する。

0019

また、本開示に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、情報処理装置によって生成された外部機器によって生成された第1の画像と、前記第1の画像を紙媒体上において表示するための処理情報を有する第2の画像と、を含む画像ファイルを受信し、前記処理情報に基づいて、前記第1の画像に前記第2の画像を合成することによって合成データを生成し、前記合成データを出力する。

0020

また、本開示に係るプログラムは、画像処理システムに実行させるプログラムであって、第1の機器が自然物を撮影して得た第1の画像データと、第2の機器が手書きメモを撮影して得た第2の画像データと、を受信し、前記第1の画像データを表示部の表示画面上に表示し、前記第2の画像データは、前記表示画面上において表示するための処理情報を含む。

0021

また、本開示に係るプログラムは、情報処理装置に実行させるプログラムであって、外部機器によって生成された第1の画像を受信し、前記第1の画像を紙媒体上において表示するための処理情報を含む第2の画像を撮像する。

0022

また、本開示に係るプログラムは、画像処理装置に実行させるプログラムであって、情報処理装置によって生成された外部機器によって生成された第1の画像と、前記第1の画像を紙媒体上において表示するための処理情報を有する第2の画像と、を含む画像ファイルを受信し、前記処理情報に基づいて、前記第1の画像に前記第2の画像を合成することによって合成データを生成し、前記合成データを出力する。

発明の効果

0023

本開示によれば、画像の確認時に画像とその他の情報との関連性を把握することができるという効果を奏する。

図面の簡単な説明

0024

図1は、実施の形態1に係る画像処理システムの概要を示す模式図である。
図2は、実施の形態1に係るキャプチャー装置機能構成を示すブロック図である。
図3は、実施の形態1に係る携帯端末の機能構成を示すブロック図である。
図4は、実施の形態1に係るサーバの機能構成を示すブロック図である。
図5は、ユーザがキャプチャー装置を用いて検体を観察している状況下を示す図である。
図6は、キャプチャー装置が撮像した画像の一例を示す図である。
図7は、ユーザが作成したノートの一例を示す図である。
図8は、ユーザが携帯端末を用いてノートを撮影した際の状況下を示す図である。
図9は、サーバが生成する画像の一例を模式的に示す図である。
図10は、画像ファイルに格納されるデータの一例を模式的に示す図である。
図11Aは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図11Bは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図11Cは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図11Dは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図11Eは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図11Fは、キャプチャー装置と携帯端末との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図12は、実施の形態1に係るキャプチャー装置が実行する処理の概要を示すフローチャートである。
図13は、図12観察モード処理の概要を示すフローチャートである。
図14は、実施の形態1に係る携帯端末が実行する処理の概要を示すフローチャートである。
図15は、図14顕微鏡モード処理の概要を示すフローチャートである。
図16は、図15のAR表示処理の概要を示すフローチャートである。
図17は、実施の形態1に係る算出部が算出する貼付領域の算出方法を模式的に示す図である。
図18は、実施の形態1に係る算出部が算出する貼付領域の算出方法を模式的に示す図である。
図19は、実施の形態1に係るサーバが実行する処理の概要を示すフローチャートである。
図20は、実施の形態2に係る画像処理システムの概要を示す模式図である。
図21は、実施の形態2に係る画像処理装置の機能構成を示すブロック図である。
図22は、ユーザがキャプチャー装置で撮影した画像にメモを添えて印刷または送付する際の状況下を示す図である。
図23は、キャプチャー装置から画像処理装置へ送信した画像の一例を模式的に示す図である。
図24は、ユーザが作成したメモを携帯端末で撮影している状況下を示す図である。
図25は、携帯端末でメモを撮像した画像の一例を模式的に示す図である。
図26は、画像処理装置によって印刷または送信される画像の一例ユーザを模式的に示す図である。
図31は、画像処理装置が印刷する画像の一例を模式的に示す図である。
図32は、画像処理装置が印刷する画像の一例を模式的に示す図である。
図29Aは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図29Bは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図29Cは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図29Dは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図29Eは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図29Fは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図29Gは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置との関係を模式的に示す図である。
図30は、実施の形態2に係るキャプチャー装置が実行する処理の概要を示すフローチャートである。
図31は、実施の形態2に係るキャプチャー装置が実行する再生モード処理の概要を示すフローチャートである。
図32は、実施の形態2に係る画像処理装置が実行する処理の概要について説明する。

実施例

0025

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。

0026

(実施の形態1)
本開示によれば、画像の確認時にメモなどを撮影したその他の情報(それを撮影した画像等)と画像との関連性を把握することができるという効果を奏する。特に手書きによるメモは、勢いをもって書くことによって、あるいは丁寧に書くことによって、それぞれ異なったメッセージ性を持つことになり、この筆跡をそのまま撮影することによって、そこに込められたメッセージを保ったまま、伝えることが可能となる。

0027

近年では、キーボードタッチパネルマウス、あるいは音声入力など、専用の入力用デバイスを使ってユーザが情報入力できる環境が整ってきているが、ペン鉛筆筆記用具を使っての手書きによる入力や修正簡便性情緒性魅力もまた存在しており、本開示の実施の形態1のように迅速に片手で、気づいたことを即座にメモするような状況などは、こうした手書きが重視されるシーンである。このような状況下で、手書きとデジタル情報マッチング技術の改善が求められていた。

0028

文字や記号を含まない自然物の画像というものはそれだけでは、何を表しているのかわからないことが多く、こうした第1の画像データに対して、こうした手書き情報を付加することで価値が上がることが多い。この第1の画像データを通信によって飛ばし、紙媒体上に再現するのみならず、この同じ紙媒体上において、手書き情報を有効活用することが重要である。スマートフォンなどの携帯端末(外部機器)によって、手書き情報を撮影して生成された情報を加味するのが今回の技術であり、この手書き情報は、上記紙媒体上にこうした情報を併せて再現するための処理情報を含む第2の画像と言い表すことが出来る。

0029

〔画像処理システムの概要〕
図1は、実施の形態1に係る画像処理システムの概要を示す模式図である。図1に示す画像処理システム1は、ユーザが検体等を観察しながら撮影することができるキャプチャー装置2と、ユーザが所有する携帯端末3と、ネットワーク100を経由してキャプチャー装置2および携帯端末3から各種情報を受信するとともに、各種情報を送信するサーバ4と、を備える。

0030

〔キャプチャー装置の構成〕
まず、キャプチャー装置2の構成について説明する。図2は、キャプチャー装置2の機能構成を示すブロック図である。図2に示すキャプチャー装置2は、ビデオマイクロスコープ生物顕微鏡および工業顕微鏡等の顕微鏡である。なお、図2では、顕微鏡を例に説明するが、顕微鏡以外にも、デジタルカメラ等の撮像装置タブレット型端末装置カムコーダ撮影機能付きICレコーダ工業用または医療用内視鏡であっても適用することができる。

0031

図2に示すキャプチャー装置2は、光学系21と、撮像部22と、収音部23と、時計24と、操作部25と、通信部26と、記録部27と、表示部28と、制御部29と、を備える。

0032

光学系21は、被写体像結像し、この結像した被写体像をユーザおよび撮像部22に出射する。光学系21は、少なくとも1または複数のレンズを用いて構成される。また、光学系21は、制御部29の制御のもと、焦点距離および焦点位置を変更する。なお、実施の形態1では、光学系21を対物レンズ接眼レンズとして説明するが、キャプチャー装置2の構成によって、例えば交換レンズ等であってもよい。

0033

撮像部22は、制御部29の制御のもと、光学系21によって結像された被写体像を受光し、光電変換を行うことによって画像データを生成する。撮像部22は、画像データを制御部29へ出力する。撮像部22は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)およびA/D変換回路等を用いて構成される。

0034

収音部23は、制御部29の制御のもと、ユーザが発した音声を取得し、取得した音声に対してA/D変換を行うことによって音声データを生成する。収音部23は、音声データを制御部29へ出力する。収音部23は、マイクロフォンアンプ回路およびA/D変換回路等を用いて構成される。

0035

時計24は、時間を計時し、この計時結果を制御部29へ出力する。時計24は、計時機能の他、撮像部22によって生成された画像データの日時に関する日時情報を生成し、この日時情報を制御部29へ出力する。時計24は、クロックジェネレータ等を用いて構成される。

0036

操作部25は、ユーザの操作の入力を受け付け、受け付けた操作に応じた信号を制御部29へ出力する。操作部25は、タッチパネル、スイッチ、ボタンジョグダイヤルおよび回転レバー等を用いて構成される。

0037

通信部26は、制御部29の制御のもと、所定の通信規格、例えばWi−Fi(Wireless Fidelity)(登録商標)やBluetooth(登録商標)に従って、ネットワーク100を経由して入力された各種情報を制御部29へ出力するとともに、制御部29から入力された各種情報を外部へ送信する。通信部26は、通信モジュール等を用いて構成される。

0038

記録部27は、キャプチャー装置2に関する各種情報を記録する。記録部27は、Flashメモリ、HDD(Hard Disk Drive)およびSSD(Solid State Drive)等を用いて構成される。記録部27は、画像データを含む画像ファイルを記録する画像ファイル記録部271と、音声データを含む音声ファイルを記録する音声ファイル記録部272と、第1の画像データおよび第1の画像データを紙媒体上において表示するための処理情報を含む第2の画像データを含む補助データを記録する補助データ記録部273と、キャプチャー装置2が実行する各種プログラムや処理中に使用する各種データを記録するプログラム記録部274と、を有する。

0039

表示部28は、制御部29の制御のもと、キャプチャー装置2に関する各種情報を表示する。表示部28は、撮像部22によって生成された画像データに対応する画像を表示する。表示部28は、液晶有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。

0040

制御部29は、キャプチャー装置2を構成する各部の制御を統括的に制御する。制御部29は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部29は、CPU(Central Processing Unit)、メモリおよびGPU(Graphics Processing Unit)等を用いて構成される。制御部29は、撮影制御部291と、表示制御部292と、記録制御部293と、通信制御部294と、を有する。

0041

撮影制御部291は、撮像部22の撮影を制御する。撮影制御部291は、操作部25の操作に応じて、撮像部22に撮影を実行させる。

0042

表示制御部292は、表示部28の表示を制御する。例えば、表示制御部292は、表示部28にキャプチャー装置2に関する各種情報を表示部28に表示させる。

0043

記録制御部293は、少なくとも撮像部22が生成した画像データおよび収音部23が生成した音声データと、時計24の計時結果と、操作部25の操作履歴に関する履歴情報とを対応付けた画像ファイルを生成し、この画像ファイルを記録部27に記録する。

0044

通信制御部294は、通信部26の通信を制御する。通信制御部294は、通信部26にキャプチャー装置2の各種情報、例えば撮像部22によって生成された画像データを送信させる。

0045

〔携帯端末の構成〕
次に、携帯端末3の構成について説明する。図3は、携帯端末3の機能構成を示すブロック図である。図3に示す携帯端末3は、例えば撮影機能付き携帯電話等である。図3に示す携帯端末3は、撮像部31と、時計32と、操作部33と、通信部34と、記録部35と、表示部36と、制御部37と、を備える。

0046

撮像部31は、制御部37の制御のもと、画像データを生成し、この生成した画像データを制御部37へ出力する。撮像部31は、1または複数の光学系と、この光学系が結像した被写体像を受光することによって画像データを生成するCMOSやCCDと、を用いて構成される。

0047

時計32は、時間を計時し、この計時結果を制御部37へ出力する。時計32は、計時機能の他、撮像部31によって生成された画像データの日時に関する日時情報を生成し、この日時情報を制御部37へ出力する。時計32は、クロックジェネレータ等を用いて構成される。

0048

操作部33は、ユーザの操作の入力を受け付け、受け付けた操作に応じた信号を制御部37へ出力する。操作部33は、タッチパネル、スイッチおよびボタン等を用いて構成される。

0049

通信部34は、制御部37の制御のもと、所定の通信規格に従って、ネットワーク100を経由して入力された各種情報を制御部37へ出力するとともに、制御部37から入力された各種情報を外部へ送信する。通信部34は、通信モジュール等を用いて構成される。

0050

記録部35は、携帯端末3に関する各種情報を記録する。記録部35は、揮発性メモリ不揮発性メモリおよびメモリカード等の記録媒体を用いて構成される。記録部35は、画像データを含む画像ファイルを記録する画像ファイル記録部351と、第1の画像データおよび第1の画像データを紙媒体上において表示するための処理情報を含む第2の画像データを含む補助データを記録する補助データ記録部352と、携帯端末3が実行する各種のプログラムおよび処理中に使用する各種データを記録するプログラム記録部353と、を有する。

0051

表示部36は、制御部37の制御のもと、携帯端末3に関する各種情報や画像データに対応する画像を表示する。表示部36は、液晶や有機EL(Electro Luminescence)等の表示パネルを用いて構成される。

0052

制御部37は、携帯端末3を構成する各部の動作を統括的に制御する。制御部37は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部37は、メモリ、CPUおよびGPU等を用いて構成される。制御部37は、検出部371と、算出部372と、画像処理部373と、合成部374と、撮影制御部375と、表示制御部376と、記録制御部377と、通信制御部378と、を有する。

0053

検出部371は、撮像部31から入力された画像データに対応する画像に写る紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報の位置に関する位置情報を検出する。こうした手書き情報は、直感的、迅速かつ簡便で、書き込みや修正がしやすく、無視できない利点がある。この手書き文字は、勢いをもって書くことによって、あるいは丁寧に書くことによって、それぞれ異なったメッセージ性を持つことになり、この筆跡、字体をそのまま撮影することによって、そこに込められたメッセージを保ったまま、伝えることが可能ともなる。実験メモなどでは、その時の緊迫感や空気感などが文字に現れることがある。

0054

算出部372は、紙媒体上に第1の画像であるキャプチャー装置2の画像を貼付するための貼付領域を算出する。例えば、算出部372は、撮像部31から順次入力された画像データに対応するライブビュー画像に写る紙媒体上において書き込まれた文字、図形および記号のいずれかが筆記された筆記情報に基づいて、貼付領域を算出する。こうした文字や図形、領域などの手書き情報は、即座に全体のレイアウトを指示したりする際にも直感的、迅速かつ簡便で、書き込みや修正がしやすく、無視できない利点がある。

0055

撮影制御部375は、撮像部31の撮影を制御する。撮影制御部375は、操作部33の操作に応じて、撮像部31に撮影を実行させる。

0056

表示制御部376は、表示部36の表示を制御する。例えば、表示制御部376は、表示部36に携帯端末3に関する各種情報を表示部36に表示させる。

0057

記録制御部377は、キャプチャー装置2から受信した第1の画像である画像データと、撮像部31によって生成された第1の画像を紙媒体上において表示するための処理情報を含む第2の画像と、第1の画像データに対応する第1の画像を紙媒体上において貼付するための貼付情報を含む画像ファイルを生成して、この画像ファイルを記録部35に記録する。ここで、貼付情報は、テキスト情報、第1の画像を紙媒体上に貼付するための位置を示す位置情報および大きさを示す大きさ情報(貼付領域)を含む。

0058

通信制御部378は、通信部34の通信を制御する。通信制御部378は、通信部34に画像ファイルを含む各種情報を送信させる。

0059

〔画像処理装置の構成〕
次に、サーバ4の構成について説明する。図4は、サーバ4の機能構成を示すブロック図である。図4に示すサーバ4は、ネットワーク100を経由して画像データを受信し、この画像データに対応する画像やデータを出力する装置である。図4に示すサーバ4は、通信部41と、出力部42と、記録部43と、制御部44と、を備える。

0060

通信部41は、制御部44の制御のもと、所定の通信規格に従って、ネットワーク100を経由して入力された各種情報を制御部44へ出力するとともに、制御部44から入力された各種情報を外部へ出力する。通信部41は、通信モジュール等を用いて構成される。

0061

出力部42は、制御部44の制御のもと、画像データに対応する画像を出力する。例えば、出力部42は、制御部44の制御のもと、画像データに対応する画像を紙等の媒体に印刷して出力する。出力部42は、例えばプリンタ等を用いて構成される。

0062

記録部43は、サーバ4に関する各種情報を記録する。記録部43は、揮発性メモリ、不揮発性メモリ、HDDおよびSSD等を用いて構成される。記録部43は、サーバ4が実行する各種プログラムや処理中に使用するデータを記録するプログラム記録部431を有する。

0063

制御部44は、サーバ4を構成する各部の動作を統括的に制御する。制御部44は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部44は、メモリ、CPUおよびGPU等を用いて構成される。制御部44は、合成部441と、出力制御部442と、通信制御部443と、を有する。

0064

合成部441と、キャプチャー装置2から受信した第1の画像である画像データと、撮像部31によって生成された第1の画像を紙媒体上において表示するための処理情報を含む第2の画像と、第1の画像データに対応する第1の画像を紙媒体上において貼付するための貼付情報と、を合成した合成データを生成する。

0065

出力制御部442と、出力部42の出力を制御する。出力制御部442は、出力部42に画像データに対応する画像を紙媒体上に印刷する。

0066

通信制御部443と、通信部41の通信を制御する。通信制御部443は、通信部41に画像ファイルを含む各種情報を送信させる。

0067

〔画像処理システムの処理の概要〕
次に、画像処理システム1が実行する処理の概要について説明する。図5は、ユーザがキャプチャー装置2を用いて検体を観察している状況下を示す図である。図6は、キャプチャー装置2が撮像した画像の一例を示す図である。図7は、ユーザが作成したノートの一例である。図8は、ユーザが携帯端末3を用いてノートを撮影した際の状況下を示す図である。図9は、サーバ4が生成する画像の一例を模式的に示す図である。

0068

図5に示すように、ユーザU1は、キャプチャー装置2を用いて検体の観察を行いながら、ノートN100(例えばラボノート)の作成を行っている。この状況下において、ユーザU1は、図6に示す画像P1をノートN100の所望の貼付領域へ貼付したい。しかしながら、ユーザU1は、ノートN100の作成途中であり、画像P1を出力して貼付することが難しいうえ、先に画像P1を印刷した場合であっても、ノートN100の作成終了後に、印刷した画像P1を貼付しようと思っても、画像P1と貼付領域とが関連付けられていないため、画像P1の貼付位置を把握することができないときがある。さらに、ユーザU1は、ノートN100の枚数および貼付する画像の数が増加すればするほど、画像と貼付位置との関連性を把握することが難しくなることで、間違った画像を貼付してしまう。

0069

このため、図8に示すように、ユーザU1は、ノートN100における所定の貼付領域D1に画像P1を貼付する四角の枠W1と、この枠W1内に文字(例えば「ここにはるA」)の書き込み(手書き入力)を行う。そして、図8に示すように、ユーザU1は、携帯端末3を用いてノートN100を撮影する。具体的には、ユーザU1は、携帯端末3を用いて画像P1を紙媒体であるノートN100上において表示するための処理情報を含む画像P2を撮像して画像ファイルを生成する。この場合、図9に示すように、携帯端末3は、画像P1を紙媒体であるノートN100上において表示するための処理情報を含む画像P2を撮像する。ここで、処理情報には、ノートN100における貼付領域D1に貼付するための貼付情報が含まれる。貼付情報には、テキスト情報、第1の画像である画像P1をノートN100上に貼付するための位置を示す位置情報および大きさ情報が含まれる。具体的には、図10に示すように、携帯端末3の記録制御部377は、ファイル名T1、第1の画像データと、第2の画像データとを合成した合成データを記録する画像データT2、テキスト情報T3、処理情報である貼付情報の位置情報および大きさ情報T4、機種名や撮影時刻等のその他のメタ−データT5を含む画像ファイルF1を生成する。この場合、携帯端末3は、検出部371が撮像部31によって生成された画像データに対応する画像に対して周知のパターンマッチング等を用いて、図形や閉領域を検出することによって貼付するための位置情報を検出し、算出部372が貼付領域D1の大きさを算出する。そして、携帯端末3は、画像処理部373が貼付領域D1に基づいて、画像P1の表示領域をリサイズする画像処理を行い、合成部374が画像P1と画像P2とを合成することによって合成データに対応する画像P3を生成し、記録制御部377が画像P3に対応する画像データを画像ファイルF1に格納する。

0070

携帯端末3は、第1の画像である画像P1と、画像P1を紙媒体であるノートN100上において表示するための処理情報を含む第2の画像P2と、を関連付けた画像P3を格納する画像ファイルをサーバ4へ送信する。サーバ4は、携帯端末3から受信した画像ファイルに格納された画像P3を図示しないプリンタに出力することによって印刷を行う。これにより、ユーザU1は、ノートN100の作成を終了した後に、画像P1をノートN100に貼付する場合であっても、画像P1と画像P2との関連付けていることで、画像P3の貼付領域D1に文字が記載されているため、容易に貼付場所を把握することができる。なお、図7図9では、携帯端末3が貼付領域D1に基づいて、画像P1の表示領域をリサイズする画像処理を行って画像P1と画像P2とを合成することによって合成データに対応する画像P3を生成しているが、サーバ4が貼付領域D1に基づいて、画像P1の表示領域をリサイズする画像処理を行って画像P1と画像P2とを合成することによって合成データに対応する画像P3を生成してもよい。

0071

〔キャプチャー装置と携帯端末との連携処理の概要〕
図11A図11Fは、キャプチャー装置2と携帯端末3との連携処理時における画面遷移とキャプチャー装置2との関係を模式的に示す図である。

0072

図11Aに示すように、まず、携帯端末3は、ユーザU1によって表示部36が表示する複数のアイコンA1〜アイコンA5の中からキャプチャー装置2と連結するアイコンA2が選択された場合、図11Bに示すように、携帯端末3は、アイコンA11〜アイコンA14を表示部36に表示する。アイコンA1は、携帯端末3の設定等を変更可能なその他の動作を行うその他モードを指示する指示信号の入力を受け付ける。アイコンA2は、キャプチャー装置2から画像データ等を受信して連携する顕微鏡モードを指示する指示信号の入力を受け付ける。アイコンA3は、キャプチャー装置2から動画データを受信して連携する動画モードを指示する指示信号の入力を受け付ける。アイコンA4は、他の機器に向けてメールを送信する送信モードを指示する指示信号の入力を受け付ける。アイコンA5は、他の機器に向けて通話する電話モードを指示する指示信号の入力を受け付ける。また、アイコンA11は、顕微鏡であるキャプチャー装置2に撮像させて画像データを要求する指示信号の入力を受け付ける。アイコンA12は、ユーザU1が書き込んだ文字または打ち込んだメモを画像に関連付けるモードに遷移するための指示信号の入力を受け付ける。アイコンA13は、前の表示へ遷移する指示信号の入力を受け付ける。

0073

図11Bに示す状況下において、携帯端末3は、ユーザU1によって表示部36が表示するアイコンA11〜アイコンA13の中からアイコンA11が選択された場合、キャプチャー装置2によって生成された画像データに対応する画像P1を取得する。

0074

続いて、図11Cに示す状況下において、携帯端末3は、ユーザU1によって表示部36が表示するアイコンA11〜A13の中からアイコンA12が選択された場合、図11Dに示すように、携帯端末3は、画像P1、アイコンA21、アイコンA22およびアイコンA13を表示部36に表示する。アイコンA21は、画像P1に対して、ユーザU1が文字を書き込んだ紙媒体を撮影するモードに遷移する指示信号の入力を受け付ける。アイコンA22は、携帯端末3のUIを用いてテキスト打ち込むモードに遷移する指示信号の入力を受け付ける。

0075

その後、携帯端末3は、ユーザU1によってアイコンA21が選択された場合、撮像部31にユーザU1が文字を書き込んだ紙媒体を撮像して生成した画像データに対応する画像P2を表示部36にライブビュー表示させる(図11Eを参照)。そして、携帯端末3は、ユーザU1によって操作部33が操作され撮影された場合、画像P1と画像P2とを関連付けた画像ファイルを生成するとともに、画像P1と画像P2とを表示部36に表示する(図11Fを参照)。

0076

〔キャプチャー装置の処理〕
次に、キャプチャー装置2が実行する処理について説明する。図12は、キャプチャー装置2が実行する処理の概要を示すフローチャートである。

0077

図12に示すように、まず、キャプチャー装置2が観察モードに設定されている場合(ステップS1:Yes)について説明する。この場合、キャプチャー装置2は、検体を観察する観察モード処理を実行する(ステップS2)。なお、観察モードの処理は、後述する。

0078

続いて、操作部25から終了を指示する指示信号が入力された場合(ステップS3:Yes)、キャプチャー装置2は、本処理を終了する。これに対して、操作部25から終了を指示する指示信号が入力されていない場合(ステップS3:No)、キャプチャー装置2は、ステップS1へ戻る。

0079

ステップS1において、キャプチャー装置2が観察モードに設定されていない場合(ステップS1:No)、キャプチャー装置2は、ステップS4へ移行する。

0080

続いて、キャプチャー装置2が通信設定モードに設定されている場合(ステップS4:Yes)、キャプチャー装置2は、携帯端末3またはサーバ4と通信を行うための各種設定を行う通信設定を行う(ステップS5)。ステップS5の後、キャプチャー装置2は、ステップS3へ移行する。

0081

ステップS4において、キャプチャー装置2が通信設定モードに設定されていない場合(ステップS4:No)、キャプチャー装置2は、ステップS3へ移行する。

0082

〔観察モード処理〕
次に、図12のステップS2で説明した観察モード処理の詳細について説明する。図13は、観察モード処理の概要を示すフローチャートである。

0083

図13に示すように、まず、制御部29は、撮像部22に撮像を実行させて画像データを生成させる(ステップS10)。

0084

続いて、キャプチャー装置2が携帯端末3と通信が設定されている場合(ステップS11:Yes)、通信制御部294は、通信部26に撮像部22が生成した画像データを携帯端末3へ送信させる(ステップS12)。ステップS12の後、キャプチャー装置2は、ステップS13へ移行する。これに対して、キャプチャー装置2が携帯端末3と通信が設定されていない場合(ステップS11:No)、キャプチャー装置2は、ステップS13へ移行する。

0085

続いて、操作部25に対して操作があった場合(ステップS13:Yes)、撮影制御部291は、操作部25の操作に基づいて、撮像部22のパラメータを制御する(ステップS14)。ステップS14の後、キャプチャー装置2は、ステップS15へ移行する。これに対して、操作部25に対して操作がなかった場合(ステップS13:No)、キャプチャー装置2は、ステップS15へ移行する。

0086

その後、操作部25から記録を指示する指示信号が入力された場合(ステップS15:Yes)、撮影制御部291は、撮像部22に撮影を実行させて画像データを生成させる(ステップS16)。

0087

続いて、記録制御部293は、撮像部22によって生成された画像データおよび現在の撮像部22のパラメータを含む操作履歴を画像ファイル記録部271に記録する(ステップS17)。

0088

その後、キャプチャー装置2が携帯端末3への画像ファイルの送信が設定されている場合(ステップS18:Yes)、通信制御部294は、通信部26に画像ファイルを携帯端末3へ送信させる(ステップS19)。ステップS19の後、キャプチャー装置2は、図12メインルーチンへ戻る。

0089

ステップS15において、操作部25から記録を指示する指示信号が入力されていない場合(ステップS15:No)、キャプチャー装置2は、図12のメインルーチンへ戻る。

0090

ステップS18において、キャプチャー装置2が携帯端末3への画像ファイルの送信が設定されていない場合(ステップS18:No)、キャプチャー装置2は、図12のメインルーチンへ戻る。

0091

〔携帯端末の処理〕
次に、携帯端末3が実行する処理について説明する。図14は、携帯端末3が実行する処理の概要を示すフローチャートである。

0092

図12に示すように、まず、表示制御部376は、携帯端末3が実行可能な複数のモードの各々に関するアイコンを表示部36に表示させる(ステップS21)。具体的には、表示制御部376は、上述した図11Aで説明したアイコンA1〜A5を表示部36に表示させる。

0093

続いて、操作部33を用いてアイコンA3が操作され、顕微鏡モードが選択された場合(ステップS22:Yes)、携帯端末3は、キャプチャー装置2と連結する顕微鏡モード処理を実行する(ステップS23)。なお、顕微鏡モード処理の詳細は、後述する。ステップS23の後、携帯端末3は、ステップS24へ移行する。

0094

その後、操作部33から終了を指示する指示信号が入力された場合(ステップS24:Yes)、携帯端末3は、本処理を終了する。これに対して、操作部33から終了を指示する指示信号が入力されていない場合(ステップS24:No)、携帯端末3は、上述したステップS21へ戻る。

0095

ステップS22において、操作部33を用いてアイコンA3が操作されず、顕微鏡モードが選択されていない場合(ステップS22:No)、携帯端末3は、ステップS25へ移行する。

0096

続いて、操作部33が操作され、携帯端末3がキャプチャー装置2との通信の設定を行う通信設定モードが設定された場合(ステップS25:Yes)、携帯端末3は、キャプチャー装置2と通信を行うための通信設定を行う(ステップS26)。

0097

その後、携帯端末3は、キャプチャー装置2から画像を受信する(ステップS27)。ステップS27の後、携帯端末3は、ステップS24へ移行する。

0098

ステップS25において、操作部33が操作されず、携帯端末3がキャプチャー装置2との通信の設定を行う通信設定モードが設定されていない場合(ステップS25:No)、携帯端末3は、ステップS24へ移行する。

0099

〔顕微鏡モード処理〕
次に、図14のステップS23において説明した顕微鏡モード処理の詳細について説明する。図15は、顕微鏡モード処理の概要を示すフローチャートである。

0100

図15に示すように、キャプチャー装置2から画像を受信した場合(ステップS31:Yes)、表示制御部376は、キャプチャー装置2から受信した画像を表示部36に表示させる(ステップS32)。

0101

続いて、操作部33が操作され、キャプチャー装置2から画像を取得する場合(ステップS33:Yes)、携帯端末3は、後述するステップS34へ移行する。これに対して、操作部33が操作されず、キャプチャー装置2から画像を取得しない場合(ステップS33:No)、携帯端末3は、後述するステップS36へ移行する。

0102

ステップS34において、AR表示を行う場合(ステップS34:Yes)、携帯端末3は、AR表示処理を行う(ステップS35)。ステップS35の後、携帯端末3は、ステップS36へ移行する。

0103

〔AR表示処理〕
図16は、図15のステップS35におけるAR表示処理の概要を示すフローチャートである。

0104

図16に示すように、撮影制御部375は、撮像部31に撮像を実行させる(ステップS51)。

0105

続いて、算出部372は、撮像部31が生成した画像データに対応する画像からキャプチャー装置2から取得した第1の画像を重畳する貼付領域を算出する(ステップS52)。具体的には、算出部372は、図17に示すように、撮像部31の光学系311の中心L1から撮像素子312の受光面までの焦点距離をF、撮像素子312の受光面で結像される文字M1の大きさをSy、光学系311の中心L1からノートN100までの距離をD、ノートN100上における文字M1の大きさをPyとした場合、以下の式(1)が成り立つ。
Py=(Sy・D)/F ・・・(1)
ここで、焦点距離F、撮像素子312の大きさSyおよび距離Dは、既知のため、算出部372は、上記の式(1)を用いてノートN100上における文字M1の大きさPy、即ち、貼付領域を算出することができる。なお、算出部372は、撮像素子312上における文字M1の画素数から大きさSyを算出してもよい。さらに、算出部372は、撮像素子312に配置された複数の位相差センサ位相差画素)からの検出結果に基づいて、距離Dを算出してもよい。さらにまた、算出部372は、光学系311に設けられた位置センサに基づいて、焦点距離Fを算出してもよい。また、図18も同様に図形であっても、算出部372は、同様に貼付領域を算出することができる。

0106

その後、画像処理部373は、貼付領域に基づいて、貼付する第1の画像の画像サイズを調整するリサイズ処理を行う(ステップS53)。

0107

続いて、表示制御部376は、画像処理部373がリサイズ処理を行った画像データに対応する第1の画像を重畳して表示する(ステップS54)。ステップS54の後、携帯端末3は、図14サブルーチンへ戻る。

0108

図15戻り、ステップS36以降の説明を続ける。
ステップS36において、携帯端末3のモードがテキストメモを作成するテキストメモである場合(ステップS36:Yes)、画像処理部373は、操作部33の操作に応じて、テキストメモを作成する(ステップS37)。

0109

続いて、記録制御部377は、画像処理部373が操作部33の操作に応じて作成したテキストメモと画像データとを格納した画像ファイルを生成する(ステップS38)。ステップS38の後、携帯端末3は、後述するステップS42へ移行する。

0110

ステップS36において、携帯端末3のモードがテキストメモを作成するテキストメモである場合(ステップS36:No)、携帯端末3は、ステップS39へ移行する。

0111

続いて、携帯端末3のモードがメモ撮影である(ステップS39:Yes)、携帯端末3は、後述するステップS40へ移行する。これに対して、携帯端末3のモードがメモ撮影でない場合(ステップS39:No)、携帯端末3は、後述するステップS42へ移行する。

0112

ステップS40において、撮影制御部375は、撮像部31に撮影を実行させる。この場合、算出部372は、第1の画像データである画像P1を紙媒体上において表示するための処理情報を、撮像部31によって生成された画像データに対応する画像から解析する。具体的には、算出部372は、上述した図16と同様の処理を行い、撮像部31が生成した画像データに対応する画像からキャプチャー装置2から取得した第1の画像を重畳する貼付領域を算出する。さらに、検出部371は、紙媒体上(例えばノートN100上)における貼付領域の位置に関する位置情報を検出する。

0113

続いて、記録制御部377は、算出部372が算出した貼付領域の大きさに関する大きさ情報、検出部371が検出した貼付領域の位置に関する位置情報と、テキスト情報と、を含む貼付情報をメタデータとして画像ファイルに格納する(ステップS41)。ステップS41の後、携帯端末3は、ステップS42へ移行する。

0114

その後、操作部33から内容を決定する指示信号が入力された場合(ステップS42:Yes)、記録制御部377は、取得ファイルメモ情報とを関係付けた画像ファイルを記録部35に記録する(ステップS43)。例えば、記録制御部377は、上述したステップS37またはステップS41で生成したテキスト情報またはメタデータと、キャプチャー装置2から取得した第1の画像とを関連付けた画像ファイル(図10を参照)を記録部35の補助データ記録部352に記録する。

0115

続いて、操作部33から取得ファイルとメモ情報とを関係付けた画像ファイルをサーバ4へ送信する指示信号が入力された場合(ステップS44:Yes)、通信制御部378は、サーバ4へ向けて取得ファイルとメモ情報とを関連付けた画像ファイルを通信部34に送信させる(ステップS45)。

0116

その後、操作部33から終了を指示する指示信号が入力された場合(ステップS46:Yes)、携帯端末3は、本処理を終了する。これに対して、操作部33から終了を指示する指示信号が入力されていない場合(ステップS46:No)、携帯端末3は、上述したステップS33へ戻る。

0117

ステップS42において、操作部33から内容を決定する指示信号が入力されていない場合(ステップS42:No)、携帯端末3は、ステップS46へ移行する。

0118

ステップS44において、操作部33から取得ファイルとメモ情報とを関係付けた画像ファイルをサーバ4へ送信する指示信号が入力されていない場合(ステップS44:No)、携帯端末3は、ステップS46へ移行する。

0119

〔サーバの処理〕
次に、サーバ4が実行する処理について説明する。図19は、サーバ4が実行する処理の概要を示すフローチャートである。

0120

図19に示すように、サーバ4は、携帯端末3から画像ファイルを受信した場合(ステップS61:Yes)、サーバ4は、図示しないプリンタに画像ファイルF1に格納された画像P3をプリントさせる(ステップS62)。ステップS62の後、サーバ4は、本処理を終了する。これに対して、携帯端末3から画像ファイルを受信していない場合(ステップS61:No)、サーバ4は、本処理を終了する。

0121

以上説明した実施の形態1によれば、携帯端末3が第1の画像データを紙媒体上において表示するための処理情報を含む第2の画像を撮像するので、画像の確認時に画像との関連性を把握することができる。

0122

また、実施の形態1によれば、記録制御部377が第1の画像と第2の画像と、処理情報と、を含む画像ファイルを生成して記録部35に記録するので、印刷時に画像の確認時に画像との関連性を把握することができる。

0123

また、実施の形態1によれば、表示制御部376が画像処理部373によってリサイズされた第1の画像をライブビュー画像における筆記情報である貼付領域に重畳して表示部36に表示させるので、ユーザU1が第1の画像を紙媒体上で貼付する際にイメージを直感的に把握することができる。

0124

また、実施の形態1によれば、合成部441が画像ファイルに格納された処理情報に基づいて、第1の画像に第2の画像を合成することによって合成データを生成し、この合成データを出力部42に出力するので、画像の確認時に画像との関連性を把握することができる。

0125

(実施の形態2)
次に、実施の形態2について説明する。上述した実施の形態1では、キャプチャー装置2として顕微鏡を用いていたが、実施の形態2では、キャプチャー装置として撮像装置を用いる。実施の形態2では、キーボードやタッチパネルやマウス、あるいは音声入力など、専用の入力用デバイスを使ってユーザが情報入力できる環境が整ってきているが、ペンや鉛筆の筆記用具を使っての手書きによる入力や修正の簡便性や情緒性の魅力もまた存在しており、本実施形態のようにユーザの個性を反映する筆跡を生かしてメモするような状況などは、心がこめやすく、手書きが重視されるシーンである。活字やテキストになると失われる、感情や個性が反映された形状や勢いの情報を失わせたくない手書きならではの情報量が求められる状況下でも、手書きとデジタル情報のマッチング技術の改善が求められていた。

0126

〔画像処理システムの概要〕
図20は、実施の形態2に係る画像処理システムの概要を示す模式図である。図20に示す画像処理システム1Aは、被写体を撮像することができるキャプチャー装置2Aと、携帯端末3と、サーバ4と、キャプチャー装置2Aおよび携帯端末3と通信することができる画像処理装置5と、を備える。キャプチャー装置2Aは、デジタルカメラ等の撮像装置、タブレット型端末装置、カムコーダおよび撮影機能付きICレコーダ等の装置であり、上述した実施の形態1に係るキャプチャー装置2と同様の機能を有するため、詳細な構成の説明を省略する。

0127

〔画像処理装置の構成〕
図21は、画像処理装置5の機能構成を示すブロック図である。図21に示す画像処理装置5は、通信部51と、操作部52と、出力部53と、表示部54と、記録部55と、制御部56と、を備える。

0128

通信部51は、制御部56の制御のもと、所定の通信規格に従って、ネットワーク100を経由して入力された各種情報を送信するとともに、各種情報を外部へ出力する。通信部51は、通信モジュール等を用いて構成される。

0129

操作部52は、ユーザの操作の入力を受け付け、受け付けた操作に応じた信号を制御部56へ出力する。操作部52は、キーボード、マウス、タッチパネル、スイッチ、ボタン、ジョグダイヤルおよび回転レバー等を用いて構成される。

0130

出力部53は、制御部56の制御のもと、画像データに対応する画像を出力する。例えば、出力部53は、制御部56の制御のもと、画像データに対応する画像を紙等の媒体に印刷して出力する。出力部53は、例えばプリンタ等を用いて構成される。

0131

表示部54は、制御部56の制御のもと、画像処理装置5に関する各種情報や画像データに対応する画像を表示する。表示部54は、液晶や有機EL等の表示パネルを用いて構成される。

0132

記録部55は、画像処理装置5に関する各種情報を記録する。記録部55は、揮発性メモリ、不揮発性メモリ、HDDおよびSSD等を用いて構成される。記録部55は、画像処理装置5が実行する各種プログラムや処理中に使用するデータを記録するプログラム記録部551を有する。

0133

制御部56は、画像処理装置5を構成する各部の動作を統括的に制御する。制御部56は、メモリと、ハードウエアを有するプロセッサを用いて構成される。具体的には、制御部56は、メモリ、CPUおよびGPU等を用いて構成される。制御部56は、合成部561と、出力制御部562と、通信制御部563と、を有する。

0134

合成部561と、携帯端末3によって生成されたキャプチャー装置2Aによって生成された第1の画像と、第1の画像を紙媒体上において表示するための処理情報を有する第2の画像と、を含む画像ファイルに格納された処理情報に基づいて、第1の画像に第2の画像を合成することによって合成データを生成する。

0135

出力制御部562は、出力部53を制御する。出力制御部562は、出力部53に画像データに対応する画像を紙媒体上に印刷する。

0136

通信制御部563は、通信部51の通信を制御する。通信制御部563は、通信部51に画像ファイルを含む各種情報を送信させる。

0137

〔画像処理システムの処理の概要〕
次に、画像処理システム1Aが実行する処理の概要について説明する。図22は、ユーザがキャプチャー装置2Aで撮影した画像にメモを添えて印刷または送付する際の状況下を示す図である。ここでは、手書きのメモにすることによって、感情や個性が反映された形状や勢いの情報を失わせたくない手書きならではの情報量を想定して、テキスト入力とは異なる情緒的価値を求めてユーザはメモをしている。こうした手書き情報は、直感的、迅速かつ簡便で、書き込みや修正がしやすく、デジタル処理を中心にしたシステムにおいても無視できない利点がある。

0138

図23は、キャプチャー装置2Aから画像処理装置5へ送信した画像の一例を模式的に示す図である。図24は、ユーザが作成したメモを携帯端末3で撮影している状況下を示す図である。図25は、携帯端末3でメモを撮像した画像の一例を模式的に示す図である。図26は、画像処理装置5によって印刷または送信される画像の一例ユーザを模式的に示す図である。

0139

図22および図23に示すように、ユーザU1は、キャプチャー装置2Aで撮影した画像を画像処理装置5へ送信する。この場合、ユーザU1は、画像P11に直筆のメッセージを添えて印刷または送信したい。このため、ユーザU1は、図21に示すノートN101に例えば直筆で「お元気ですか?」と書き込みを行う。この手書き文字は、勢いをもって書くことによって、あるいは丁寧に書くことによって、それぞれ異なったメッセージ性を持つことになり、この筆跡、字体をそのまま撮影することによって、そこに込められたメッセージを保ったまま、伝えることが可能となる。

0140

続いて、図24に示すように、ユーザU1は、携帯端末3を用いてノートN101に書き込んだメッセージである文字情報を撮影する。この場合、図25に示すように、携帯端末3は、メッセージが写る画像データに対応する画像P12を生成する。

0141

その後、携帯端末3は、画像P12を画像処理装置5へ送信する。この場合、画像処理装置5は、図26に示すように、キャプチャー装置2Aから送信された画像P11と、携帯端末3から送信された画像P12と、を関連付けた画像データに対応する画像P13を生成し、この画像P13と処理情報とを含む画像ファイルを印刷またはネットワーク100およびサーバ4を経由してユーザU1によって指定された所定のアドレスの機器に向けて送信する。なお、図22図26では、画像処理装置5を用いて画像P13の生成を行っているが、これに限定されることなく、例えばキャプチャー装置2Aおよび携帯端末3との連携によって画像P13を生成し、この画像P13と処理情報とを含む画像ファイルを画像処理装置5へ送信してもよい。この場合、画像処理装置5は、図27に示す画像P100を印刷することによって出力する。画像P100は、表面側がキャプチャー装置2Aで撮影した第1の画像P1と、裏面側に第2の画像P2であるメッセージが印刷される。即ち、処理情報は、第1の画像データのプリント時に合成される文字情報であり、裏面画像に印刷される情報を含む。また、図28に示すように、画像処理装置5は、図20に示す画像P200を印刷してもよい。画像P200は、同一の紙面上に第1の画像P201と、画像P202であるメッセージとが印刷される。このように、送信者であるユーザU1は、送付先冗長なメッセージを含むオシャレな写真を送付することができる。

0142

〔キャプチャー装置と携帯端末との連携処理の概要〕
図29A図29Gは、キャプチャー装置と端末装置との連携処理時における画面遷移とキャプチャー装置2Aとの関係を模式的に示す図である。

0143

図29Aに示すように、まず、携帯端末3は、ユーザU1によって表示部36が表示する複数のアイコンA1,アイコンA3〜アイコンA5,アイコンA100の中からキャプチャー装置2Aから画像データを取得または要求するアイコンA100が選択された場合、キャプチャー装置2Aに画像データを要求する要求信号を送信する。

0144

続いて、図29Bに示すように、キャプチャー装置2Aは、携帯端末3からの要求信号に基づいて、画像データに対応する画像P11を携帯端末3へ送信する。

0145

その後、図29Cに示すように、携帯端末3は、ユーザU1によって表示部36が表示する複数のアイコンA100〜A102の中からアイコンA102が選択された場合、キャプチャー装置2Aから受信した画像P11を表示部36に表示させるとともに、アイコンA21、アイコンA22およびアイコンA13を表示部36に表示させる(図29D)。

0146

続いて、携帯端末3は、ユーザU1によってアイコンA21が選択された場合、撮像部31にノートN101に書き込まれたテキストを撮影した画像データに対応する画像P12を表示部36に表示させる(図29E)。

0147

その後、携帯端末3は、画像P10と画像P11とを合成した合成データを生成し、合成データに対応する画像を表示部36に表示させ(図29F)、画像P10と画像P11とを合成した合成データを生成し、合成データに対応する画像と、アイコンA201、アイコンA202およびアイコンA13を表示部36に表示させる(図29G)。アイコンA201は、指定したアドレスに向けて合成データを含む画像ファイルを送信する指示信号の入力を受け付ける。アイコンS202は、画像処理装置5に画像ファイルを送信することによって印刷を指示する指示信号の入力を受け付ける。

0148

〔キャプチャー装置の処理〕
次に、キャプチャー装置2Aが実行する処理について説明する。図30は、キャプチャー装置2Aが実行する処理の概要を示すフローチャートである。図30において、キャプチャー装置2Aは、上述した図12のステップS1〜ステップS5に加えて、ステップS6およびステップS7をさらに実行する。このため、以下においては、ステップS6およびステップS7について説明する。

0149

ステップS6において、キャプチャー装置2Aが再生モードに設定されている場合(ステップS6:Yes)、キャプチャー装置2Aは、記録部27に記録された画像データを再生する再生モード処理を実行する(ステップS7)。なお、再生モード処理の詳細は、後述する。ステップS7の後、キャプチャー装置2Aは、ステップS3へ移行する。これに対して、キャプチャー装置2Aが再生モードに設定されていない場合(ステップS6:No)、キャプチャー装置2Aは、ステップS3へ移行する。

0150

〔再生モード処理〕
次に、図30のステップS7で説明した再生モード処理について説明する。図31は、キャプチャー装置2Aが実行する再生モード処理の概要を示すフローチャートである。

0151

図31に示すように、表示制御部292は、画像ファイル記録部271に記録された画像データに対応する画像を表示部28に表示させる再生を行う(ステップS61)。

0152

続いて、操作部25から画像処理装置5へ送信する指示信号が入力された場合(ステップS62:Yes)、通信制御部294は、操作部25の操作に応じて指定された指定画像ファイルを画像処理装置5へ通信部26に送信させる(ステップS63)。

0153

その後、操作部25から終了を指示する指示信号が入力された場合(ステップS64:Yes)、キャプチャー装置2Aは、図30のメインルーチンへ戻る。これに対して、操作部25から終了を指示する指示信号が入力されていない場合(ステップS64:No)、キャプチャー装置2Aは、ステップS61へ戻る。

0154

ステップS62において、操作部25から終了を指示する指示信号が入力されていない場合(ステップS64:No)、キャプチャー装置2Aは、ステップS64へ移行する。

0155

〔画像処理装置の処理〕
次に、画像処理装置5が実行する処理について説明する。図32は、画像処理装置5が実行する処理の概要について説明する。

0156

図32に示すように、まず、携帯端末3から接続があり(ステップS71:Yes)、携帯端末3から画像ファイルを受信した場合(ステップS72:Yes)において、携帯端末3または操作部52から操作信号があったとき(ステップS73:Yes)、制御部56は、携帯端末3または操作部52から入力された操作信号に基づいて、画像ファイルに格納された画像データに対応する画像の編集および画質を調整する(ステップS74)。

0157

続いて、携帯端末3または操作部52から特殊出力サービスによる印刷を指示する指示信号が入力された場合(ステップS75:Yes)、画像処理装置5は、画像データに対応する画像を特殊プリントとして印刷して出力する特殊プリントを行う(ステップS76)。具体的には、画像処理装置5は、上述した図27の画像P100や図28の画像P200を印刷して出力する。

0158

その後、携帯端末3または操作部52から終了を指示する指示信号が入力された場合(ステップS77:Yes)、画像処理装置5は、本処理を終了する。これに対して、携帯端末3または操作部52から終了を指示する指示信号が入力されていない場合(ステップS77:No)、画像処理装置5は、ステップS71へ戻る。

0159

ステップS71において、携帯端末3から接続がない場合(ステップS71:No)および携帯端末3から画像ファイルを受信していない場合(ステップS72:No)、画像処理装置5は、本処理を終了する。

0160

ステップS73において、携帯端末3から操作信号がなかったとき(ステップS73:No)、画像処理装置5は、ステップS75へ移行する。

0161

ステップS75において、携帯端末3から特殊出力サービスによる印刷を指示する指示信号が入力されていない場合(ステップS75:No)、画像処理装置5は、画像データに対応する画像を印刷して出力するプリントを行う(ステップS78)。ステップS78の後、画像処理装置5は、ステップS77へ移行する。

0162

以上説明した実施の形態2によれば、画像処理装置5が第1の画像に処理情報としての文字情報を関連付けた紙媒体に印刷して出力するので、画像の確認時に画像との関連性を把握することができる。人に手渡したり、昔ながらのエビデンス管理がしやすかったりする紙媒体に印刷する等の実施例で説明したが、本願の技術は、もちろん、液晶パネル有機ELパネル電子ペーパーなど電子パネルに表示する時の応用例も想定している。

0163

(その他の実施の形態)
上述した本開示の実施の形態1,2に係る画像処理システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る画像処理システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る画像処理システムで説明した構成要素を適宜組み合わせてもよい。

0164

また、本開示の一実施の形態1,2に係る画像処理システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

0165

また、本開示の一実施の形態1,2に係る情報提供システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD−ROMフレキシブルディスクFD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体に記録されて提供される。

0166

また、本開示の一実施の形態1,2に係る情報提供システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

0167

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。

0168

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

0169

1,1A・・・画像処理システム;2,2A・・・キャプチャー装置;3・・・携帯端末;4・・・サーバ;5・・・画像処理装置;21,311・・・光学系;22,31・・・撮像部;23・・・収音部;24,32・・・時計;25,33,52・・・操作部;26,34,41,51・・・通信部;27,35,43,55・・・記録部;28,36,54・・・表示部;29,37,44,56・・・制御部;42,53・・・出力部;100・・・ネットワーク;271,351・・・画像ファイル記録部;272・・・音声ファイル記録部;273,352・・・補助データ記録部;274,353,431,551・・・プログラム記録部;291,375・・・撮影制御部;292,376・・・表示制御部;293,377・・・記録制御部;294,378,443,563・・・通信制御部;312・・・撮像素子;371・・・検出部;372・・・算出部;373・・・画像処理部;374,441,561・・・合成部;442,562・・・出力制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ