図面 (/)

この項目の情報は公開日時点(2019年6月24日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

ユーザが意図している操作に対応するページ冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる表示装置及びプログラムを提供する。

解決手段

HMD装置4は、冊子2の参照先のページを示すページ情報を取得する取得手段と、取得されたページ情報に対応する冊子2の小口2d上の位置を特定する特定手段と、特定された小口2d上の位置を指し示す指示画像10を、ユーザが装着している本装置4に設けられたディスプレイ越しに見える小口2dに重畳表示するよう制御する表示制御手段と、を備える。

概要

背景

近年、実空間に存在する書籍ページをめくるような操作感をユーザに提供する表示装置が提案されている(例えば、特許文献1参照。)。

特許文献1に記載された表示装置は、小口が正面を向くように起立した状態で電子書籍表示画面に表示するとともに、表示画面に指を接触させる操作に応じて電子書籍のページをめくる制御を行う。

概要

ユーザが意している操作に対応するページを冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる表示装置及びプログラムを提供する。HMD装置4は、冊子2の参照先のページを示すページ情報を取得する取得手段と、取得されたページ情報に対応する冊子2の小口2d上の位置を特定する特定手段と、特定された小口2d上の位置を指し示す指示画像10を、ユーザが装着している本装置4に設けられたディスプレイ越しに見える小口2dに重畳表示するよう制御する表示制御手段と、を備える。

目的

近年、実空間に存在する書籍のページをめくるような操作感をユーザに提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

冊子参照先ページを示すページ情報を取得する取得手段と、取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、を備えた表示装置

請求項2

冊子の参照先のページを示すページ情報を取得する取得手段と、前記冊子が開かれたページを示すページ情報を認識する認識手段と、認識された前記ページ情報が取得された前記ページ情報と異なる場合に、前記参照先のページを指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記冊子に重畳表示するよう制御する表示制御手段と、を備えた表示装置。

請求項3

他の装置で行われている処理が中断した場合に、その原因に応じたエラー情報を受信する受信手段、をさらに備え、前記取得手段は、前記エラー情報に基づいて、中断した原因又は対処方法を記載したページを示す前記ページ情報を取得する、請求項1又は2に記載の表示装置。

請求項4

前記受信手段が前記他の装置で行われる処理が再開されたことを示す情報を受信した場合は、前記表示制御手段は、前記画像を非表示にするよう制御する、請求項3に記載の表示装置。

請求項5

前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、請求項1又は3に記載の表示装置。

請求項6

前記表示制御手段は、前記参照先の箇所に対応する操作の次に行うべき操作に関して参照先のページを指し示す画像を前記小口上に重畳表示するよう制御する、請求項5に記載の表示装置。

請求項7

前記冊子が開かれたページが前記次に行うべき操作に関して参照先のページと異なる場合は、前記次に行うべき操作に対応するページを指し示す画像を強調して重畳表示する、請求項6に記載の表示装置。

請求項8

認識された前記ページ情報が、取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記参照先のページを指し示す画像を非表示にするよう制御する、請求項5に記載の表示装置。

請求項9

前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、認識された前記ページ情報が取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記開かれたページの参照先の箇所を指し示す画像を重畳表示するよう制御する、請求項1又は3に記載の表示装置。

請求項10

他の装置の表示画面に表示されている情報を受信する受信手段と、受信された前記情報に対応する冊子の参照先のページを示すページ情報を取得する取得手段と、取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、を備えた表示装置。

請求項11

前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、請求項10に記載の表示装置。

請求項12

前記取得手段は、前記参照先の複数のページを示す複数のページ情報、及び前記複数のページの参照先の順位を示す順位情報を取得し、前記特定手段は、前記複数のページ情報に対応する前記冊子の小口上の複数の位置を特定し、前記表示制御手段は、特定された前記小口上の複数の位置及び前記順位を指し示す画像を、前記小口に重畳表示するよう制御する、請求項1、2又は10に記載の表示装置。

請求項13

コンピュータを、冊子の参照先のページを示すページ情報を取得する取得手段と、取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段、として機能させるためのプログラム

技術分野

0001

本発明は、表示装置及びプログラムに関する。

背景技術

0002

近年、実空間に存在する書籍ページをめくるような操作感をユーザに提供する表示装置が提案されている(例えば、特許文献1参照。)。

0003

特許文献1に記載された表示装置は、小口が正面を向くように起立した状態で電子書籍表示画面に表示するとともに、表示画面に指を接触させる操作に応じて電子書籍のページをめくる制御を行う。

先行技術

0004

特開2015−111392号公報

発明が解決しようとする課題

0005

機器に対する操作を補助する紙媒体マニュアルを参照する場合に、マニュアルにおいてユーザが意図している操作を説明しているページを検索するには、マニュアルの目次ページから操作を説明していると思われる項目を探し出す必要があり、ページを検索するには時間がかかっている。

0006

本発明の課題は、ユーザが意図している操作に対応するページを冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる表示装置及びプログラムを提供することにある。

課題を解決するための手段

0007

[1]冊子の参照先のページを示すページ情報を取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、を備えた表示装置。
[2]冊子の参照先のページを示すページ情報を取得する取得手段と、
前記冊子が開かれたページを示すページ情報を認識する認識手段と、
認識された前記ページ情報が取得された前記ページ情報と異なる場合に、前記参照先のページを指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記冊子に重畳表示するよう制御する表示制御手段と、を備えた表示装置。
[3]他の装置で行われている処理が中断した場合に、その原因に応じたエラー情報を受信する受信手段、をさらに備え、
前記取得手段は、前記エラー情報に基づいて、中断した原因又は対処方法を記載したページを示す前記ページ情報を取得する、前記[1]又は[2]に記載の表示装置。
[4]前記受信手段が前記他の装置で行われる処理が再開されたことを示す情報を受信した場合は、前記表示制御手段は、前記画像を非表示にするよう制御する、前記[3]に記載の表示装置。
[5]前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、
前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、
前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、前記[1]又は[3]に記載の表示装置。
[6]前記表示制御手段は、前記参照先の箇所に対応する操作の次に行うべき操作に関して参照先のページを指し示す画像を前記小口上に重畳表示するよう制御する、前記[5]に記載の表示装置。
[7]前記冊子が開かれたページが前記次に行うべき操作に関して参照先のページと異なる場合は、前記次に行うべき操作に対応するページを指し示す画像を強調して重畳表示する、前記[6]に記載の表示装置。
[8]認識された前記ページ情報が、取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記参照先のページを指し示す画像を非表示にするよう制御する、前記[5]に記載の表示装置。
[9]前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、認識された前記ページ情報が取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記開かれたページの参照先の箇所を指し示す画像を重畳表示するよう制御する、前記[1]又は[3]に記載の表示装置。
[10]他の装置の表示画面に表示されている情報を受信する受信手段と、
受信された前記情報に対応する冊子の参照先のページを示すページ情報を取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、を備えた表示装置。
[11]前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、
前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、
前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、前記[10]に記載の表示装置。
[12]前記取得手段は、前記参照先の複数のページを示す複数のページ情報、及び前記複数のページの参照先の順位を示す順位情報を取得し、
前記特定手段は、前記複数のページ情報に対応する前記冊子の小口上の複数の位置を特定し、
前記表示制御手段は、特定された前記小口上の複数の位置及び前記順位を指し示す画像を、前記小口に重畳表示するよう制御する、前記[1]、[2]又は[10]に記載の表示装置。
[13]コンピュータを、冊子の参照先のページを示すページ情報を取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段、として機能させるためのプログラム。

発明の効果

0008

請求項1、13に係る発明によれば、ユーザが意図している操作に対応するページを冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる。
請求項2に係る発明によれば、ユーザが開いたページが間違っていた場合は、正しいページの位置を示すことができる。
請求項3に係る発明によれば、処理が中断した場合、中断した原因又は対処方法に対応するページの位置を冊子又は小口に重畳表示することができる。
請求項4、8に係る発明によれば、表示したままとすることで紛らわしくなるのを抑制することができる。
請求項5に係る発明によれば、ユーザが参照先のページを開くと、当該ページの参照先の箇所を認識することができる。
請求項6に係る発明によれば、ユーザが次の操作に関して参照先のページの小口上の位置を認識することができる。
請求項7に係る発明によれば、開いたページが間違っていること、及び正しいページの位置が、強調表示していない場合と比較して分かりやすくなる。
請求項9に係る発明によれば、ページを開いた場合は、小口を指し示す場合よりも参照先のページであることが分かりやすい。
請求項10に係る発明によれば、他の装置の表示に関してユーザが意図している操作に対応するページを冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる。
請求項11に係る発明によれば、ユーザが参照先の箇所を認識することができる。
請求項12に係る発明によれば、参照先のページが複数存在する場合、示された順位に従って冊子を参照することができる。

図面の簡単な説明

0009

図1は、本発明の実施の形態に係る表示システムの構成の一例を示す斜視図である。
図2は、画像形成装置制御系の一例を示すブロック図である。
図3は、ヘッドマウントディスプレイ装置の制御系の一例を示す図である。
図4(a)〜(d)は、小口の位置及び姿勢を認識する方法を説明するための冊子の斜視図である。
図5(a)〜(c)は、参照先のページに対応する小口上の位置を指し示す指示画像の一例を示す図である。
図6(a)、(b)は、参照先のページに対応する小口上の位置を指し示す指示画像の他の例を示す図である。
図7(a)〜(e)は、開いたページが間違っていた場合の指示画像の一例を示す図である。
図8は、HMD装置の動作の一例を示すフローチャートである。
図9は、図8における画像認識処理の一例を示すフローチャートである。

実施例

0010

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

0011

[実施の形態の要約]
本発明の実施の形態に係る表示装置は、冊子の参照先のページを示すページ情報を取得する取得手段と、取得されたページ情報に対応する冊子の小口上の位置を特定する特定手段と、特定された小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える小口に重畳表示するよう制御する表示制御手段と、を備える。

0012

「冊子」とは、ユーザが参照するものであって、書いたものや印刷したものをとじたものである。ユーザは、例えば、他の装置の利用者、管理者、サービス員等である。他の装置とは、画像形成装置、画像処理装置情報処理装置等の自装置以外の装置をいう。

0013

「参照先のページ」とは、例えば、ユーザが意図している操作に対応して参照することを推奨するページをいう。操作には、設定、入力、選択、編集消耗品交換等の様々な操作が含まれる。参照先のページには、例えば、他の装置が処理を中断した場合に、それを回復するための操作に対応するページ、設定操作の途中にユーザが冊子を取り出した場合、設定操作の続きの操作に対応するページ、消耗品交換の時期を知らせる表示がされた場合に、消耗品の交換操作に対応するページ等が該当する。

0014

[実施の形態]
図1は、本発明の実施の形態に係る表示システムの構成の一例を示す斜視図である。

0015

この表示システム1は、冊子2が備えられた画像形成装置3と、ユーザの頭部に装着されるヘッドマウントディスプレイ装置(以下「HMD装置」という。)4とを備える。画像形成装置3は、他の装置の一例である。HMD装置4は、表示装置の一例である。

0016

画像形成装置3とHMD装置4とは、無線によって互いに接続可能になっている。なお、画像形成装置3とHMD装置4とを有線によって接続してもよい。

0017

冊子2は、ユーザが参照する画像形成装置3に関するマニュアルである。マニュアルは、例えば、見開き形式になっている。ユーザは、例えば、画像形成装置3の利用者、管理者、サービス員等である。マニュアルには、主に利用者又は管理者が参照する操作マニュアル取扱説明書ともいう。)、主サービス員が参照するサービスマニュアル等がある。操作マニュアルには、目次、画像形成装置3の操作方法、用語の説明、エラーコードエラーの原因、エラーの対処方法等が記載されている。サービスマニュアルには、目次、部品交換方法、チェック方法分解方法交換部品リスト等が記載されている。また、マニュアルには、文字だけでなく、イラスト等が記載されている。

0018

画像形成装置3は、例えば、コピー機能スキャン機能プリント機能等の複数の機能を有する複合機である。画像形成装置3は、装置本体3aと、装置本体3aの側面に設けられ、冊子2が抜き差し可能に収容される収容部3bと、印刷された用紙が排出される用紙排出台3cと、ユーザの操作を受け付けるとともに、情報を表示する操作表示部32と、原稿から画像を読み取る画像読取部33とを備える。なお、冊子2は、画像形成装置3の収容部3bに収容されていなくてもよく、例えば、キャビネット等に収容されていてもよい。

0019

画像読取部33は、原稿を原稿台に給紙する自動給紙装置330を有する。自動給紙装置330は、原稿が配置される原稿トレー331と、原稿が排出される原稿排出台332とを備える。

0020

HMD装置4は、現実空間仮想空間の画像(仮想画像虚像ともいう。)が重畳するように表示するもの、すなわち仮想画像を仮想的に表示するものである。具体的には、HMD装置4は、使用者の頭部に装着されるものであり、使用者が仮想画像を視認すると同時に現実空間(外景ともいう。)も直接視認可能な光透過方式の頭部装着型表示装置である。光透過方式の頭部装着型表示装置は、例えば、メガネ型でもゴーグル型でもよい。

0021

(画像形成装置の構成)
図2は、画像形成装置3の制御系の一例を示すブロック図である。画像形成装置3は、画像形成装置3の各部を制御する制御部30と、各種の情報を記憶する記憶部31と、操作表示部32と、画像読取部33と、画像処理部34と、画像形成部35と、エラー検出部36と、無線通信部37とを備える。

0022

制御部30は、CPU、インターフェース等によって実現され、プログラム310に従って動作して画像形成装置3の各部を制御する。

0023

記憶部31は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク等から構成され、プログラム310、装置基本情報311、装置状態情報312、履歴情報313、電子マニュアル314、電子マニュアル参照情報315等が記憶されている。

0024

装置基本情報311は、本装置3の機種、現在の日時等を含む。装置状態情報312は、稼働状況、各種スイッチの状態、オプションの情報、操作表示部32の表示内容、エラーが発生している場合はエラーコード等を含む。履歴情報313は、操作履歴故障履歴部品交換履歴使用頻度コピー累積枚数、本装置3を使用したユーザの情報(ユーザID)等を含む。

0025

電子マニュアル314は、冊子2に対応する電子文書であり、例えば、複数の機種に共通になっている。なお、電子マニュアル314は、機種ごとに異なるものでもよい。

0026

電子マニュアル参照情報315には、電子マニュアル314の参照されたページ、項目番号タイトルキーワード及びそれらの回数がユーザIDごとに記録されている。

0027

操作表示部32は、例えば、液晶ディスプレイ等の表示部にタッチパネル重合配置されたタッチパネルディスプレイを有する。

0028

画像読取部33は、例えば、上記自動給紙装置330と、スキャナとにより構成され、自動給紙装置330から給紙され原稿、又は原稿台に配置された原稿から画像データを読み取る。画像処理部34は、画像の圧縮伸長、合成等の画像処理を行う。画像形成部35は、例えば、電子写真方式インクジェット方式等により用紙等の記録媒体に画像を形成して用紙排出台3cに出力する。

0029

エラー検出部36は、画像形成装置3が処理の実行中に発生したエラーを検出する。制御部30は、エラー検出部36が検出したエラーの原因に対応したエラーコードをHMD装置4に送信する。また、制御部30は、画像形成装置3で中断した処理が再開された場合は、そのことを示す情報をHMD装置4に送信する。エラーコードは、エラー情報の一例である。

0030

無線通信部37は、例えば、Wi−Fi(Wireless Fidelity)、Wi−Fiダイレクト等の無線LAN(Local Area Network)や、Bluetooth(登録商標)、赤外線通信等の近距離無線通信を用いてHMD装置4と通信する。

0031

(HMD装置の構成)
図3は、HMD装置4の制御系の一例を示す図である。HMD装置4は、頭部装着部4aと、頭部装着部4aにケーブル4bにより接続されたコントローラ4cとを備える。なお、コントローラ4cは、頭部装着部4aを構成するフレームに設けられてもよい。

0032

頭部装着部4aは、ユーザの頭部に装着されるメガネ型のフレームと、フレームに取り付けられ、可視光を透過する左右のレンズと、フレームに設けられた表示部40と、フレームの中央に設けられ、前方の外景を撮影するカメラ41とを備える。レンズは、ディスプレイの一例である。

0033

HMD装置4は、頭部装着部4aに設けられた表示部40及びカメラ41と、コントローラ4cに設けられた制御部42、記憶部43、入力装置44及び無線通信部45とを備える。

0034

表示部40は、画像光出射する出射源としての液晶ディスプレイを有し、画像光を仮想画像(虚像)として外景に投影するタイプでも、画像光をユーザの網膜に直接結像して投影するタイプでもよい。

0035

カメラ41は、外景を撮影し、撮影した画像をケーブル4bを介してコントローラ4cの制御部42に送る。カメラ41が撮影する画像は、動画又は1秒間に複数枚撮影する静止画でもよい。

0036

制御部42は、CPU(Central Processing Unit)、インターフェース等から構成されている。CPUは、記憶部43に記憶されたプログラム430に従って動作することにより受信手段421、決定手段422、認識手段423、特定手段424、表示制御手段425等として機能する。各手段421〜425の詳細は後述する。決定手段422は、取得手段の一例である。

0037

記憶部43は、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成され、プログラム430、電子マニュアル314、開始位置情報431、ユーザ情報(例えば、ユーザID)等が記憶される。

0038

電子マニュアル314は、画像形成装置3から取得したものである。開始位置情報431は、後述する決定手段433が決定した参照先のページを示すページ番号、参照先の箇所、参照先のページの順位等を含む。

0039

入力装置44は、例えば、キーボード、タッチパネルディスプレイ等の入力手段を用いることができる。入力装置44は、制御部42に有線又は無線により接続される。なお、入力装置44として画像形成装置3に備えられた操作表示部32を利用してもよい。また、音声入力によりキーワードや各種の要求等を入力してもよい。

0040

無線通信部45は、例えば、Wi−Fi、Wi−Fiダイレクト等の無線LANや、Bluetooth、赤外線通信等の近距離無線通信を用いて画像形成装置3と通信する。

0041

受信手段421は、入力装置44を操作して入力されたキーワードや各種の要求等を受け付ける。また、受信手段421は、画像形成装置3との間で通信が確立したとき、画像形成装置3から装置情報(装置基本情報311、装置状態情報312、履歴情報313)、電子マニュアル314、電子マニュアル参照情報315等を受信する。

0042

また、受信手段421は、画像形成装置3で行われている処理がエラーにより中断した場合に、その原因に応じたエラーコードを受信する。そして受信手段421は、画像形成装置3で行われる処理が再開された場合には、そのことを示す情報を受信する。

0043

決定手段422は、ユーザID、装置情報(装置基本情報311、装置状態情報312、履歴情報313)、電子マニュアル参照情報315及び入力されたキーワード等に基づいて、冊子2の参照先のページを示すページ番号、及び当該ページの参照先の箇所を決定する。参照先のページは、参照を開始すべきページのことである。参照先の箇所は、参照を開始すべき箇所のことである。以下、参照を開始すべきページ、及び参照先の箇所を「参照開始位置」ともいう。決定手段422は、複数の参照先のページを決定した場合は、参照先のページの順位を決定する。ページ番号は、ページ情報の一例である。順位を示す順位情報は、番号等でもよい。決定手段422は、決定した参照先のページを示すページ番号、参照先の箇所及び順位情報を参照開始位置情報314として記憶部43に記憶する。

0044

決定手段422は、参照先のページを決定する場合、例えば、キーワードを含むページを参照先のページとして決定してもよい。また、決定手段422は、受信手段421が画像形成装置3から受信した装置状態情報312にエラーコードが含まれている場合や受信手段421がエラーコードを受信した場合は、エラーコードに基づいて、エラーの原因又は対処方法を記載したページを参照先のページ、又は参照先の箇所として決定してもよい。決定したページ番号及び参照先の箇所は電子マニュアル314から取得することができる。

0045

順位を決定する方法としては、例えば、次の方法が考えられる。
(a)装置基本情報311に含まれる画像形成装置3の機種に基づいて、同機種で参照される回数が多い順を順位としてもよい。この順位は、電子マニュアル参照情報315から取得することができる。
(b)履歴情報313に含まれる操作履歴から直前の操作を抜き出し、その操作の次に行われた操作の回数が多い順を順位としてもよい。例えば、ユーザが行った直前の操作の次の操作についてマニュアルを参照したい場合が考えられる。この順位は、履歴情報313に含まれる操作履歴から取得することができる。
(c)当該ユーザが過去に参照した回数が多い順を順位としてもよい。この順位は、電子マニュアル参照情報315から取得することができる。

0046

認識手段423は、カメラ41により撮影された画像から冊子2の位置及び姿勢を認識し、さらに小口を認識する。認識手段423は、冊子2が開かれたページを示すページ番号を認識する。これらの詳細については後述する。

0047

特定手段424は、決定手段422により決定されたページ番号に対応する冊子2の小口上の位置を特定する。特定手段424は、決定手段422により決定されたページ番号が複数の場合は、複数の位置を特定する。

0048

特定手段424は、参照先のページに対応する小口上の位置を特定する方法として、例えば、認識手段423により認識された小口の位置に基づいて、画像における小口の厚さを認識し、電子マニュアル314から総ページ数を取得し、小口の厚さ及び総ページ数から参照先のページに対応する画像中の小口上の位置を特定する。

0049

表示制御手段425は、特定手段424により特定された小口上の位置を指し示す指示画像を、ユーザが装着している本装置4に設けられたディスプレイ越しに見える小口に重畳表示、すなわち仮想的に表示するよう制御する。そして、開かれたページが正しい場合、すなわち参照先のページである場合は、表示制御手段425は、参照先の箇所を指し示す指示画像を当該ページ上に重畳表示するよう制御する。このとき、小口に重畳表示していた指示画像を非表示にするよう制御する。参照先の箇所は、ページの冒頭箇所にあるとは限らないことから、参照先のページを開いた後に、当該ページの参照先の箇所を指示画像により示すことは、検索時間を短縮する上で好ましい。なお、参照先の箇所がページの冒頭箇所になっている場合には、表示制御手段425は、開かれたページの冒頭箇所を指し示す指示画像を当該ページ上に重畳表示するよう制御してもよい。

0050

また、表示制御手段425は、受信手段421が画像形成装置3からエラーコードを受信した場合、エラーコードに対応する冊子2の参照先のページを指し示す指示画像を冊子2の小口に重畳表示するよう制御する。また、表示制御手段425は、受信手段421が画像形成装置3で中断していた処理が再開されたことを示す情報を受信した場合は、指示画像を非表示にするよう制御する。

0051

また、表示制御手段425は、ユーザにより開かれたページが参照先のページと異なる場合は、特定手段424により特定された小口上の位置又はその位置に方向を指し示す指示画像を、ユーザが装着している本装置4に設けられたディスプレイ越しに見える小口に重畳表示するよう制御する。

0052

また、表示制御手段425は、参照先のページ又は参照先の箇所に対応する操作の次に行うべき操作に関して参照先のページを指し示す指示画像を、ユーザが装着している本装置4に設けられたディスプレイ越しに見える小口に重畳表示するよう制御する。参照先のページ又は参照先の箇所の次に行うべき操作に関して参照先のページは、例えば、電子マニュアル314にタイトルとともに記載されている項目番号から取得することができる。例えば、項目番号が「3.1.1」、そのタイトルが「設定内容の変更」であり、次の項目番号が「3.1.2」、そのタイトルが「設定内容の確定」の場合、現在行われている操作が「設定内容の変更」であれば、次に行うべき操作は、項目番号から「設定内容の確定」であることが分かる。

0053

そして、表示制御手段425は、冊子2が開かれたページが次に行うべき操作に関して参照先のページと異なる場合は、次に行うべき操作に対応するページを指し示す指示画像を、冊子に強調して重畳表示するよう制御する。強調して重畳表示する方法としては、例えば、目立つ色や大きい文字を用いてもよい。

0054

(冊子を認識する方法)
認識手段423は、カメラ41により撮影された画像(撮影画像ともいう。)における冊子2の位置及び姿勢を認識する方法として、次の方法を採用してもよい。例えば、冊子2の表紙、裏表紙及び背に関する基準画像の特徴量を予め記憶部43に記憶しておき、カメラ41により得られた撮影画像から冊子2の特徴量を抽出し、抽出した特徴量と記憶部43に記憶された基準画像の特徴量との間の類似度が予め定められた値を満たす場合に、撮影画像に含まれる対象物を冊子2であると認識し、撮影画像における冊子2の位置及び姿勢を認識する。

0055

冊子2の位置及び姿勢を認識する他の方法として、例えば、冊子2の予め定められた位置(例えば、表紙、裏表紙、背、小口等)に当該位置を示す認識コードを印刷等により形成しておき、画像から認識コードを認識することにより、撮影画像における冊子2の位置及び姿勢を認識してもよい。認識コードとしては、例えば、QRコード(登録商標)等が考えられる。なお、認識コードは、事前特徴点抽出を行っている任意の画像でもよい。また、認識コードは冊子2の表紙、裏表紙、背及び小口のそれぞれ又はいずれかに設けてもよい。冊子2の各面又は主要な面に認識コードを設けることにより、認識コードを設けない場合よりも冊子2の位置及び姿勢をより正確に認識することができる。

0056

(小口を認識する方法)
図4(a)〜(d)は、小口の位置及び姿勢を認識する方法を説明するための冊子2の斜視図である。図4(a)は、冊子2の一例を示す斜視図である。冊子2は、表紙2a、裏表紙2b、背2c及び小口2dを有する。図4(a)に示すように、小口2dには、3つの第1乃至第3の認識コード20A、20B、20C(これらを総称するときは「認識コード20」という。)が印刷等により形成されている。3つの認識コード20A〜20Cは、同一のパターンを有している。すなわち、認識コード20は、例えば、左上、右上、左下の3つの隅に位置検出パターン21を有している。なお、認識コード20は、位置検出パターン21の他に、冊子2を識別する冊子ID、認識コードが設けられた位置を示す位置情報等のパターンを有していてもよい。

0057

これらの位置検出パターン21の位置を認識することにより、冊子2の向きを認識することができ、表紙2aが設けられている方向、すなわち1ページ目の側を認識することができる。小口2dに複数の認識コード20を形成することにより、冊子2の一部が欠けて冊子2全体を撮影できない場合でも、小口2dの位置及び向きを認識することができる。例えば、3つの認識コード20のうち、図4(b)に示すように、第1の認識コード20Aのみが撮影された場合、図4(c)に示すように、第2の認識コード20Bのみが撮影されている場合、図4(d)に示すように、第3の認識コード20Cのみが撮影されている場合でも、3の位置検出パターン21の配列から小口2dを認識することができ、表紙2aが設けられている方向を認識することができる。図4(d)場合は、冊子2が上下逆になっているために図4(a)に示すものに対して3つの位置検出パターン21が上下逆の配置になっており、小口2dの右側が表紙2aになっていることが分かる。

0058

(ページを認識する方法)
認識手段423は、例えば冊子2の各ページにページ番号を暗号化したコード画像を印刷等により形成し、撮影画像からコード画像を読み取ることでページ番号を認識してもよい。認識手段423は、コード画像から暗号化された情報を読み取り、読み取った情報を復号することで、ページ番号を認識する。なお、コード画像の代わりに記載内容を認識し、ページごとに文書情報から構成された電子文書と比較することでページ番号を認識してもよい。また、各ページの下部又は上部に印刷されたページ番号を認識してもよい。

0059

(小口上への表示例)
参照先のページに対応する小口上の位置を指し示す指示画像10a〜10e(これらを総括するときは「指示画像10」ともいう。)としては、図5(a)〜(c)及び後述する図6(a)、(b)に示すものを採用してもよい。

0060

図5(a)〜(c)は、参照先のページに対応する小口上の位置を指し示す指示画像の一例を示す図である。図5(a)に示す指示画像10aは、位置を示す矢印と、順位を示す数字とを組合せたものである。図5(b)に示す指示画像10bは、位置を示す矢印の太さで順位を示したものである。この場合、最も太い矢印が第1の順位である。図5(c)に示す指示画像10cは、位置を示す矢印の高さ方向の位置で順位を示したものである。この場合、最も高い位置の矢印が第1の順位である。

0061

図6(a)、(b)は、参照先のページに対応する小口上の位置を指し示す指示画像の他の例を示す図である。図6(a)に示す指示画像10dは、ゲージ目盛11で位置を示し、数字で順位を示したものである。図6(b)に示す指示画像10eは、ゲージの目盛11で位置を示し、目盛11の大きさで順位を示したものである。

0062

(開いたページが間違っている場合の表示例)
開いたページが間違っていた場合の正しいページの方向を指し示す指示画像12a〜12e(これらを総括するときは「指示画像12」ともいう。)としては、図7(a)〜(e)に示すものを採用してもよい。

0063

図7(a)〜(e)は、開いたページが間違っていた場合の指示画像の一例を示す図である。図7(a)に示す指示画像12aは、参照先のページの方向を矢印で示し、開く枚数を数字で示したものである。図7(b)に示す指示画像12bは、開く動作を矢印で示し、開く枚数を数字で示したものである。図7(c)に示す指示画像12cは、参照先のページが大きくずれていた場合に、参照先の位置を再度矢印で示し、開く枚数を数字で示したものである。図7(d)、(e)に示す指示画像12dは、図7(a)に示した矢印と数字をページ内に表示したものである。なお、正しい位置を小口2dに表示してもよい。また、矢印の代わりに他の図形でもよい。さらに、順位は矢印の大きさの他に他の図形の大きさでもよい。

0064

(実施の形態の動作)
次に、表示システム1の動作の一例について説明する。図8は、HMD装置4の動作の一例を示すフローチャートである。図9は、図8における画像認識処理の一例を示すフローチャートである。なお、画像認識処理の流れは、図9に示すものに限られない。

0065

ユーザがHMD装置4の入力装置44を操作して、キーワードを入力するとともに、電子マニュアル314のキーワードに関連するページの表示要求を行うと、HMD装置4の受信手段421は、キーワード、及び電子マニュアル314のページの表示要求を受け付ける(S1)。なお、キーワードを入力せずに電子マニュアル314のページの表示要求を行ってもよい。

0066

次に、決定手段422は、自装置4を使用するユーザのユーザIDを記憶部43から取得し、画像形成装置3との間で通信を行い、画像形成装置3から装置情報として、装置基本情報311、装置状態情報312及び履歴情報313を受信し、電子マニュアル314及び電子マニュアル参照情報315を受信する(S2)。

0067

決定手段422は、受信した情報に基づいて、冊子2の参照開始位置(参照先のページのページ番号、及び参照先のページ中の参照先の箇所)及び参照先のページの順位を決定する(S3)。例えば、3つの参照先のページを決定した場合は、3つのページに対して参照先の順位を決定する。

0068

認識手段423は、カメラ41が撮影した画像に含まれる表示対象を認識する画像認識処理を開始する(S4)。

0069

次に、図9を参照して画像認識処理について説明する。認識手段423は、カメラ41から制御部42に送信された画像中に冊子2を認識したか否かを判断する(S401)。冊子2を認識した場合(S401:Yes)、画像中に小口2dを認識したか否かを判断する(S402)。

0070

小口を認識した場合(S402:Yes)、特定手段424は、複数(例えば3つ)の参照開始位置を特定する。表示制御手段425は、小口2dに参照開始位置及び順位を指し示す指示画像(図5及び図6参照)を仮想的に表示するよう表示部40を制御する(S403)。ユーザは指示画像を目印としてページを開けば、ユーザが意図している操作に対応するページを冊子から検索することができ、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる。

0071

認識手段423は、カメラ41が撮影した画像に基づいて、ユーザが開いたページが正しいか否かを判断する(S404)。開いたページが参照開始位置に対応していれば、正しいページと判断する。

0072

ユーザが開いたページが正しくなければ(S404:No)、表示制御手段425は、図7に示すように、正しいページの方向を示す指示画像12を仮想的に表示するよう表示部40を制御する(S405)。

0073

開いたページが正しい場合は(S404:Yes)、当該ページ中の参照開始位置を指し示す指示画像(図示せず)を仮想的に表示するよう表示部40を制御する(S406)。

0074

認識手段423は、カメラ41から制御部42に送信された画像中にページを認識できなくなったか否かを判断する(S407)。このような場合として、ユーザがマニュアルを閉じて作業や操作を行っている場合が考えられる。

0075

ページを認識できなくなると(S407:No)、表示制御手段425は、いままで開いていたページを記憶しておく。表示制御手段425は、当該ページに含まれる情報として例えばイラスト(図示せず)をユーザの操作に必要な最小情報として仮想的に表示するよう表示部40を制御する(S408)。最小情報とは、元のページから抜き出した情報をいう。表示する情報を最小情報とすることで、ページの内容をそのまま表示するよりも認識しやすくなる。なお、最小情報は、タイトル、要点等の他の情報でもよい。

0076

認識手段423は、カメラ41から制御部42に送信された画像中に冊子2を認識したか否かを判断する(S409)。冊子2を認識した場合は(S409:Yes)、画像中に小口2dを認識したか否かを判断する(S410)。

0077

小口を認識した場合(S410:Yes)、表示制御手段425は、小口2dに前回開いていたページに対応する参照開始位置を差し示す指示画像を仮想的に表示するよう表示部40を制御する(S411)。

0078

認識手段423は、カメラ41が撮影した画像に基づいて開いたページが前回開いていたページか否かを判断する(S412)。

0079

開いたページが前回のページでない場合は(S412:No)、表示制御手段425は、図7に示すように、正しいページの方向を示す指示画像12を仮想的に表示するよう表示部40を制御する(S413)。

0080

開いたページが前回のページの場合は(S412:Yes)、当該ページ中の参照先の箇所を指し示す指示画像を仮想的に表示するよう表示部40を制御する(S414)。

0081

<変形例1>
画像形成装置3の操作表示部32の表示画面に表示されている情報に関連する冊子2のページの位置を指し示す指示画像を、表示制御手段425により冊子2の小口2dに重畳表示するよう制御してもよい。具体的には、受信手段421は、画像形成装置3の操作表示部32の表示画面に表示されている情報を受信する。決定手段422は、受信手段421が受信した情報に対応する冊子2の参照先のページを示すページ番号を取得する。特定手段424は、決定手段422により取得されたページ番号に対応する小口上の位置を特定する。表示制御手段425は、特定された小口上の位置を指し示す指示画像を、ユーザが装着している本装置4に設けられたディスプレイ越しに見える小口2dに重畳表示するよう制御する。

0082

<変形例2>
参照先のページを、ユーザの過去の参照履歴を考慮して絞ってもよい。同じページの参照履歴が予め定められた回数を閲覧している場合は、そのページを省くことが可能であるので、そのページを除いて参照開始位置を特定することができる。

0083

<変形例3>
電子マニュアルの参照先のページに情報を記入できるようにしてもよい。例えば、HMD装置4に、カメラが撮影した画像に基づいて、ユーザのジェスチャーを検出する機能を持たせ、ユーザが開いたページ中の重要箇所にジェスチャーによってマークを付するようにしてもよい。次回、同じページを開いたときに、当該マークが当該ページに重畳表示することができる。なお、情報の記入は入力装置44を用いてもよい。

0084

<変形例4>
冊子2は白紙の冊子としておき、冊子2を開いたときに、開いたページに電子マニュアルの対応するページの内容を重畳表示してもよい。これにより例えばマニュアルの改訂が電子マニュアルのみで済む。

0085

<変形例5>
上記実施の形態では、参照先のページ、順位等をHMD装置4の決定手段422が決定していたが、画像形成装置3又は外部装置が参照先のページ、順位等を決定し、HMD装置4がその決定されたページ、順位等を取得してもよい。これによりHMD装置4の決定に関する処理の負担が軽減できる。

0086

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。

0087

制御部30、42の各手段は、それぞれ一部又は全部を再構成可能回路FPGA:Field Programmable Gate Array)、特定用途向け集積回路ASIC:Application Specific IntegratedCircuit)等のハードウエア回路によって構成してもよい。

0088

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをCD−ROM等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。

0089

1…表示システム、2…冊子、2a…表紙、2b…裏表紙、2c…背、2d…小口、3…画像形成装置、3a…装置本体、3b…収容部、3c…用紙排出台、4…HMD装置、4a…頭部装着部、4b…ケーブル、4c…コントローラ、10、10a〜10e…指示画像、11…目盛、12、12a〜12e…指示画像、20、20A、20B、20C…認識コード、21…位置検出パターン、30…制御部、31…記憶部、32…操作表示部、33…画像読取部、34…画像処理部、35…画像形成部、36…エラー検出部、37…無線通信部、40…表示部、41…カメラ、42…制御部、43…記憶部、44…入力装置、45…無線通信部、310…プログラム、311…装置基本情報、312…装置状態情報、313…履歴情報、314…電子マニュアル、315…電子マニュアル参照情報、330…自動給紙装置、331…原稿トレー、332…原稿排出台、421…受信手段、422…決定手段、423…認識手段、424…特定手段、425…表示制御手段、430…プログラム、432…開始位置情報

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社ニューロスペースの「 記憶力増強装置、記憶力増強方法、及びプログラム」が 公開されました。( 2020/08/31)

    【課題】自伝的記憶回想を介しての記憶力増強装置を提供する。【解決手段】記憶力増強装置は、ログイン画面を提供するログイン画面提供部と、複数の第1アイコン及び複数の第2アイコンを格納するアイコン格納部と、... 詳細

  • 猪俣成司の「 合成動画像生成装置」が 公開されました。( 2020/08/31)

    【課題】合成先の動画像に関する情報に基づいて、ユーザである被写体の動画像データが合成された合成動画像データを提供し、被写体に高い娯楽性を与える合成動画像生成装置を提供する。【解決手段】被写体Aを撮影す... 詳細

  • ヤフー株式会社の「 重要点検出装置、重要点検出方法、及び重要点検出プログラム」が 公開されました。( 2020/08/31)

    【課題】ユーザが求める画像内の重要点を適切に検出できる重要点検出装置、重要点検出方法、及び重要点検出プログラムを提供する。【解決手段】重要点検出装置としてのサーバ装置10は、画像に対して一部を拡大表示... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ