図面 (/)

技術 情報処理装置及びその制御方法

出願人 キヤノン株式会社
発明者 田中友範奥谷泰夫
出願日 2012年10月11日 (6年9ヶ月経過) 出願番号 2012-226329
公開日 2014年5月1日 (5年2ヶ月経過) 公開番号 2014-078176
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス 音声入出力
主要キーワード 方向傾き 画面移動量 音声認識操作 画面距離 入力リスト 所定加速度 音声出力指示 指示具
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年5月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

テキストについて音声出力中に、操作によって音声出力中の位置を含まない他の部分を表示した場合であっても、簡単な操作でもって、音声出力位置のある表示画面を表示することで、音声出力位置の確認を容易にする。

解決手段

テキストを音声として出力中に情報処理装置101の入力部がユーザによる操作を検出すると、表示制御部はその操作に応じた処理、例えば、スクロールを実行して、指示されたテキスト部分を表示する。この後、情報処理装置101の入力部が更に操作を検出したとき、検出した操作と直前の操作とが互いに逆の操作であった場合、音声出力中の現位置を含むテキストを表示する。

概要

背景

従来、電子書籍コンテンツ音声出力させる技術が知られている。また、音声出力位置マーキングし、ユーザに音声出力位置の把握を補助する方法も知られている(例えば、特許文献1)。

概要

テキストについて音声出力中に、操作によって音声出力中の位置を含まない他の部分を表示した場合であっても、簡単な操作でもって、音声出力位置のある表示画面を表示することで、音声出力位置の確認を容易にする。テキストを音声として出力中に情報処理装置101の入力部がユーザによる操作を検出すると、表示制御部はその操作に応じた処理、例えば、スクロールを実行して、指示されたテキスト部分を表示する。この後、情報処理装置101の入力部が更に操作を検出したとき、検出した操作と直前の操作とが互いに逆の操作であった場合、音声出力中の現位置を含むテキストを表示する。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

テキスト表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有する情報処理装置であって、音声出力の指示があった場合、前記表示手段による前記表示画面に表示された前記テキストに対する音声出力を前記音声出力手段より開始すると共に、前記テキストにおける現音声出力中位置情報を保持する音声再生手段と、該音声再生手段による音声出力中に、前記検出手段によって前記表示画面に対するユーザによる操作を検出したとき、前記表示手段を制御して当該操作に応じた位置のテキストを前記表示画面に表示する表示制御手段とを有し、前記表示制御手段は、前記検出手段で検出した現操作と、当該操作より前に検出した前操作とが互いに逆の関係にあるとき、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする情報処理装置。

請求項2

前記表示制御手段は、前記検出手段で検出した現操作の入力の方向と、当該操作より前に検出した前操作の入力の方向が互いに逆の関係にあるとき、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする請求項1に記載の情報処理装置。

請求項3

前記表示制御手段は、前記操作の加速度が所定の閾値以上であることを更なる条件に、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする請求項2に記載の情報処理装置。

請求項4

更に、表示制御手段は、前操作による表示されたテキストと、前記音声再生手段で音声出力中の現位置との距離に応じて、前記閾値を変更することを特徴とする請求項3に記載の情報処理装置。

請求項5

テキストを表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有する情報処理装置の制御方法であって、音声出力の指示があった場合、音声再生手段が、前記表示手段による前記表示画面に表示された前記テキストに対する音声出力を前記音声出力手段より開始すると共に、前記テキストにおける現音声出力中の位置情報を保持する音声再生工程と、該音声再生工程による音声出力中に、前記検出手段によって前記表示画面に対するユーザによる操作を検出したとき、表示制御手段が、前記表示手段を制御して当該操作に応じた位置のテキストを前記表示画面に表示する表示制御工程とを有し、前記表示制御工程では、前記検出手段で検出した現操作と、当該操作より前に検出した前操作とが互いに逆の関係にあるとき、前記音声再生工程にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする情報処理装置の制御方法。

請求項6

テキストを表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有するコンピュータが読み込み実行することで、前記コンピュータに請求項5に記載の各工程を実行させるためのプログラム

請求項7

請求項6に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体

技術分野

0001

本発明は、表示機能並びに表示内容に沿った音声出力機能を有する情報処理装置に関するものである。

背景技術

0002

従来、電子書籍コンテンツ音声出力させる技術が知られている。また、音声出力位置マーキングし、ユーザに音声出力位置の把握を補助する方法も知られている(例えば、特許文献1)。

先行技術

0003

特開平2007—102720号公報

発明が解決しようとする課題

0004

しかしながら、従来法では、音声出力中ページ以外のページを一旦表示させてしまうと、その音声出力位置を示すマーキングを見失い、音声出力位置の把握に時間を要するという問題があった。

0005

本発明は、係る課題に鑑みてなされたものであり、テキストについて音声出力中に、操作によって音声出力中の位置を含まない他の部分を表示した後でも、簡単な操作でもって、音声出力位置のある表示画面を表示することで、音声出力位置の確認を容易にする技術を提供しようとするものである。

課題を解決するための手段

0006

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
テキストを表示画面に表示するための表示手段、前記テキストを音声として出力する音声出力手段、及び、前記表示画面に対するユーザの操作を検出する検出手段とを有する情報処理装置であって、
音声出力の指示があった場合、前記表示手段による前記表示画面に表示された前記テキストに対する音声出力を前記音声出力手段より開始すると共に、前記テキストにおける現音声出力中の位置情報を保持する音声再生手段と、
該音声再生手段による音声出力中に、前記検出手段によって前記表示画面に対するユーザによる操作を検出したとき、前記表示手段を制御して当該操作に応じた位置のテキストを前記表示画面に表示する表示制御手段とを有し、
前記表示制御手段は、前記検出手段で検出した現操作と、当該操作より前に検出した前操作とが互いに逆の関係にあるとき、前記音声再生手段にて保持された前記位置情報で示される現位置を含むテキストを前記表示画面に表示することを特徴とする。

発明の効果

0007

本発明によれば、テキストについて音声出力中に、操作によって音声出力中の位置を含まない他の部分を表示した場合であっても、簡単な操作でもって、音声出力位置のある表示画面を表示することで、音声出力位置の確認を容易にすることが可能になる。

図面の簡単な説明

0008

本発明に係る情報処理装置を示す図。
情報処理装置101の機能ブロック図。
情報処理装置101のハードウェア構成図。
情報処理装置101が行う処理のフローチャート
タッチパネル画面102の表示例を示す図。
情報処理装置101が行う処理のフローチャート。
情報処理装置101が行う処理のフローチャート。
情報処理装置101が行う処理のフローチャート。
情報処理装置101が行う処理のフローチャート。
入力の操作種類と方向の特定と逆方向の判定を行うための辞書データ
タッチパネル画面102の表示例を示す図。
タッチパネル画面102の表示例を示す図
情報処理装置101が行う処理のフローチャート。
複数の入力の操作種類の例を示す図。
画面距離算出方法を示す図。
タッチパネル画面102の表示例を示す図。
入力が複数であった場合のモードを示す図。
入力の操作種類を補足説明する図。
音声出力位置を特定するための情報を示す図。

実施例

0009

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

0010

[第1の実施形態]
先ず、本実施形態に係る情報処理装置の外観例について、図1を用いて説明する。図1に示した情報処理装置101には、携帯可能な電子機器であって、液晶画面等の表示デバイス及びその表示画面の前面に設けられたタッチパネルで構成されるタッチパネル画面102、スピーカ103、音声出力ボタン104、カメラ105、加速度センサー106が備わっている。なお、情報処理装置101の外観は、図1に示した外観に限るものではなく、様々な外観が適用可能であり、例えば、タッチパネル画面102、スピーカ103、音声出力ボタン104、カメラ105、加速度センサー106のそれぞれの配置は、図1に示した配置に限るものではない。また、ボタンやスピーカやカメラなどはその用途に応じて適宜増減させても良い。

0011

タッチパネル画面102は、画像や文字などを表示するための表示画面として機能すると共に、ユーザの指などの指示具によるタッチ操作とその位置を検出する、いわゆるタッチパネルとしても機能する。また、ユーザは、自身の指などでもって音声出力ボタン104を押下することで、音声出力指示を情報処理装置101に入力することができる。情報処理装置101はこの音声出力指示を検知すると、スピーカ103から音声(例えば、22.05KHzでサンプリングされたPCM方式のWAVEデータに基づく音声)を出力する。カメラ105は、撮像した映像情報から、ジェスチャー認識の技術を用いてユーザのハンドジェスチャを検出する。ジェスチャ認識の技術については公知なのでこれに係る説明は省略する。加速度センサー106は、情報処理装置101の傾きや加速度計測する。

0012

なお、実施形態における音声出力ボタン104は、2つの機能を有する。1つは、音声出力している文章が表示された状態でこのボタンが押下されると、音声出力を停止する。もう1つは、音声停止中に押下した場合、或いは、音声出力中にその音声出力位置を含まない他の箇所を表示させた状態で押下した場合、押下したタイミングで表示された箇所から音声出力を開始する。

0013

さて、本実施形態では、電子書籍のデータ(電子書籍コンテンツ、電子テキストコンテンツ)、該電子書籍を朗読した音声波形のデータ(音声波形データ)、は、予め情報処理装置101内のメモリダウンロードされているものとする。しかし、これに限るものではなく、これらのデータを外部の装置に格納しておき、必要に応じて適宜ダウンロードするようにしても良い。

0014

本実施形態における電子書籍は、W3CのXMLに準拠したマークアップ言語であるSMIL(Synchronized Multimedia Integration Language)により記述されているものとする。電子書籍中の各ページにおける各文字と、音声波形データにおいて該文字を発声している音声波形の位置(音声出力位置)と、は関連づけられている(同期がとられている)。即ち、音声波形データにおいて、電子書籍における任意のページ中の任意の文字の音声波形のデータは、一意に特定することができるようになっている。また、例えば、SMILの記述情報から、ページ番号、ブロックID、行数、行の先頭からの文字数等の情報も取得できるものとする。また、ページ番号、ブロックID、行数、行の先頭からの文字数等の情報を、SMILの記述情報と照会することにより、音声波形データ上の音声出力位置および音声出力位置が属する文章を特定できるものとする。SMILの技術については公知なのでこれに係る説明は省略する。

0015

図2は、情報処理装置101の機能構成を示す機能ブロック図である。なお、図2に示した構成は一例であり、下記の各部のうちいくつかを統合しても良いし、以下に説明する各処理を実現可能な構成であれば、如何なる構成を採用しても良い。

0016

情報処理装置101は、入力部201、音声出力部202、音声出力位置記憶部203、音声出力位置表示画面特定部204、入力後表示画面特定部205、方向特定部206、逆方向判定部207、加速度特定部208、表示制御部209、表示部210、画面距離特定部211を有する。

0017

入力部201は、情報処理装置101の入力を検出する。タッチ操作、ジェスチャ操作、傾き操作、音声出力ボタン104の押下などを検出し、入力の操作種類を特定する。例えば、入力部201は、タッチパネル画面102に対する右方向(左方向、上方向、下方向)へのユーザのフリック操作や、ピンチアウトピンチイン)を、入力の操作種類として特定する。また、加速度特定部208に対するピッチラス方向傾き操作(ピッチマイナス方向傾き操作、ロールマイナス方向傾き操作、ロールプラス方向傾き操作)や、ピッチプラス方向回転操作(ピッチマイナス方向回転操作)を、入力の操作種類として特定する。また、上方向ジェスチャ操作(下方向ジェスチャ操作、右方向ジェスチャ操作、左方向ジェスチャ操作)、グラブジェスチャ操作(リリースジェスチャ操作)を、入力の操作種類を特定する。なお、本実施形態では、上方向、下方向、右方向、左方向、ピッチマイナス方向、ピッチプラス方向、ロールプラス方向、ロールマイナス方向については、図18に準ずることとする。

0018

音声出力部202は、テキストの音声再生手段として機能するものであって、音声出力開始位置(本実施形態では、ブロックIDが1の先頭の文字を音声出力開始位置とする)からの音声波形データに基づく音声信号を、順次スピーカ103に供給する。ブロック内の全ての電子書籍コンテンツの音声出力が終了すると、ブロックIDがインクリメントされ(例えば、ブロックIDが1から2に変更される)、インクリメントされたブロックIDの電子書籍コンテンツの先頭の文字から音声出力されるものとする。

0019

音声出力位置記憶部203は、SMILの記述情報と照会し、現音声出力中の文字の位置(音声出力位置)を特定する為の情報(ページ番号、ブロックID、行数、行の先頭からの文字数の情報)を、リアルタイムに音声出力位置情報としてメモリに記憶する。例えば、現在、5ページにある、ブロックIDが1で、3行目の2文字目のテキストを音声出力中においては音声出力の現位置としては、ページ番号が5、ブロックIDが1、行数が3、行の先頭からの文字数が2となる。

0020

音声出力位置表示画面特定部204は、音声出力位置記憶部203が記憶している音声出力位置に対する表示画面(音声出力位置表示画面)を特定する。例えば、音声出力している電子書籍コンテンツのブロックの先頭の文字がタッチパネル画面102の左上端となり、フォントサイズが4mm(ミリメートル)となるようにする。

0021

入力後表示画面特定部205は、入力部201が検出したタッチ操作(ジェスチャ操作、傾き操作)に基づき画面移動の種類を特定し、タッチパネル画面102に表示する電子書籍コンテンツの表示画面(入力後表示画面)の特定を行う。なお、それぞれの入力の操作種類に対する画面移動種類は、例えば、図10(a)の表に準ずるものとする。本実施形態では、図10(a)のデータを辞書データとして、メモリ(例えば、ROM)に保持しておく。例えば、入力部201が下方向のフリック操作を検知すると、入力後表示画面特定部205は辞書データの参照を行い、下方向スクロールを画面移動の種類として特定する。また、現在タッチパネル画面102に表示している電子書籍コンテンツの下部にある表示画面を、スクロール移動される表示対象として特定する。そして、入力後表示画面特定部205は、上記の電子書籍コンテンツの表示画面の映像信号を表示部202にスクロール移動順に供給する。表示画面のスクロール移動は、フリック操作の速度、ユーザ自身の指とタッチパネル画面102との接地時間などにより特定されるものとする。また、例えば、入力部201がピンチアウトを検知すると、入力後表示画面特定部205は辞書データの参照を行い、拡大を画面移動の種類として特定する。そして、現在タッチパネル画面102に表示している電子書籍コンテンツのピンチアウトされた中心付近の表示画面を、ズーム移動される表示対象として特定する。そして入力後表示画面特定部205は、上記の電子書籍コンテンツの表示画面の映像信号を、表示部202にズーム移動順に供給する。表示画面のズーム移動は、ピンチアウト操作の速度、ユーザ自身の指とタッチパネル画面102との接地時間などにより特定されるものとする。

0022

方向特定部206は、入力部201が検知した入力の方向を特定する。なお、それぞれの入力の操作種類に対する画面の移動種類は、例えば、図10(b)の表に準ずるものとする。本実施形態では、図10(b)のデータを辞書データとして、メモリ(例えば、ROM)に保持しておく。例えば、入力部201が下方向のフリック操作を検知すると、方向特定部206は辞書データの参照を行い、下方向を入力の方向として特定する。

0023

逆方向判定部207は、入力部201が第1の入力、それに後続する第2の入力を検知した場合に、両者の入力が互いに逆方向であるか否かを判定する。換言すれば、現操作(第2の入力)を検出したとき、その現操作の入力方向と前操作(第1の入力)の入力方向との関係が逆であるか否かを判定する。なお、それぞれの入力の方向に対する逆方向の入力は、例えば、図10(c)の表に準ずるものとする。本実施形態では、図10(c)のデータを辞書データとして、メモリ(例えば、ROM)に保持しておく。例えば、入力部201が下方向のフリック操作を第1の入力として検知し、上方向のフリック操作を第2の入力として検知すると、逆方向判定部207は両者の入力を互いに逆方向であると判定する。

0024

加速度特定部208は、入力部201が検知した入力の加速度を特定する。タッチ操作の加速度は、ユーザ自身の指とタッチパネル画面102との接地時間と移動距離などにより特定されるものとする。また、ジェスチャ操作の加速度は、カメラ105がジェスチャ操作を検出した時間と移動距離などにより特定されるものとする。また、傾き操作の加速度は、加速度センサー106により特定されるものとする。

0025

表示制御部209は、逆方向判定部207と加速度特定部208の結果に応じて、音声出力位置表示画面特定部204が特定した音声出力位置表示画面と、入力後表示画面特定部205が特定した入力後表示画面を切り替える(詳細は後述する)。

0026

表示部210は、音声出力位置表示画面特定部204と入力後表示画面特定部205、から供給された映像信号に基づく映像(即ち、電子書籍コンテンツの表示画面)の信号を、該タッチパネル画面102に対して供給するものである。本実施形態では、電子書籍コンテンツにおいて、音声出力位置表示画面特定部204と入力後表示画面特定部205によって特定された表示画面の映像信号をタッチパネル画面102に供給する。

0027

画面距離特定部211は、音声出力位置表示画面と入力後表示画面の画面距離を特定する。画面距離の特定については、本実施形態では、図15のように、第2の入力の操作種類に応じて異なる。なお、X軸とY軸と原点は、図15のように設定する。そして、図15先頭文字「今」のように、それぞれの文字に対して文字領域が定められており、領域の中心の座標が、それぞれの文字の座標となる。

0028

図1に示した各部は何れもハードウェアで構成しても良いが、例えば、音声出力位置記憶部203をメモリで構成し、それ以外の各部をソフトウェアコンピュータプログラム)で構成しても良い。このような場合に、情報処理装置101に適用可能なコンピュータのハードウェア構成例について、図3のブロック図を用いて説明する。

0029

CPU301は、RAM302やROM303に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の動作制御を行うと共に、情報処理装置101が行うものとして上述した各処理を実行する。RAM302は、HDDハードディスクドライブ)等の外部メモリ304からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアや、CPU301が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM302は、各種のエリアを適宜提供することができる。ROM303には、コンピュータの設定データブートプログラムなどが格納されている。入力部305は、上記の音声出力ボタン104や、タッチパネル画面102におけるタッチセンサ、加速度センサー106に相当し、上記の通り、各種の指示をCPU301に対して入力することができる。表示部306は、上記のタッチパネル画面102に相当する。音声出力部307は、上記のスピーカ103に相当する。外部メモリ304には、OS(オペレーティングシステム)や、上記の各実施形態で説明した各種の処理をCPU301に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムは、図1において音声出力位置記憶部203を除く各部に相当するコンピュータプログラムを含む。また、このデータは、電子書籍コンテンツのデータや、上記の処理で既知のものとして説明したデータを含む。外部メモリ304に保存されているコンピュータプログラムやデータは、CPU301による制御に従って適宜RAM302にロードされ、CPU301による処理対象となる。上記の各部は共通のバス308に接続されている。なお、上記の音声出力位置記憶部203は、外部メモリ304やRAM302に相当する。なお、図1に示した機能構成を有する情報処理装置は、図3に示した構成を有する1台のコンピュータで実装しても良いが、複数台の装置によってこの情報処理装置を構成するようにしても良い。なお、図1に示した各部を全部ハードウェア/ソフトウェアで構成せずに、一部をハードウェア/ソフトウェアで構成するようにしても良い。この場合であっても、このソフトウェアはメモリに格納し、このソフトウェアは、CPU301により実行される。

0030

次に、本実施形態に係る情報処理装置101が行う処理について、同処理のフローチャートを示す図4(a)を用いて説明する。なお、以下の説明では、タッチパネル画面102には、電子書籍コンテンツにおいてN(N≧1)ページ目のページ(ページNと呼称する)が表示されており、且つこのNページ目のページについてはまだ音声出力を行っていないものとする。また、ブロックIDが1のブロックが左上端に位置するように表示されており、先述の通りフォントサイズは4mmとなっているとする。そしてこの状態においてユーザが音声出力ボタン104を押下すると、ステップS401以降の処理が開始されることになる。

0031

ステップS401において、入力部201が音声出力ボタン104の押下を検知すると、音声出力部202は音声出力開始位置(ブロックIDが1であるブロックの先頭文字)から音声出力を開始する。

0032

ステップS401において音声出力が開始されると、図4(b)のフローチャートの処理(例えばスレッド)が図4(a)のフローチャートの処理が終了するまで継続される。ここで、図4(b)のフローチャートについて説明する。

0033

ステップS4011において、音声出力部203は、ブロックIDが1であるブロックの先頭文字以降の各文字について、該文字の音声波形データから音声信号を生成してスピーカ103に供給する。即ち本ステップでは、音声出力ボタン104の押下により音声出力指示が入力されると、該入力の時点でタッチパネル画面102が表示しているページNを音声出力ページとし、該音声出力ページ中の各文字に対応する音声を該文字の並び順に従って順次出力する。

0034

ステップS4012において、音声出力位置記憶部203は、ブロックID=Nにおいて、音声出力部203の音声出力位置を特定する為の情報を記憶する。即ち、本ステップでは、音声出力ページにおいて音声出力部203の音声出力位置を特定するための情報をメモリ(音声出力位置記憶部203)内で管理する。

0035

ステップS4013において、音声出力位置表示画面特定部204は、音声出力位置表示画面特定部204が記憶している音声出力位置に対する音声出力位置表示画面を特定する。

0036

ステップS4014において、図4(a)の処理が終了した状態であるか否かを判定する。終了した状態であると判定された場合には、図4(b)の処理が終了となる。終了した状態でないと判定された場合には、ステップS4011の処理を行う。

0037

さて、ステップS402において、表示部210は、音声出力位置表示画面特定部204が特定した音声出力位置表示画面の映像信号をタッチパネル画面102に供給する。

0038

ステップS403において、入力部201は、ユーザーからの入力(第1の入力)を、タッチパネル画面102、加速度センサー106、カメラ105から検知する。入力部201が入力を検知した場合は、ステップS404の処理を行う。入力部201が入力を検知しなかった場合は、ステップS402の処理を行う。

0039

ステップS404において、入力部201は、第1の入力の操作種類を特定する。ステップS405において、入力部201は、第1の入力の操作種類から第1の入力の方向を特定する。ステップS406において、入力後表示画面特定部205は、第1の入力から第1の入力後表示画面を特定する。ステップS407において、表示部210は、第1の入力後表示画面の映像信号をタッチパネル画面102に供給する。この結果、第1の入力に応じた位置の文章が表示されることになる。なお、この第1の入力を行った場合であっても、音声出力が継続している点に注意されたい。

0040

ステップS408において、入力部201は、第2の入力の操作種類を特定する。ステップS409において、入力部201は、第2の入力の操作種類から第2の入力の方向を特定する。ステップS410において、入力後表示画面特定部205は、第2の入力から第2の入力後表示画面を特定する。ステップS411において、表示部210は、第2の入力後表示画面の映像信号をタッチパネル画面102に供給する。

0041

ステップS412において、逆方向判定部207は、第1の入力の方向と第2の入力の方向が、互いに逆方向となっているか否かを判定する。逆方向判定部207が互いに逆方向と判定した場合は、ステップS414の処理を行う。逆方向判定部207が互いに逆方向と判定しなかった場合は、ステップS413の処理を行う。

0042

ステップS413において、表示部210は、第2の入力後表示画面の映像信号をタッチパネル画面102に供給する。

0043

ステップS414においては、表示部210は、現時点での音声出力位置表示画面の映像信号をタッチパネル画面102に供給する。

0044

ここで、N=5の場合を例として説明する。図5は、タッチパネル画面102におけるページNの表示例である。

0045

ステップS401において、入力部201がユーザーのボタン押下を検知してステップS4011の処理を行う。ステップS4011において、音声出力部202が、この音声出力位置記憶部203内の情報をSMILの記述情報と照会し、「今年の電子書籍コンテンツの増加率は目覚ましいものがありました」の先頭から音声波形データを音声出力することになる。

0046

この時、ステップS4012で音声出力位置記憶部203に登録される情報の構成例を図19(a)に示す。上記のとおり、音声出力を開始した段階なので、音声出力位置記憶部203には、ページ番号「5」、ページ5でブロックID「1」の先頭文字の位置(行数「1」、行の先頭の文字からの文字数「1」)、が音声出力位置として登録される。

0047

同時に、ステップS4012において、音声出力位置表示画面特定部204により、音声出力位置のブロックIDが1なので、図5のように、ブロックIDが1の先頭文字の位置がタッチパネル画面102の左上端になるように音声出力位置表示画面が特定される。また、ステップS402では、図5のように、音声出力位置表示画面がタッチパネル画面102に表示される。

0048

そして、音声出力が文字の並び順に従って進むと、音声出力位置も同期して更新される。

0049

この後、ユーザーがタッチパネル画面102に対して、下方向にフリック操作を行ったとする。この場合、ステップS404では、入力部201が、第1の入力の操作種類として、下方向フリック操作が特定されることなる。そして、また、ステップS405では、第1の入力の方向として、下方向が特定される。また、ステップS406では、下方向フリック操作によって下方向にスクロール移動する第1の入力後表示画面を特定する。

0050

ステップS407では、第1の入力後表示画面がスクロール移動に合わせてタッチパネル画面102に表示される。ここで、スクロール移動後の第1の入力後表示画面は、図11のように、ブロックIDが5のブロックの先頭文字が、タッチパネル画面102の左上端となる。

0051

更に、この後、ユーザがタッチパネル画面102に対して、上方向にフリック操作を行う。

0052

ステップS409では、入力部201が、第2の入力の操作種類として、下方向フリック操作が特定される。また、ステップS410では、第1の入力の方向として、下方向が特定される。また、ステップS411では、下方向フリック操作によって上方向にスクロール移動する第2の入力後表示画面を特定する。

0053

ステップS412では、第1の入力の方向と第2の入力の方向が、下方向と上方向で互いに逆方向なので、ステップS414の処理を行う。

0054

この時、ステップS4011では、音声出力がブロックIDが2の先頭文字まで移動しているとする。よって、ステップS4012では、音声出力位置記憶部203には、ページ番号「5」、ページ5でブロックID「2」の先頭文字の位置(行数「1」、行の先頭の文字からの文字数「1」)、が音声出力位置として登録されている。同時に、ステップS4012において、音声出力位置表示画面特定部204により、音声出力位置のブロックIDが2なので、図5のように、ブロックIDが2の先頭文字の位置がタッチパネル画面102の左上端になるように音声出力位置表示画面が特定される。また、ステップS402では、図12のように、音声出力位置表示画面がタッチパネル画面102に表示される。

0055

即ち、第1の入力により画面移動を行った後に、即座に、第2の入力により音声出力位置表示画面を表示することが可能となる。また、入力の方向に応じて、音声出力位置表示画面と入力後表示画面の表示を切り替えることが可能となる。特に、入力の操作種類が、第1の入力と第2の入力で同じ場合には、同一の入力の操作種類で音声出力位置表示画面と入力後表示画面の表示を切り替えることが可能となる。

0056

なお、上記例では、第1の入力と第2の入力の方向についてのみ説明したが、例えば第1の入力があってから、予め設定された時間内の入力を上記第2の入力として判定するようにしても良い。

0057

[変形例1]
上記のステップS412で、第1の入力の方向と第2の入力の方向が互いに逆方向であるか否かに応じて、音声出力位置表示画面と第1の入力後表示画面の表示を切り替えていた。これに加えて、第2の入力の加速度を条件に加えて判定するようにしても良い。この変形例を、図6のフローチャートを用いて説明する。図6において、図4と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。ステップS601〜S604の処理が図6のフローチャートの処理に加えられている。

0058

ステップS601において、加速度特定部208が、第2の入力の加速度を特定する。

0059

ステップS602において、表示制御部209が、第2の入力の加速度が所定加速度以上(閾値以上)であるか否かを判定する。表示制御部209が、所定加速度以上であると判定した場合は、ステップS414の処理を行う。表示制御部209が、所定加速度以上でないと判定した場合は、ステップS603の処理を行う。

0060

ステップS603において、画面距離特定部211が、第1の入力後表示画面と音声出力位置表示画面との画面距離を特定する。そして、表示制御部209が、画面距離特定部211が特定した画面距離が正であるか否かを判定する。表示制御部209が、画面距離が正であると判定した場合には、ステップS413の処理を行う。表示制御部209が、画面距離が正でないと判定した場合には、ステップS604の処理を行う。

0061

ステップS604において、表示制御部209は、第1の入力=第2の入力とする。

0062

即ち、第1の入力の方向と第2の入力の方向が逆方向であるか否かの判定と、第2の入力の加速度に応じて、音声出力位置表示画面と入力後表示画面を切り替えることが可能となる。

0063

また、ステップS603とステップS604の処理により、例えば、第1の入力(下方向のスクロール操作)で下方向にスクロールした後、第2の入力(上方向のスクロール)で上方向にスクロールし、音声出力位置表示画面を超えて上方向へのスクロールが継続した場合には、第1の入力=第2の入力となる(第2の入力が、第1の入力となる)。その後、所定加速度以上で新たな第2の入力(下方向のスクロール)がなされると、音声出力位置表示画面を表示する。

0064

更に、ステップS602で用いられる所定加速度については、第1の入力後表示画面と音声出力位置表示画面との画面距離に応じて、所定加速度を変更してもよい。この変形例を、図9のフローチャートを用いて説明する。図9において、図6と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。ステップS901とS902の処理が図9のフローチャートの処理に加えられている。

0065

ステップS901において、画面距離特定部211は、第2の入力後表示画面と音声出力位置表示画面の画面距離を特定する。ステップS902において、表示制御部209は、画面距離特定部211が特定した画面距離に応じて、所定加速度を変更する。例えば、画面距離の絶対値が6以上の場合には、所定加速度に初期値の2倍にするなどが考えられる。

0066

即ち、第1の入力の移動量に応じて、所定加速度を変更することが可能となる。例えば、ステップS414の音声出力位置表示画面を表示する為には、第1の入力による画面移動量が大きい場合は、画面移動量が小さい場合に比べて、より大きい第2の入力の加速度が必要となる。

0067

[変形例2]
上記図4のフローチャートの処理では、第1の入力が単数である場合について説明した。変形例2では、第1の入力が複数である場合について、図7のフローチャートを用いて説明する。図7において、図4と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。ステップS701〜S707の処理が図7のフローチャートの処理に加えられている。また、ステップS412の処理の代わりに、ステップS707の処理が行われる。

0068

ステップS701において、入力部201は、I=0とする。ステップS702において、入力部201は、第1の入力リストとして、ID=Iの入力の操作種類に、第1の入力の操作種類を登録して、メモリ内に保持する。

0069

ステップS703において、表示制御部209は、第1の入力リストを参照し、第1の入力リストに第2の入力の操作種類があるか否かを判定する。表示制御部209が、第1の入力リストに第2の入力の操作種類があると判定された場合には、ステップS707の処理を行う。表示制御部209が、第1の入力リストに第2の入力の操作種類がないと判定された場合には、ステップS707の処理を行う。表示制御部209が、第1の入力リストに第2の入力の操作種類がないと判定された場合には、ステップS704の処理を行う。

0070

ステップS704において、入力部201は、Iに1を加算する。ステップS705の処理は、ステップS702の処理と同じである。ステップS706において、表示制御部209は、モード設定を行う。(ただし、モード設定は、図7の処理が開始される前に、ユーザ自身によって、第1のモードであるか第2のモードであるかの指定が行われているものとする)
ステップS707において、逆方向判定部207は、設定されたモードに応じて、第1の入力の方向と第2の入力の方向が、互いに逆方向となっているか否かを判定する。逆方向判定部207が互いに逆方向と判定した場合は、ステップS414の処理を行う。逆方向判定部207が互いに逆方向と判定しなかった場合は、ステップS413の処理を行う。

0071

ここで、ステップS703の具体的な処理を図13(a)のフローチャートを用いて説明する。

0072

ステップS7031において、表示制御部209は、K=0とする。ステップS7032において、表示制御部209は、第1の入力リストにおいて、ID=Kの入力の操作種類と第2の入力の操作種類が同じであるか否かを判定する。表示制御部209が、第2の入力の操作種類が同じであると判定した場合には、ステップS703において、第1の入力リストに第2の入力の操作種類があると判定される。表示制御部209が、第2の入力の操作種類が同じでないと判定した場合には、ステップS7033の処理を行う。

0073

ステップS7033において、表示制御部209は、K>Iであるか否かを判定する。表示制御部209が、K>Iであると判定した場合には、ステップS703の処理を行う。表示制御部209が、K>Iであると判定した場合には、ステップS703において、第1の入力リストに第2の入力の操作種類がないと判定される。表示制御部209が、K>Iでないと判定した場合には、ステップS7034の処理を行う。ステップS7034において、表示制御部209は、Kに1を加算する。

0074

また、ステップS707の具体的な処理を図13(b)のフローチャートを用いて説明する。

0075

ステップS7071において、表示制御部209は、設定されたモードが第1のモードであるか、第2のモードであるかを判定する。表示制御部209が、設定されたモードが第1のモードであると判定した場合には、ステップS7072に処理を行う。表示制御部209が、設定されたモードが第2のモードであると判定した場合には、ステップS7073に処理を行う。

0076

ステップS7072において、表示制御部209は、ID=0の操作種類に対する入力の方向を、辞書データを参照して特定する。そして、表示制御部209は、特定された入力の方向と第2の入力の方向が逆方向であるか否かを判定する。表示制御部209が、特定された入力の方向と第2の入力の方向が逆方向であると判定した場合には、ステップS414の処理を行う。表示制御部209が、特定された入力の方向と第2の入力の方向が逆方向でないと判定した場合には、ステップS413の処理を行う。

0077

ステップS7073において、表示制御部209は、K=0とする。ステップS7074において、表示制御部209は、ID=Kの操作種類に対する入力の方向を、辞書データを参照して特定する。そして、表示制御部209は、特定された入力の方向と第2の入力の方向が逆方向であるか否かを判定する。表示制御部209が、特定された入力の方向と第2の入力の方向が逆方向であると判定した場合には、ステップS414の処理を行う。表示制御部209が、特定された入力の方向と第2の入力の方向が逆方向でないと判定した場合には、ステップS7075の処理を行う。

0078

ステップS7075において、表示制御部209は、K>Iであるか否かを判定する。表示制御部209が、K>Iであると判定した場合には、ステップS7076の処理を行う。表示制御部209が、K>Iでないと判定した場合には、ステップS414の処理を行う。ステップS7076において、表示制御部209は、Kに1を加算する。

0079

即ち、第1のモードが指定されていた場合には、図7の処理が開始してから初めて第1の入力リストに登録された入力の方向のみを、ステップS412で判定される第1の入力の方向とする。第2のモードが指定されていた場合には、第1の入力リストに登録された全ての入力の方向を、ステップS412で判定される第1の入力の方向とする。また、第1のモードと第2のモードを切り替えることにより、逆方向の入力の操作種類に応じて、音声出力位置表示画面と入力後表示画面の表示を切り替えることが可能となる。よって、複数の操作種類の入力があった場合でも、第2の入力に応じて、音声出力位置表示画面と入力後表示画面を切り替えることが可能となる。

0080

また、図7の処理では、第1の入力の方向と第2の入力の方向が互いに逆方向であるか否かに応じて、音声出力位置表示画面と第1の入力後表示画面の表示を切り替えていた。しかしながら、これに限らず、図8のように、第2の入力の加速度に応じて、両者の切り替えを行なっても良い。図8のフローチャートの各ステップについては、図7図6のフローチャートの処理で説明済なので、ここでは省略する。

0081

ここで、本実施形態では、ステップS401では、ページの先頭から音声出力を行っていたが、これに限るものではない。タッチ操作で音声出力開始位置を指定した後に、音声出力ボタン104を押下することで、指定された音声出力開始位置から音声出力してもよい。また、電子書籍コンテンツを朗読した音声波形データを音声出力しているが、電子書籍コンテンツを音声合成の技術により音声出力してもよい。ただし、音声合成の技術を用いる場合、ステップS407において、音声出力位置制御部205は、音声出力開始位置以降に並んでいる文字の音声波形データに基づく音声信号を、スピーカ103に供給する。例えば、「今年の電子書籍コンテンツの増加率は目覚ましいものがありました。」の文章の「子」が音声出力開始位置になったとする。音声合成技術を用いた場合、「ししょせき」と読み上げられずに、「こしょせき」のように誤った読みになる場合がある。よって、音声出力開始位置の付近の文字にある、文章の先頭や文章中の区切りの良い文字から、音声合成により音声出力される。例えば、文章の先頭の「来年・・・」、もしくは、文章中の「電子・・・」や「ますます・・・」から音声出力される。音声合成技術については、公知なのでここでは省略する。

0082

また、本実施形態では、入力の操作種類として、タッチ操作とジェスチャ操作と傾き操作を例に挙げたが、これに限るものではない。スクロール操作やズーム操作などを指示できるものなら、マウス操作音声認識操作などを入力の操作種類としても良い。

0083

また、本実施形態では、文字と音声が対応付けられていたが、これに限るものではない。画像データやアイコンボタンなどに音声を対応付けても良い。

0084

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ