図面 (/)

技術 表示制御装置、表示制御方法、およびプログラム

出願人 ソニー株式会社
発明者 大津秀一
出願日 2013年1月16日 (6年6ヶ月経過) 出願番号 2013-005342
公開日 2014年7月28日 (4年11ヶ月経過) 公開番号 2014-137675
状態 特許登録済
技術分野 デジタル計算機のユーザインターフェイス デジタル計算機のユーザインターフェイス 位置入力装置 表示による位置入力
主要キーワード マスターマイコン 操作ボタン領域 カーオーディオ機器 設定情報領域 円形画像 軌跡画像 カラフル 壁紙画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年7月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

視認性の高いフィードバック提示する。

解決手段

表示制御装置は、操作に用いられる画像とは異なる装飾画像を表示部に表示させる表示制御部と、表示部に対するユーザの接触操作を検出する検出部と、所定の軌跡の接触操作に応じた処理を実行する処理部とを備え、表示制御部は、装飾画像が表示されている場合において所定の軌跡の接触操作が検出されたとき、装飾画像から構成される、所定の軌跡の接触操作を検出したことを表すフィードバック画像を表示させる。

概要

背景

GUI(Graphical User Interface)に対するタッチパネルを使った操作としてダイレクト操作とジェスチャー操作の2種類の操作が知られている。

ダイレクト操作は、GUIを構成するボタンスライドバーなどの操作対象を、タップドラッグフリック等により操作するものである。ジェスチャー操作は、ドラッグ、フリック等により画面上に所定の軌跡を描き、その軌跡に対応した処理を実行させるものである。

ダイレクト操作が行われたときのフィードバックとして、操作されたボタンを光らせたり、ボタンの色や形状を変化させたりすることが知られている。また、ジェスチャー操作が行われたときのフィードバックとして、特許文献1には、タッチ面に配置した複数の光点表示部を指の動作に応じて発光させる技術が開示されている。

概要

視認性の高いフィードバックを提示する。表示制御装置は、操作に用いられる画像とは異なる装飾画像を表示部に表示させる表示制御部と、表示部に対するユーザの接触操作を検出する検出部と、所定の軌跡の接触操作に応じた処理を実行する処理部とを備え、表示制御部は、装飾画像が表示されている場合において所定の軌跡の接触操作が検出されたとき、装飾画像から構成される、所定の軌跡の接触操作を検出したことを表すフィードバック画像を表示させる。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

操作に用いられる画像とは異なる装飾画像を表示部に表示させる表示制御部と、前記表示部に対するユーザの接触操作を検出する検出部と、所定の軌跡の前記接触操作に応じた処理を実行する処理部とを備え、前記表示制御部は、前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる表示制御装置

請求項2

前記表示制御部は、ビジュアライザーの機能によって、画面内を動く前記装飾画像を表示させる請求項1に記載の表示制御装置。

請求項3

前記表示制御部は、複数の前記装飾画像を表示し、複数の前記装飾画像の全てを用いて構成される前記フィードバック画像を表示させる請求項2に記載の表示制御装置。

請求項4

前記表示制御部は、前記所定の軌跡の前記接触操作が検出されたときの位置から、複数の前記装飾画像をそれぞれ移動させて前記フィードバック画像を表示させる請求項3に記載の表示制御装置。

請求項5

前記表示制御部は、複数の前記装飾画像を表示し、1つの前記装飾画像を変形させて前記フィードバック画像を表示させる請求項2に記載の表示制御装置。

請求項6

前記表示制御部は、前記装飾画像に重ねて、再生中の曲に関する情報を表示させる請求項2に記載の表示制御装置。

請求項7

前記表示制御部は、前記装飾画像として前記接触操作の軌跡を表す画像を表示し、前記軌跡を表す画像を変形させて前記フィードバック画像を表示させる請求項1に記載の表示制御装置。

請求項8

前記表示制御部は、前記装飾画像を、再生中の曲に関する情報に重ねて表示させる請求項7に記載の表示制御装置。

請求項9

前記所定の軌跡の前記接触操作が検出された場合、所定の音を出力させる出力制御部をさらに備える請求項1に記載の表示制御装置。

請求項10

操作に用いられる画像とは異なる装飾画像を表示部に表示させ、前記表示部に対するユーザの接触操作を検出し、所定の軌跡の前記接触操作に応じた処理を実行し、前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させるステップを含む表示制御方法

請求項11

操作に用いられる画像とは異なる装飾画像を表示部に表示させ、前記表示部に対するユーザの接触操作を検出し、所定の軌跡の前記接触操作に応じた処理を実行し、前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させるステップを含む処理をコンピュータに実行させるプログラム

技術分野

0001

本技術は、表示制御装置表示制御方法、およびプログラムに関し、特に、視認性の高いフィードバック提示することができるようにした表示制御装置、表示制御方法、およびプログラムに関する。

背景技術

0002

GUI(Graphical User Interface)に対するタッチパネルを使った操作としてダイレクト操作とジェスチャー操作の2種類の操作が知られている。

0003

ダイレクト操作は、GUIを構成するボタンスライドバーなどの操作対象を、タップドラッグフリック等により操作するものである。ジェスチャー操作は、ドラッグ、フリック等により画面上に所定の軌跡を描き、その軌跡に対応した処理を実行させるものである。

0004

ダイレクト操作が行われたときのフィードバックとして、操作されたボタンを光らせたり、ボタンの色や形状を変化させたりすることが知られている。また、ジェスチャー操作が行われたときのフィードバックとして、特許文献1には、タッチ面に配置した複数の光点表示部を指の動作に応じて発光させる技術が開示されている。

先行技術

0005

特開2012−94010号公報

発明が解決しようとする課題

0006

音楽再生機能を搭載した機器の中には、いわゆるビジュアライザー機能を有するものがある。ビジュアライザー機能は、曲などのコンテンツ再生時に、変化する画像によって視覚的な効果を与える機能である。

0007

ビジュアライザー機能を有する機器において、ジェスチャー操作に対するフィードバックとして例えば特許文献1に開示されているように光点表示部を発光させるとした場合、視認性を高めるためには、ビジュアライザーの全体の明度を落としたり、ボタンのレイアウトを変えたりするなどの調整が必要になることがある。

0008

本技術はこのような状況に鑑みてなされたものであり、例えばビジュアライザー機能を有する機器に対するジェスチャー操作のフィードバックとして、視認性の高いフィードバックを提示することができるようにするものである。

課題を解決するための手段

0009

本技術の一側面の表示制御装置は、操作に用いられる画像とは異なる装飾画像を表示部に表示させる表示制御部と、前記表示部に対するユーザの接触操作を検出する検出部と、所定の軌跡の前記接触操作に応じた処理を実行する処理部とを備え、前記表示制御部は、前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる。

0010

前記表示制御部には、ビジュアライザーの機能によって、画面内を動く前記装飾画像を表示させることができる。

0011

前記表示制御部には、複数の前記装飾画像を表示させ、複数の前記装飾画像の全てを用いて構成される前記フィードバック画像を表示させることができる。

0012

前記表示制御部には、前記所定の軌跡の前記接触操作が検出されたときの位置から、複数の前記装飾画像をそれぞれ移動させて前記フィードバック画像を表示させることができる。

0013

前記表示制御部には、複数の前記装飾画像を表示させ、1つの前記装飾画像を変形させて前記フィードバック画像を表示させることができる。

0014

前記表示制御部には、前記装飾画像に重ねて、再生中の曲に関する情報を表示させることができる。

0015

前記表示制御部には、前記装飾画像として前記接触操作の軌跡を表す画像を表示させ、前記軌跡を表す画像を変形させて前記フィードバック画像を表示させることができる。

0016

前記表示制御部には、前記装飾画像を、再生中の曲に関する情報に重ねて表示させることができる。

0017

前記所定の軌跡の前記接触操作が検出された場合、所定の音を出力させる出力制御部をさらに設けることができる。

0018

本技術の一側面においては、操作に用いられる画像とは異なる装飾画像が表示部に表示され、前記表示部に対するユーザの接触操作が検出され、所定の軌跡の前記接触操作に応じた処理が実行される。前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像が表示される。

発明の効果

0019

本技術によれば、視認性の高いフィードバックを提示することができる。

図面の簡単な説明

0020

本技術の一実施形態に係る電子機器外観の例を示す図である。
表示部の構成例を示す図である。
音楽再生画面の例を示す図である。
壁紙画像の例を示す図である。
ビジュアライザー画像の例を示す図である。
曲情報の例を示す図である。
ビジュアライザー画像の動きの例を示す図である。
図7の画面に続く画面の例を示す図である。
図8の画面に続く画面の例を示す図である。
図9の画面に続く画面の例を示す図である。
図10の画面に続く画面の例を示す図である。
音楽再生画面の遷移の例を示す図である。
電子機器のハードウェア構成例を示すブロック図である。
電子機器の機能構成例を示すブロック図である。
電子機器の一連の処理について説明するフローチャートである。
ビジュアライザー画像の他の例を示す図である。
図16の画面に続く画面の例を示す図である。
図17の画面に続く画面の例を示す図である。
軌跡画像の例を示す図である。
図19の画面に続く画面の例を示す図である。
ジェスチャー操作の例を示す図である。
軌跡画像の他の例を示す図である。
図22の画面に続く画面の例を示す図である。
音楽再生画面の遷移の例を示す図である。
電子機器の他の一連の処理について説明するフローチャートである。
コンピュータの構成例を示すブロック図である。

実施例

0021

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態(ビジュアライザー画像を用いたフィードバックの例)
2.第2の実施の形態(軌跡画像を用いたフィードバックの例)

0022

<第1の実施の形態(ビジュアライザー画像を用いたフィードバックの例)>
[電子機器の外観の例]
図1は、本技術の一実施形態に係る電子機器の外観の例を示す図である。

0023

電子機器1は、カーオーディオ機器などの電子機器である。直方体の形状を有する電子機器1の筐体の正面には、そのほぼ全体にわたって表示部11が設けられる。電子機器1は、内部のメモリに記憶されている音楽データを再生する機能を有している。

0024

図2は、表示部11の構成例を示す図である。

0025

表示部11は、ディスプレイ22にタッチパネル21が重ねて設けられることによって構成される。ユーザは、曲の選択、再生開始一時停止などの音楽の再生に関する各種の操作を、表示部11の表面に指などでタッチして入力することができる。

0026

電子機器1の内部にはグラフィックプロセッサ23が設けられる。グラフィックプロセッサ23は、図示せぬマイコンマイクロコンピュータ)による制御に従ってディスプレイ22に各種の情報を表示したり、タッチパネル21により検出されたユーザのタッチ操作の情報をマイコンに出力したりする。

0027

電子機器1がカーオーディオ機器ではなく、携帯電話機タブレット端末、PC、ゲーム機などの、ディスプレイに重ねて設けられたタッチパネルによってユーザの操作を検出可能な各種の機器とすることができる。

0028

[音楽再生画面の例]
図3は、表示部11に表示される音楽再生画面の例を示す図である。

0029

図3の音楽再生画面は、例えば電子機器1のメニュー画面から音楽再生機能が選択され、再生する曲が選択されたときに表示される。表示部11には、曲名、アーティスト名、アルバム名、再生時刻ジャケット画像などの曲に関する情報が、ビジュアライザー(Visualizer)機能によって表示される画像を背景として表示される。

0030

すなわち、電子機器1には、所定の形状の画像を変化させて視覚的な効果を与えるビジュアライザー機能が搭載されている。

0031

図3の例においては、ビジュアライザー機能により、カラフル円形画像が画面内を移動するような画像が表示される。曲情報の背景にある円に斜線模様を付していることは、それぞれ色が付いていることを示している。以下、適宜、ビジュアライザー機能により表示される画像をビジュアライザー画像という。

0032

音楽再生画面は、壁紙画像のレイヤ、ビジュアライザー画像のレイヤ、曲情報のレイヤ、およびジェスチャー操作画像のレイヤが下から順に配置されることによって構成される。

0033

図4は、壁紙画像の例を示す図である。

0034

図4の例においては無地の所定の色の画像が壁紙画像とされている。ユーザは、あらかじめ用意されている複数の画像の中から所定の画像を選択し、壁紙画像として設定することができる。

0035

図5は、ビジュアライザー画像の例を示す図である。

0036

図5のビジュアライザー画像は、6個の円形の画像である円形画像31−1乃至31−6から構成される。例えば円形画像31−1乃至31−6はそれぞれ異なる色の画像である。円形画像31−1乃至31−6は、操作に用いられる画像とは異なり、画面の装飾を目的として表示される装飾画像である。

0037

図6は、曲情報の例を示す図である。

0038

曲情報は、ツールボタン領域41、曲情報領域42、ジャケット画像領域43、操作ボタン領域44、および設定情報領域45から構成される。

0039

ツールボタン領域41は、電子機器1のトップ画面を表示するときに操作されるTopボタンなどの表示領域である。曲情報領域42は、曲のタイトルファイル名)、アーティスト名、アルバム名(フォルダ名)などの、再生対象になっている曲に関する情報の表示領域である。ジャケット画像領域43は、再生対象になっている曲のジャケット画像の表示領域である。

0040

操作ボタン領域44は、前の曲に戻るときに操作されるボタン44−1、再生の開始/一時停止を行うときに操作されるボタン44−2、次の曲に進むときに操作されるボタン44−3、アルバムを切り替えるときに操作されるボタン44−4,44−5などの、曲の再生に関する操作に用いられるボタンの表示領域である。電子機器1においては、曲がアルバム単位で管理されており、再生するアルバムの順番、曲の順番がプレイリストなどを用いて管理されている。

0041

操作ボタン領域44には、再生モードを選択するときに操作されるボタン44−6、再生メニューを表示するときに操作されるボタン44−7、設定メニューを表示するときに操作されるボタン44−8も表示される。操作ボタン領域44に表示されるボタンはダイレクト操作によって操作されるボタンである。

0042

設定情報領域45は、音量を表すインジケータ時刻などの表示領域である。

0043

このようなレイヤが重なって構成される音楽再生画面が表示されているとき、ユーザは、操作ボタン領域44に表示されるボタンを用いた操作と同じ操作をジェスチャー操作によっても行うことができる。電子機器1には、ユーザのタッチ操作の軌跡を検出する機能が設けられている。

0044

例えば、左方向のドラッグが行われた場合、再生する曲を前の曲に戻る処理が行われる。左方向のドラッグは、ボタン44−1を用いた操作と同じ操作のための「前の曲」のジェスチャー操作である。なお、ドラッグは、画面上にタッチし、その状態のまま指を移動させてから離す操作である。

0045

また、右方向のドラッグが行われた場合、再生する曲を次の曲に進める処理が行われる。右方向のドラッグは、ボタン44−3を用いた操作と同じ操作のための「次の曲」のジェスチャー操作である。

0046

上方向のドラッグが行われた場合、再生するアルバムを1つ前のアルバムに切り替える処理が行われる。上方向のドラッグは、ボタン44−4を用いた操作と同じ操作のための「前のアルバム」のジェスチャー操作である。

0047

下方向のドラッグが行われた場合、再生するアルバムを1つ後のアルバムに切り替える処理が行われる。下方向のドラッグは、ボタン44−5を用いた操作と同じ操作のための「次のアルバム」のジェスチャー操作である。

0048

曲の一時停止中にタップが行われた場合、曲の再生が開始され、曲の再生中にタップが行われた場合、曲の一時停止が行われる。タップは、画面上にタッチし、タッチした位置を中心とする規定の範囲内で離す操作である。

0049

ジェスチャー操作が検出されたとき、ジェスチャー操作を検出したことを表すフィードバック画像がビジュアライザー画像を用いて表示される。

0050

[フィードバック画像の例]
ここで、フィードバック画像の詳細について説明する。説明の便宜上、適宜、曲情報の図示を省略する。

0051

図7は、ビジュアライザー画像の動きの例を示す図である。

0052

白抜き矢印で示すように、ビジュアライザー画像を構成する円形画像31−1乃至31−6は、それぞれ異なる方向に一定の速度で移動する。

0053

円形画像31−1は矢印#1で示すように現在位置から右上に移動し、円形画像31−2は矢印#2で示すように現在位置から左下に移動する。円形画像31−3は矢印#3で示すように現在位置から右下に移動し、円形画像31−4は矢印#4で示すように現在位置から右下に移動する。円形画像31−5は矢印#5で示すように現在位置から左上に移動し、円形画像31−6は矢印#6で示すように現在位置から下に移動する。

0054

円形画像31−1乃至31−6は、画面の端まで移動したとき、反射して方向を変える。このように、ビジュアライザー画像は、複数の円形画像がランダム跳ね回るような印象の画像である。

0055

図8は、図7の画面に続く画面の例を示す図である。

0056

図8は、それぞれの円形画像が画面の端に近い位置に移動した状態を示している。この状態においてユーザが実線矢印で示すように位置P1から位置P2まで右方向のドラッグを行った場合、「次の曲」のジェスチャー操作が検出され、図9に示す矢印画像61が表示される。右向きの矢印の画像である矢印画像61はジェスチャー操作画像のレイヤに表示される画像である。矢印画像61は一時的に表示される。「次の曲」のジェスチャー操作が検出されたとき、矢印画像61が表示されずに、図10以降の画面が表示されるようにしてもよい。

0057

図10は、図9の画面に続く画面の例を示す図である。

0058

図10に示すように、円形画像31−1乃至31−6は、それぞれ、ジェスチャー操作が検出されたときの位置から、画面の中央付近に移動し、図11に示すように所定の位置に配置されることによってフィードバック画像71を構成する。

0059

フィードバック画像71は、円形画像31−3、円形画像31−1、円形画像31−2、円形画像31−4が横一列に並び、円形画像31−2の上に円形画像31−5が、円形画像31−2の下に円形画像31−6がそれぞれ配置されることによって構成される。円形画像31−1乃至31−6がこのように配置されることによって1つの右向きの矢印が表現される。

0060

再生する曲を次の曲に進める処理が行われた後、フィードバック画像71を構成する円形画像31−1乃至31−6は離れ、ビジュアライザー画像を構成する装飾画像としての移動を再開する。フィードバック画像71の表示時間は、例えば矢印画像61の表示時間より長い時間である。

0061

図12は、音楽再生画面の遷移の例を示す図である。

0062

図12上段に示すように、ビジュアライザー画像が曲情報の背景として表示される音楽再生画面に対して右方向のドラッグが行われた場合、矢印画像61が曲情報に重ねて表示される。

0063

矢印画像61が表示された後、矢印#11の先に示すように、ビジュアライザー画像を構成要素とするフィードバック画像71が曲情報の背景として表示される。フィードバック画像71の表示に合わせて所定の音がスピーカから出力される。

0064

他のジェスチャー操作が検出された場合も同様に、ジェスチャー操作の種類に応じた形状を表現するフィードバック画像が、ビジュアライザー画像を用いて表示される。例えば、左方向のドラッグが行われ、「前の曲」のジェスチャー操作が検出された場合、左向きの矢印を表現するフィードバック画像が円形画像31−1乃至31−6を用いて表示される。

0065

また、上方向のドラッグが行われ、「前のアルバム」のジェスチャー操作が検出された場合、上向きの矢印を表現するフィードバック画像が円形画像31−1乃至31−6を用いて表示される。下方向のドラッグが行われ、「次のアルバム」のジェスチャー操作が検出された場合、下向きの矢印を表現するフィードバック画像が円形画像31−1乃至31−6を用いて表示される。なお、フィードバック画像は矢印を表現する画像に限られない。ジェスチャー操作を表現する各種の形状の画像をフィードバック画像として表示させることが可能である。

0066

このように、電子機器1においては、ビジュアライザー機能と、ジェスチャー操作のフィードバックにデザイン的なつながりがあるGUIが実現される。

0067

ユーザは、ジェスチャー操作が検出されたことを、ビジュアライザー画像を構成要素とするフィードバック画像から確認することができる。

0068

また、ビジュアライザー画像を構成要素としてフィードバック画像を表示するようにしたため、フィードバックをユーザに与える際に、ビジュアライザー画像の明度を落としたり、曲情報やボタンのレイアウトを調整したりするなどの処理が不要になる。

0069

さらに、フィードバックをビジュアライザー画像全体で表示するようにしたため、視認性を向上させることが可能になる。

0070

以上のような画面表示を行う電子機器1の一連の処理についてはフローチャートを参照して説明する。

0071

[電子機器の構成例]
図13は、電子機器1のハードウェア構成例を示すブロック図である。

0072

電子機器1は、タッチパネル21、ディスプレイ22、グラフィックプロセッサ23の他に、マスターマイコン101、およびスピーカ102から構成される。

0073

ディスプレイ22は、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイなどにより構成され、グラフィックプロセッサ23による制御に従って、メニュー画面、音楽再生画面などの各種の画面を表示する。

0074

タッチパネル21は、表示部11の表面に対するユーザのタッチ操作を検出し、タッチ操作が行われた位置を表すアナログ信号をグラフィックプロセッサ23に出力する。

0075

グラフィックプロセッサ23はマスターマイコン101と相互通信を行う。グラフィックプロセッサ23は、マスターマイコン101から供給された画面データに基づいて、各種の画面をディスプレイ22に表示させる。また、グラフィックプロセッサ23は、タッチパネル21から供給された信号を受信し、タッチ操作が行われた位置(座標)を表す情報をマスターマイコン101に出力する。

0076

マスターマイコン101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。マスターマイコン101は、ROMに記憶されているプログラムを実行し、電子機器1の全体の動作を制御する。

0077

例えば、マスターマイコン101は、グラフィックプロセッサ23を制御し、音楽再生画面をディスプレイ22に表示させる。また、マスターマイコン101は、スピーカ102に音声信号を出力し、フィードバック画像の表示に合わせて音を出力させる。マスターマイコン101は、図示せぬメモリに記憶されている音楽データを再生し、スピーカ102から音楽を出力させるなどの処理も行う。

0078

スピーカ102は、マスターマイコン101から供給された信号に基づいて音を出力する。

0079

図14は、電子機器1の機能構成例を示すブロック図である。図14に示す機能部のうちの少なくとも一部は、図13のマスターマイコン101により所定のプログラムが実行されることによって実現される。

0080

電子機器1においては、ジェスチャー操作検出部111、表示制御部112、処理実行部113、および出力制御部114が実現される。グラフィックプロセッサ23から供給された、タッチ操作が行われた座標を表す情報は、ジェスチャー操作検出部111、表示制御部112、および処理実行部113に供給される。

0081

ジェスチャー操作検出部111は、グラフィックプロセッサ23から供給された情報に基づいてジェスチャー操作を検出する。例えば、ジェスチャー操作検出部111は、ユーザによるタッチ操作の軌跡を特定し、特定した軌跡と、予め設定されている所定のパターンの軌跡が一致する場合、ジェスチャー操作が行われたものとして判定する。ジェスチャー操作検出部111に対しては、「前の曲」、「次の曲」、「前のアルバム」、「次のアルバム」などのそれぞれのジェスチャー操作に対応する軌跡を表す情報が予め設定されている。

0082

ジェスチャー操作検出部111は、ジェスチャー操作が行われたことを検出した場合、ユーザにより行われたジェスチャー操作の種類を表す情報を出力する。ジェスチャー操作検出部111から出力された情報は、表示制御部112、処理実行部113、および出力制御部114に供給される。

0083

表示制御部112は、グラフィックプロセッサ23に画面データを供給し、ディスプレイ22の画面表示を制御する。表示制御部112は、ジェスチャー操作の種類を表す情報がジェスチャー操作検出部111から供給された場合、音楽再生画面に表示させているビジュアライザー画像を制御し、ジェスチャー操作の種類に応じたフィードバック画像を表示させる。

0084

また、表示制御部112は、処理実行部113により行われた処理に応じてディスプレイ22の画面表示を切り替える。

0085

処理実行部113は、ユーザのタッチ操作に応じた処理を実行する。処理実行部113は、処理を実行することによって画面表示が変わる場合、処理の結果を表す情報を表示制御部112に出力する。

0086

例えば、処理実行部113は、「次の曲」のジェスチャー操作が行われたことをジェスチャー操作検出部111から供給された情報に基づいて特定した場合、再生する曲を次の曲に切り替える。また、処理実行部113は、再生する曲を次の曲に切り替えたことを表す情報を表示制御部112に出力する。表示制御部112においては、切り替え後の曲に関する情報を表示するように曲情報の表示が切り替えられる。

0087

出力制御部114は、ジェスチャー操作が行われたことを表す情報がジェスチャー操作検出部111から供給された場合、スピーカ102を制御し、所定の音を出力させる。

0088

[電子機器の処理]
次に、図15のフローチャートを参照して、電子機器1の一連の処理について説明する。図15の処理は、図3の音楽再生画面が表示されているときに開始される。

0089

テップS1において、タッチパネル21は、ユーザのタッチ操作を検出する。タッチパネル21は、タッチ操作が行われた位置を表す信号をグラフィックプロセッサ23に出力する。

0090

ステップS2において、グラフィックプロセッサ23は、タッチ操作が行われた座標を検出する。グラフィックプロセッサ23は、検出した座標を表す情報をマスターマイコン101に出力する。

0091

ステップS3において、ジェスチャー操作検出部111は、ユーザが、規定時間内に規定移動範囲内でリリースしたか否かをグラフィックプロセッサ23から供給された情報に基づいて判定する。ここでは、規定時間内のタッチ操作の軌跡が規定移動範囲内にある場合、タップが行われたと判定され、規定移動範囲を超えている場合、ドラッグ操作が行われたと判定される。

0092

規定時間内に規定移動範囲内でリリースしたとステップS3において判定された場合、ステップS4において、処理実行部113はタップに応じた処理を実行する。例えば、操作ボタン領域44に表示されている一時停止ボタン上でタップが行われた場合、処理実行部113は曲の再生を停止する。

0093

一方、規定時間内に規定移動範囲内でリリースしていないとステップS3において判定した場合、ステップS5において、ジェスチャー操作検出部111は、ジェスチャー操作が行われたか否かを判定する。タッチ操作の軌跡が予め設定されているパターンの軌跡である場合、ジェスチャー操作が行われたとして判定され、予め設定されているパターンと異なる軌跡である場合、ジェスチャー操作ではないドラッグが行われたと判定される。

0094

ジェスチャー操作が行われたとステップS5において判定した場合、ステップS6において、ジェスチャー操作検出部111はジェスチャー操作を受け付ける。ジェスチャー操作検出部111は、受け付けたジェスチャー操作の種類を表す情報を出力する。

0095

ステップS7において、表示制御部112は、ユーザにより行われたジェスチャー操作の種類に応じた形状を表現するフィードバック画像を音楽再生画面に表示させる。すなわち、表示制御部112は、ビジュアライザー画像として表示していたそれぞれの円形画像を移動させ、フィードバック画像を表示させる。

0096

ステップS8において、処理実行部113は、ユーザにより行われたジェスチャー操作に応じた処理を実行する。

0097

一方、ジェスチャー操作が行われていないとステップS5において判定した場合、ステップS9において、ジェスチャー操作検出部111は無効な操作が行われたとして判断する。

0098

ステップS4においてタップに応じた処理が実行された後、ステップS8においてジェスチャー操作に応じた処理が実行された後、またはステップS9において無効な操作が行われたと判断された後、処理は終了される。以上の処理が、音楽再生画面が表示されている間、繰り返し行われる。

0099

以上の処理により、ビジュアライザー機能と、ジェスチャー操作のフィードバックにデザイン的なつながりがあるGUIが実現される。

0100

[変形例]
ビジュアライザー画像を構成する装飾画像の形状は、円形に限られるものではない。

0101

図16は、ビジュアライザー画像の他の例を示す図である。

0102

図16のビジュアライザー画像は、6個の縦長の長方形の枠の画像である枠画像151−1乃至151−6から構成される。枠画像151−1乃至151−6は、画面左上から画面中央付近に向かって直線的に、前後の画像と一部重ねて配置されることによって構成される。枠画像151−1乃至151−6は、操作に用いられる画像とは異なり、画面の装飾を目的として表示される装飾画像である。

0103

枠画像151−1乃至151−6は、それぞれ、白抜き矢印#21で示すように画面左上方から右下方に移動する。先頭の画像は、所定の位置まで移動したときに消え、最後尾の画像として再度表示される。図16の白抜き矢印#21は実際に表示される画像ではない。

0104

このようなビジュアライザー画像が表示される音楽再生画面に対して右方向のドラッグが行われ、「次の曲」のジェスチャー操作が検出された場合、右向きの矢印の画像である矢印画像61が一時的に表示される。この場合においても、矢印画像61が表示されないようにすることが可能である。

0105

また、図17に示すように、枠画像151−1乃至151−6のうち、例えばそのとき先頭にある枠画像151−1のみが画面中央に表示される。画面中央に表示された枠画像151−1は変形し、図18に示すようにフィードバック画像161として表示される。フィードバック画像161は、1つの右向きの矢印を表現する画像である。

0106

この例においては、フィードバック画像が、ビジュアライザー画像を構成する、1つの枠画像を構成要素として表示されることになる。

0107

このように、フィードバック画像を構成する装飾画像を各種の形状の画像とすることが可能である。また、ビジュアライザー画像を構成する全ての装飾画像を用いてフィードバック画像を表示するのではなく、一部の複数の装飾画像や1つの装飾画像を用いてフィードバック画像を表示するようにすることも可能である。

0108

<第2の実施の形態(軌跡画像を用いたフィードバックの例)>
次に、ユーザによるタッチ操作の軌跡を表す画像である軌跡画像を構成要素としてフィードバック画像を表示する場合の例について説明する。

0109

この例においては、フィードバック画像を構成する画像は、ビジュアライザー機能によって表示される画像ではなく、軌跡画像となる。軌跡画像は、例えば曲情報のレイヤの上のレイヤに表示される、所定の透明度を有する色付きの画像である。軌跡画像も、操作に用いられる画像とは異なり、画面の装飾を目的として表示される装飾画像である。

0110

図19は、軌跡画像の例を示す図である。

0111

図19に示すように、ユーザが例えば画面上の位置P11にタッチ操作を行った場合、位置P11の周りに軌跡画像201が表示される。また、位置P11にタッチしたまま、図20の実線矢印で示すように、ユーザが左下方向の位置P12まで指を移動させた場合、ユーザの指の軌跡に沿って軌跡画像202が表示される。

0112

このように、電子機器1においては、ユーザのタッチ操作の軌跡に応じて、その軌跡を表す軌跡画像が表示される。軌跡画像の表示は、グラフィックプロセッサ23からの情報を受信した表示制御部112により行われる。

0113

図21は、ジェスチャー操作の例を示す図である。

0114

図21の実線矢印で示すように、位置P21から位置P22まで右方向のドラッグが行われた場合、図22に示す軌跡画像211が表示されるとともに、「次の曲」のジェスチャー操作がジェスチャー操作検出部111により検出される。

0115

図23は、図22の画面に続く画面の例を示す図である。

0116

「次の曲」のジェスチャー操作がジェスチャー操作検出部111により検出された場合、表示制御部112は、軌跡画像211を変形させ、ジェスチャー操作の種類に応じた形状を表現するフィードバック画像221を表示させる。フィードバック画像221は、軌跡画像211を構成要素とする、1つの右方向の矢印を表現する画像である。

0117

図24は、音楽再生画面の遷移の例を示す図である。

0118

図24の上段に示すように、音楽再生画面に対して右方向のドラッグが行われた場合、軌跡画像211が曲情報に重ねて表示される。

0119

軌跡画像211が表示された後、矢印#31の先に示すように、軌跡画像211を変形させたフィードバック画像221が曲情報に重ねて表示される。フィードバック画像221の表示に合わせて所定の音がスピーカから出力される。

0120

他のジェスチャー操作が検出された場合も同様に、ジェスチャー操作の種類に応じた形状を表現するフィードバック画像が、軌跡画像を用いて表示される。例えば、左方向のドラッグが行われ、「前の曲」のジェスチャー操作が検出された場合、左向きの矢印を表現するフィードバック画像が軌跡画像を用いて表示される。

0121

また、上方向のドラッグが行われ、「前のアルバム」のジェスチャー操作が検出された場合、上向きの矢印を表現するフィードバック画像が軌跡画像を用いて表示される。下方向のドラッグが行われ、「次のアルバム」のジェスチャー操作が検出された場合、下向きの矢印を表現するフィードバック画像が軌跡画像を用いて表示される。フィードバック画像は矢印を表現する画像に限られない。ジェスチャー操作を表現する各種の形状の画像をフィードバック画像として表示させることが可能である。

0122

このように、電子機器1においては、ユーザのタッチ操作の軌跡を表示する機能と、ジェスチャー操作のフィードバックにデザイン的なつながりがあるGUIが実現される。

0123

ユーザは、ジェスチャー操作が検出されたことを、軌跡画像を構成要素とするフィードバック画像から確認することができる。

0124

[電子機器の処理]
次に、図25のフローチャートを参照して、軌跡画像を構成要素とするフィードバック画像を表示する電子機器1の一連の処理について説明する。図25の処理は、基本的に、図15の処理と同様の処理である。重複する説明については適宜省略する。

0125

ステップS11において、タッチパネル21は、ユーザのタッチ操作を検出する。

0126

ステップS12において、グラフィックプロセッサ23は、タッチ操作が行われた座標を検出する。

0127

ステップS13において、表示制御部112は、タッチ操作の軌跡を表す軌跡画像を表示させる。

0128

ステップS14において、ジェスチャー操作検出部111は、ユーザが、規定時間内に規定移動範囲内でリリースしたか否かを判定する。

0129

規定時間内に規定移動範囲内でリリースしたとステップS14において判定された場合、ステップS15において、処理実行部113はタップに応じた処理を実行する。

0130

一方、規定時間内に規定移動範囲内でリリースしていないとステップS14において判定した場合、ステップS16において、ジェスチャー操作検出部111は、ジェスチャー操作が行われたか否かを判定する。

0131

ジェスチャー操作が行われたとステップS16において判定した場合、ステップS17において、ジェスチャー操作検出部111はジェスチャー操作を受け付ける。

0132

ステップS18において、表示制御部112は、ユーザにより行われたジェスチャー操作に応じた形状を表現するフィードバック画像を表示させる。すなわち、表示制御部112は、軌跡画像を変形させてフィードバック画像を表示させる。

0133

ステップS19において、処理実行部113は、ユーザにより行われたジェスチャー操作に応じた処理を実行する。

0134

一方、ジェスチャー操作が行われていないとステップS16において判定した場合、ステップS20において、ジェスチャー操作検出部111は無効な操作が行われたとして判断する。

0135

ステップS15においてタップに応じた処理が実行された後、ステップS19においてジェスチャー操作に応じた処理が実行された後、またはステップS20において無効な操作が行われたと判断された後、処理は終了される。以上の処理が、音楽再生画面が表示されている間、繰り返し行われる。

0136

<変形例>
以上においては、音楽再生画面に対してジェスチャー操作が行われた場合のフィードバック画像について説明したが、ジェスチャー操作の対象となる画面は他の画面であってもよい。例えば、メニュー画面、静止画動画再生画面テキスト入力画面に対してジェスチャー操作が行われた場合に、ビジュアライザー画像を構成要素として、または軌跡画像を構成要素としてフィードバック画像を表示するようにしてもよい。

0137

また、ビジュアライザー画像または軌跡画像を構成要素としてフィードバック画像を表示するものとしたが、ジェスチャー操作の検出時に表示されている各種の装飾画像からフィードバック画像が構成されるようにすることも可能である。

0138

[コンピュータの構成例]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用パーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

0139

図26は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

0140

CPU251、ROM252、RAM253は、バス254により相互に接続されている。

0141

バス254には、さらに、入出力インタフェース255が接続されている。入出力インタフェース255には、キーボードマウスなどよりなる入力部256、ディスプレイ、スピーカなどよりなる出力部257が接続される。また、入出力インタフェース255には、ハードディスク不揮発性のメモリなどよりなる記憶部258、ネットワークインタフェースなどよりなる通信部259、リムーバブルメディア261を駆動するドライブ260が接続される。

0142

以上のように構成されるコンピュータでは、CPU251が、例えば、記憶部258に記憶されているプログラムを入出力インタフェース255及びバス254を介してRAM253にロードして実行することにより、上述した一連の処理が行われる。

0143

CPU251が実行するプログラムは、例えばリムーバブルメディア261に記録して、あるいは、ローカルエリアネットワークインターネットデジタル放送といった、有線または無線伝送媒体を介して提供され、記憶部258にインストールされる。

0144

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

0145

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

0146

例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担共同して処理するクラウドコンピューティングの構成をとることができる。

0147

また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。

0148

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。

0149

[構成の組み合わせ例
本技術は、以下のような構成をとることもできる。

0150

(1)
操作に用いられる画像とは異なる装飾画像を表示部に表示させる表示制御部と、
前記表示部に対するユーザの接触操作を検出する検出部と、
所定の軌跡の前記接触操作に応じた処理を実行する処理部と
を備え、
前記表示制御部は、前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる
表示制御装置。

0151

(2)
前記表示制御部は、ビジュアライザーの機能によって、画面内を動く前記装飾画像を表示させる
前記(1)に記載の表示制御装置。

0152

(3)
前記表示制御部は、複数の前記装飾画像を表示し、複数の前記装飾画像の全てを用いて構成される前記フィードバック画像を表示させる
前記(2)に記載の表示制御装置。

0153

(4)
前記表示制御部は、前記所定の軌跡の前記接触操作が検出されたときの位置から、複数の前記装飾画像をそれぞれ移動させて前記フィードバック画像を表示させる
前記(3)に記載の表示制御装置。

0154

(5)
前記表示制御部は、複数の前記装飾画像を表示し、1つの前記装飾画像を変形させて前記フィードバック画像を表示させる
前記(2)に記載の表示制御装置。

0155

(6)
前記表示制御部は、前記装飾画像に重ねて、再生中の曲に関する情報を表示させる
前記(2)乃至(5)のいずれかに記載の表示制御装置。

0156

(7)
前記表示制御部は、前記装飾画像として前記接触操作の軌跡を表す画像を表示し、前記軌跡を表す画像を変形させて前記フィードバック画像を表示させる
前記(1)に記載の表示制御装置。

0157

(8)
前記表示制御部は、前記装飾画像を、再生中の曲に関する情報に重ねて表示させる
前記(7)に記載の表示制御装置。

0158

(9)
前記所定の軌跡の前記接触操作が検出された場合、所定の音を出力させる出力制御部をさらに備える
前記(1)乃至(8)のいずれかに記載の表示制御装置。

0159

(10)
操作に用いられる画像とは異なる装飾画像を表示部に表示させ、
前記表示部に対するユーザの接触操作を検出し、
所定の軌跡の前記接触操作に応じた処理を実行し、
前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる
ステップを含む表示制御方法。

0160

(11)
操作に用いられる画像とは異なる装飾画像を表示部に表示させ、
前記表示部に対するユーザの接触操作を検出し、
所定の軌跡の前記接触操作に応じた処理を実行し、
前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。

0161

1電子機器, 11 表示部, 21タッチパネル, 22ディスプレイ, 23グラフィックプロセッサ, 101マスターマイコン, 102スピーカ, 111ジェスチャー操作検出部, 112表示制御部, 113処理実行部, 114出力制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ