図面 (/)

技術 表示されるカラーシンボロジーの視知覚の向上

出願人 エルビット・システムズ・リミテッド
発明者 ベネッシュ,ギルオフィール,ヨアフ
出願日 2015年12月13日 (4年10ヶ月経過) 出願番号 2017-543903
公開日 2018年2月1日 (2年8ヶ月経過) 公開番号 2018-503198
状態 特許登録済
技術分野 イメージ処理・作成
主要キーワード 緑色背景 視覚パラメータ 環境特徴 補足画像 ハンドヘルドディスプレイ 背景環境 ヘッドトラッカ ディスプレイボード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年2月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題・解決手段

拡張現実提示視知覚を向上させるための方法およびシステムである。シースルー頭部搭載型ディスプレイ(HMD)を装着したユーザの位置および見通し線(LOS)が検出される。検出された位置および検出されたLOSに少なくとも基づいて、HMDを通してユーザが見る未来背景環境予測される。ユーザLOSに対応する背景位置における未来の背景環境の少なくとも1つの色属性が予測される。予測された色属性は、背景位置において未来の背景環境の上に重ねてHMDに投射される予定前景補足画像の少なくとも1つの色属性と比較される。不適合状態が検出された場合、不適合状態を最小限にするように補足画像の少なくとも1つの視覚パラメータが調整され、調整後の視覚パラメータを有する補足画像が背景位置においてHMDに投射される。

概要

背景

ヘッドアップディスプレイ(HUD)は、ビューアが現在の視点から視線そらすことを必要とせずにビューアに視覚情報提示する透明またはシースルー電子ディスプレイである。HUDという用語は、たとえば航空機操縦士などのユーザが、下を向いて下方のインストルメントパネルに視線を向ける代わりに頭部を「上に(アップ)」したまま前方に視線を向けて情報を見ることができることに由来する。HUDは、たとえば航空機の操縦室に搭載された、据置型ディスプレイ部品を有し得る。またHUDは、ユーザの頭部の位置および向きに伴って動くディスプレイ部品を特色としてもよい。可動式ディスプレイを有するHUDは、頭部搭載型ディスプレイまたはヘルメット搭載型ディスプレイ(HMD)としても知られている。

一般的なHUDは、プロジェクタユニットコンバイナ、およびビデオ生成コンピュータという3つの主要部品を含む。HUD内の投射ユニットは、陰極線管を有する凸面レンズまたは凹面鏡発光ダイオード、またはその焦点における液晶ディスプレイといった光コリメータ装置である。コンバイナは一般に、ビューアの正面に直接位置する角度を有する平面ガラス片である。この平面ガラス片は、ビームスプリッタとして機能し、ビューアが、投射される画像と同時に彼の視野内の背景シーンを見ることができるように、投射される画像の方向を変える。コンピュータは、HUDの投射ユニットとインタフェース接続し、投射ユニットによって表示される画像およびシンボロジーを生成する。一般的な航空機HUDは、たとえば対気速度、高度、水平線進路旋回バンクスリップ、およびスキッドパラメータなどの飛行データを表すシンボルまたは指示器を表示する。リアルタイム飛行情報に加えて、他の種類のシンボルおよびデータも航空機HUDに提示されてよい。たとえば事的用途では、たとえば攻撃目標地、閉鎖速度、距離、発射容認見通し線、および兵器ステータスなどの兵器システムおよびセンサデータを表すシンボルが含まれる。

HUDを通して見え背景環境特徴の色(または色関連特性)はしばしば、背景ビュー重畳されてHUDに表示されるシンボルと衝突または干渉し合うことがある。たとえば、背景領域の特定の色または他の色彩特性(たとえば色相明度彩度)とシンボルの特定の色または他の色彩特性とが組み合わさると、ビューアが背景に対してシンボルを正確に知覚することへの問題または課題が生じ得る。具体的には、色の組み合わせによって、背景からシンボルを区別することが難しくなり、またはシンボルの本来意図される色とは異なる別の色が実際にはビューアによって知覚される結果がもたらされ得る。特定の状況において、表示されるシンボロジーは時間依存性であるか、あるいはビューアにとって決定的に重要なもの(たとえば、リアルタイム飛行情報の指示)であってよく、その場合、表示される情報がビューアによって不正確に知覚され、または誤って理解されると、有害な事象が生じ得る。

“Automatic color contrast adjuster”と題されたBatesらの米国特許第6,809,741号は、現在の色の組み合わせが問題のある色の組み合わせである場合、現在の色の組み合わせに基づいてテキストおよび背景に新たな色の組み合わせを自動的に選択し適用する色コントラスト調整器を開示する。テキストは、任意のテキストオブジェクトであってよく、背景は、その色が決定され得る任意の背景オブジェクトであってよい。色コントラスト調整器は、複数の問題および各ユーザにとって好適な色の組み合わせを格納し、問題のある色の組み合わせと好適な色の組み合わせとを入れ替えることができる。色コントラスト調整器は、色の組み合わせの例をユーザに提供し、ユーザがより良い色の組み合わせを選択することを可能にし、好適な組み合わせおよび問題のある組み合わせをユーザ嗜好に追加することができる。

“Adaptive color schemes”と題されたShumらの米国特許第7,184,063号は、表示された前景色と抽出された背景色との間に対立が検出された場合、表示された前景色を適応的に変更するための技術を開示する。そのような対立を検出すると、既定可読性条件に従って新たな前景色が選択される。色プール候補は、抽出された背景色に関する候補色の可読性値が既定の可読性閾値を上回る場合、実行可能な前景色であると見なされてよい。

“Display apparatus and display method for improving visibility of augmented reality object”と題されたKimらの米国特許出願第2012/0092369号は、背景と異なるように各オブジェクトを表示することによって各拡張現実オブジェクト可視性を向上させることを開示する。ディスプレイ装置および表示方法は、重なり合ったオブジェクトまたは重なり合ったオブジェクトのマップを出力すること、あるいはオブジェクトが密集して配置された複雑なエリアを拡大してオブジェクトの重複を低減させることによって、可視性を向上させ得る。

“Selection of foreground characteristics based on background”と題されたGundavarapuの米国特許出願第2012/0127198号は、テキストが上に重ねて表示される1または複数の背景色に基づいて前景テキスト色を自動的に設定するテキスト色付けシステムを開示する。テキスト色付けシステムは、テキストのストリングの各画素に隣り合う背景色を識別する。画素領域ごとに、システムは、1または複数の色付け基準を満たすように色を選択する。システムは、選択された色に基づいて各領域にテキスト色を設定する。その後システムは、たとえばコンピュータディスプレイまたはモバイルデバイスディスプレイを通してユーザに階層画像を表示する。

“Display of shadows via see−through display”と題されたLambの米国特許出願第2013/0147826号は、シースルースクリーン備えたディスプレイデバイスを操作する方法を開示する。オブジェクトの画像がディスプレイスクリーンに表示されると同時に、オブジェクトによって掛かる陰の画像が背景シーンの上に表示される。背景シーンの画像内で陰の位置が決定される。陰の内側の明度に比べて陰に隣接する領域の相対的明度を増すことによって背景シーンの高度な画像が描写され、高度な画像が表示される。

“Object display device and object display method”と題されたモリナガらの米国特許出願第2013/0222424号は、画像分析ユニットによって取得されたオブジェクトのサイズおよび色に関する情報および実空間における画像の色に関する情報に基づいて、実空間における画像から、実空間の画像においてオブジェクトが上に重ねて表示される場合にオブジェクトが容易に視知覚される領域を抽出するパターン抽出ユニットを備えたディスプレイデバイスを開示する。表示位置補正ユニットは、オブジェクトの視知覚を容易にし、たとえば情報性などの様々な効果を向上させるために、オブジェクトの表示位置をその領域に補正する。

“Transparent display apparatus and method thereof”と題されたYunらの米国特許出願第2013/0265232号は、透明ディスプレイの裏側に見えるオブジェクトのビューにおいて表示された要素をユーザがより良く見分けることができるように透明ディスプレイに情報を表示するための方法および装置を開示する。少なくとも1つのセンサが、オブジェクトの位置およびユーザの位置を検知する。オブジェクトの位置およびユーザの位置に基づいて、ディスプレイを通してユーザがオブジェクトを見ることができるディスプレイエリアが決定され、決定されたエリアに基づいて透明ディスプレイに情報が表示される。

“Vehicle drive assist system”と題されたスズキらの米国特許出願第2007/0013495号は、好ましくない環境条件下で車線マーカをより良く認識することができるように、運転者の車両の走行車線を示す車線マーカを表示するためのシステムを開示する。システムコントローラは、たとえばカメラによって取り込まれた路面の画像、サーミスタによって検知された温度、および検知された温度に基づくの状態およびABSユニットによって示されるスリップ率など、様々なソースからの車線情報を取得する。視線検知システムは、運転者の視点位置を検出する。車両のフロントガラスを通して運転者の視点から見える走行車両の両側縁部に対応する2つの車線ガイドの画像が、検出された視点位置および取得された車線情報に基づいて生成される。ディスプレイユニットは、車両フロントガラスに、またはそれを通して画像を表示する。車両ガイドの背景色(路面)が検出され、検出された背景色に対してコントラストが高くなるように車両ガイドの表示色が設定される。

“Headup display, display method for headup display, and program for headup display”と題されたババグチの米国特許出願第2014/0253579号は、元の表示色を反映しつつ視知覚性を改善するように意図されたヘッドアップディスプレイ(HUD)を開示する。第1の表示色に初期設定された規定情報が、ユーザの視線方向に配置されたディスプレイボードに投射される。ディスプレイボードを通してユーザによって視知覚される背景色が検出される。検出された背景色に基づいて第1の表示色が調整され、規定の情報は調整後の色で表示される。具体的には、第1の表示色は、検出された背景色と第1の表示色との差に対応する第2の表示色に調整され、ここでは差は濃淡差を表してよく、または他の色情報に基づいてよい。たとえば、第2の表示色は、背景色に対して最も容易に視知覚可能な補色と第1の表示色とを混合することによって得られてよく、混合は算出された混合比に基づいてよい。

概要

拡張現実提示の視知覚を向上させるための方法およびシステムである。シースルー頭部搭載型ディスプレイ(HMD)を装着したユーザの位置および見通し線(LOS)が検出される。検出された位置および検出されたLOSに少なくとも基づいて、HMDを通してユーザが見る未来の背景環境が予測される。ユーザLOSに対応する背景位置における未来の背景環境の少なくとも1つの色属性が予測される。予測された色属性は、背景位置において未来の背景環境の上に重ねてHMDに投射される予定の前景補足画像の少なくとも1つの色属性と比較される。不適合状態が検出された場合、不適合状態を最小限にするように補足画像の少なくとも1つの視覚パラメータが調整され、調整後の視覚パラメータを有する補足画像が背景位置においてHMDに投射される。A

目的

本発明は、表示される補足画像コンテンツの視知覚を向上させるためのシステムおよび方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

拡張現実提示視知覚を向上させるための方法であって、位置測定ユニットによってユーザの位置を検出することと、見通し線検出器によって前記ユーザの見通し線(LOS)を検出することと、前記検出された位置および前記検出されたLOSに少なくとも基づいて、シースルー頭部搭載型ディスプレイ(HMD)を通して前記ユーザが見る未来背景環境予測することと、前記ユーザのLOSに対応する背景位置における前記未来の背景環境の少なくとも1つの色属性を予測することと、前記背景位置における前記未来の背景環境の前記予測された色属性と、前記背景位置において前記未来の背景環境のビューの上に重ねて前記HMDに投射される予定前景補足画像の少なくとも1つの色属性とを比較することと、前記未来の背景環境の前記予測された色属性と、前記予定の前景補足画像の前記色属性との間に不適合状態が検出された場合、前記不適合状態を最小限にするように前記補足画像の少なくとも1つの視覚パラメータを調整し、前記背景位置において前記HMDに前記調整後の視覚パラメータを有する前記補足画像を投射することとの手順を備える方法。

請求項2

前記背景位置における前記未来の背景環境の少なくとも1つの色属性を予測する前記手順は、リアルタイムで取り込まれた前記背景環境の少なくとも1つの現在の画像、少なくとも1つの過去に取り込まれた前記背景環境の画像、および前記背景環境に関する環境情報から成るリストから選択される少なくとも1つのデータソースに基づいて実行される、請求項1に記載の方法。

請求項3

前記色属性は、明度色相彩度色度放射輝度輝度、および上記の任意の組み合わせから成るリストから選択される、請求項1に記載の方法。

請求項4

前記不適合状態は、前記ユーザによって知覚される、前記前景補足画像と前記背景位置における前記未来の背景環境との間の不十分なコントラスト、前記ユーザによって知覚される、前記未来の背景環境の上に投射された場合の前記前景補足画像の色外観と、基準色消し背景上での前記予定色の外観との過剰な不一致、前記ユーザによって知覚される、前記未来の背景環境の上に投射された場合の前記前景補足画像の外観における視覚的歪み、および前記ユーザによって知覚される、前記未来の背景環境の上に投射された場合の前記前景補足画像の少なくとも1つの色属性の不均一な外観から成るリストから選択される、請求項1に記載の方法。

請求項5

少なくとも1つの視覚パラメータを調整する前記手順は、前記補足画像の少なくとも一部の前記予定色の明度、色相、および彩度の少なくとも1つを変更すること、前記補足画像の少なくとも一部に関して前記予定色とは異なる色を選択すること、前記補足画像の少なくとも一部を囲む輪郭を投射すること、前記補足画像の少なくとも一部を強調またはハイライトすること、前記補足画像の少なくとも一部を省略すること、前記補足画像の形状または種類を変更すること、前記補足画像の少なくとも一部を代替の画像位置に投射すること、および上記の任意の組み合わせから成るリストから選択される少なくとも1つの調整を備える、請求項1に記載の方法。

請求項6

ユーザ色覚データを取得する手順を更に備え、前記不適合状態は、前記ユーザ色覚データに従って決定される、請求項1に記載の方法。

請求項7

前記ユーザ色覚データは、ユーザ色覚能力を決定するように適合された人工知能技術、ユーザ色覚能力を決定するように適合された配色組み合わせのシミュレーションに基づくユーザフィードバック、背景環境の色の組み合わせに重ねて過去に表示された補足画像の知覚に基づくユーザフィードバック、および前記ユーザの目または視力に関する身体的特徴分析から成るリストから選択される少なくとも1つの技術によって取得される、請求項6に記載の方法。

請求項8

背景位置における背景環境の各々に対する前景補足画像の視覚的変更を前記視覚的変更に関するパラメータに関連付ける少なくとも1つの色属性調整関数を定義する手順を更に備え、前記不適合状態を最小限にするように前記補足画像の少なくとも1つの視覚パラメータの前記調整は、前記色属性調整関数に従って実行される、請求項1に記載の方法。

請求項9

前記視覚的変更に関する前記パラメータは、前記ユーザの地理的位置、前記ユーザの見通し線、時間または日付、周辺光天候または気候条件ユーザ格付けに基づく前記視覚的変更の定性的指示、および前記プロセッサによる画像分析に基づく前記視覚的変更の定性的指示から成るリストから選択される少なくとも1つのパラメータを備える、請求項8に記載の方法。

請求項10

拡張現実提示の視知覚を向上させるためのシステムであって、ユーザによって装着され、前記ユーザが背景環境を見ることを可能にし、前記背景環境のビューの上に重ねて前景画像を表示するように構成されたシースルー頭部搭載型ディスプレイ(HMD)と、前記ユーザの位置を検出するように構成された位置測定ユニットと、前記ユーザの見通し線(LOS)を検出するように構成された見通し線検出器と、前記HMD、前記位置測定ユニット、および前記見通し線検出器に結合され、前記検出された位置および前記検出されたLOSに基づいて前記HMDを通して前記ユーザが見る未来の背景環境を予測するように構成され、前記ユーザのLOSに対応する背景位置における前記未来の背景環境の少なくとも1つの色属性を予測するように更に構成され、前記背景位置における前記未来の背景環境の前記予測された色属性と、前記背景位置において前記未来の背景環境のビューの上に重ねて前記HMDに投射される予定の前景補足画像の少なくとも1つの色属性とを比較するように更に構成され、前記未来の背景環境の前記予測された色属性と前記予定の前景補足画像の前記色属性との間に不適合状態が検出された場合、前記不適合状態を最小限にするように前記補足画像の少なくとも1つの視覚パラメータを調整するように更に構成され、前記調整後の視覚パラメータを有する前記補足画像が前記背景位置において前記HMDに投射されるようにするプロセッサとを備えるシステム。

請求項11

前記プロセッサに結合され、前記背景環境の現在の画像を取り込むように構成された少なくとも1つのカメラを更に備え、前記プロセッサは、前記現在の画像の少なくとも1つに基づいて前記背景位置における前記未来の背景環境の前記少なくとも1つの色属性を予測するように構成される、請求項10に記載のシステム。

請求項12

過去に取り込まれた実世界環境の画像を備えるデータベースを更に備え、前記プロセッサは、前記データベースから検索される前記背景環境の少なくとも1つの過去に取り込まれた画像に基づいて前記背景位置における前記未来の背景環境の前記少なくとも1つの色属性を予測するように構成される、請求項10に記載のシステム。

請求項13

前記見通し線検出器は、前記ユーザの頭部の向きを少なくとも検出するように構成されたヘッドトラッカと、前記ユーザの視線の方向を検出するように構成されたアイトラッカとから成るリストから選択される、請求項10に記載のシステム。

請求項14

前記色属性は、明度、色相、彩度、色度、放射輝度、輝度、および上記の任意の組み合わせから成るリストから選択される、請求項10に記載のシステム。

請求項15

前記視覚パラメータは、前記補足画像の少なくとも一部の予定色の明度、色相、および彩度の少なくとも1つを変更すること、前記補足画像の少なくとも一部に関して前記予定色とは異なる色を選択すること、前記補足画像の少なくとも一部を囲む輪郭を投射すること、前記補足画像の少なくとも一部を強調またはハイライトすること、前記補足画像の少なくとも一部を省略すること、前記補足画像の形状または種類を変更すること、前記補足画像の少なくとも一部を代替の画像位置に投射すること、および上記の任意の組み合わせから成るリストから選択される方法で調整される、請求項10に記載のシステム。

請求項16

前記不適合状態は、前記ユーザによって知覚される、前記前景補足画像と、前記背景位置における前記未来の背景環境との間の不十分なコントラスト、前記ユーザによって知覚される、前記未来の背景環境の上に投射された場合の前記前景補足画像の色外観と、基準色消し背景上での前記予定色の外観との過剰な不一致、前記ユーザによって知覚される、前記未来の背景環境の上に投射された場合の前記前景補足画像の外観における視覚的歪み、および前記ユーザによって知覚される、前記未来の背景環境の上に投射された場合の前記前景補足画像の少なくとも1つの色属性の不均一な外観から成るリストから選択される、請求項10に記載のシステム。

請求項17

前記背景環境に関する環境情報を取得するように構成された少なくとも1つのデータソースを更に備え、前記プロセッサは、前記環境情報に基づいて前記背景位置における前記未来の背景環境の前記少なくとも1つの色属性を予測するように構成される、請求項10に記載のシステム。

請求項18

前記プロセッサは更に、背景位置における背景環境の各々に対する前景補足画像の視覚的変更を前記視覚的変更に関するパラメータにリンクする少なくとも1つの色属性調整関数を定義するように構成され、前記プロセッサは、前記色属性調整関数に従って、前記不適合状態を最小限にするように前記補足画像の前記視覚パラメータを調整するように構成される、請求項10に記載のシステム。

請求項19

前記データベースは、3次元(3D)地理モデルを備える、請求項12に記載のシステム。

請求項20

前記データベースは、前記実世界環境に関する更新された情報に従って前記過去に取り込まれた画像を更新するように構成された適応型データベースである、請求項12に記載のシステム。

技術分野

0001

本発明は、概してシースルーディスプレイおよびカラー画像投射に関し、特にシースルーディスプレイにおける視知覚の向上に関する。

背景技術

0002

ヘッドアップディスプレイ(HUD)は、ビューアが現在の視点から視線そらすことを必要とせずにビューアに視覚情報提示する透明またはシースルー電子ディスプレイである。HUDという用語は、たとえば航空機操縦士などのユーザが、下を向いて下方のインストルメントパネルに視線を向ける代わりに頭部を「上に(アップ)」したまま前方に視線を向けて情報を見ることができることに由来する。HUDは、たとえば航空機の操縦室に搭載された、据置型ディスプレイ部品を有し得る。またHUDは、ユーザの頭部の位置および向きに伴って動くディスプレイ部品を特色としてもよい。可動式ディスプレイを有するHUDは、頭部搭載型ディスプレイまたはヘルメット搭載型ディスプレイ(HMD)としても知られている。

0003

一般的なHUDは、プロジェクタユニットコンバイナ、およびビデオ生成コンピュータという3つの主要部品を含む。HUD内の投射ユニットは、陰極線管を有する凸面レンズまたは凹面鏡発光ダイオード、またはその焦点における液晶ディスプレイといった光コリメータ装置である。コンバイナは一般に、ビューアの正面に直接位置する角度を有する平面ガラス片である。この平面ガラス片は、ビームスプリッタとして機能し、ビューアが、投射される画像と同時に彼の視野内の背景シーンを見ることができるように、投射される画像の方向を変える。コンピュータは、HUDの投射ユニットとインタフェース接続し、投射ユニットによって表示される画像およびシンボロジーを生成する。一般的な航空機HUDは、たとえば対気速度、高度、水平線進路旋回バンクスリップ、およびスキッドパラメータなどの飛行データを表すシンボルまたは指示器を表示する。リアルタイム飛行情報に加えて、他の種類のシンボルおよびデータも航空機HUDに提示されてよい。たとえば事的用途では、たとえば攻撃目標地、閉鎖速度、距離、発射容認見通し線、および兵器ステータスなどの兵器システムおよびセンサデータを表すシンボルが含まれる。

0004

HUDを通して見え背景環境特徴の色(または色関連特性)はしばしば、背景ビュー重畳されてHUDに表示されるシンボルと衝突または干渉し合うことがある。たとえば、背景領域の特定の色または他の色彩特性(たとえば色相明度彩度)とシンボルの特定の色または他の色彩特性とが組み合わさると、ビューアが背景に対してシンボルを正確に知覚することへの問題または課題が生じ得る。具体的には、色の組み合わせによって、背景からシンボルを区別することが難しくなり、またはシンボルの本来意図される色とは異なる別の色が実際にはビューアによって知覚される結果がもたらされ得る。特定の状況において、表示されるシンボロジーは時間依存性であるか、あるいはビューアにとって決定的に重要なもの(たとえば、リアルタイム飛行情報の指示)であってよく、その場合、表示される情報がビューアによって不正確に知覚され、または誤って理解されると、有害な事象が生じ得る。

0005

“Automatic color contrast adjuster”と題されたBatesらの米国特許第6,809,741号は、現在の色の組み合わせが問題のある色の組み合わせである場合、現在の色の組み合わせに基づいてテキストおよび背景に新たな色の組み合わせを自動的に選択し適用する色コントラスト調整器を開示する。テキストは、任意のテキストオブジェクトであってよく、背景は、その色が決定され得る任意の背景オブジェクトであってよい。色コントラスト調整器は、複数の問題および各ユーザにとって好適な色の組み合わせを格納し、問題のある色の組み合わせと好適な色の組み合わせとを入れ替えることができる。色コントラスト調整器は、色の組み合わせの例をユーザに提供し、ユーザがより良い色の組み合わせを選択することを可能にし、好適な組み合わせおよび問題のある組み合わせをユーザ嗜好に追加することができる。

0006

“Adaptive color schemes”と題されたShumらの米国特許第7,184,063号は、表示された前景色と抽出された背景色との間に対立が検出された場合、表示された前景色を適応的に変更するための技術を開示する。そのような対立を検出すると、既定可読性条件に従って新たな前景色が選択される。色プール候補は、抽出された背景色に関する候補色の可読性値が既定の可読性閾値を上回る場合、実行可能な前景色であると見なされてよい。

0007

“Display apparatus and display method for improving visibility of augmented reality object”と題されたKimらの米国特許出願第2012/0092369号は、背景と異なるように各オブジェクトを表示することによって各拡張現実オブジェクト可視性を向上させることを開示する。ディスプレイ装置および表示方法は、重なり合ったオブジェクトまたは重なり合ったオブジェクトのマップを出力すること、あるいはオブジェクトが密集して配置された複雑なエリアを拡大してオブジェクトの重複を低減させることによって、可視性を向上させ得る。

0008

“Selection of foreground characteristics based on background”と題されたGundavarapuの米国特許出願第2012/0127198号は、テキストが上に重ねて表示される1または複数の背景色に基づいて前景テキスト色を自動的に設定するテキスト色付けシステムを開示する。テキスト色付けシステムは、テキストのストリングの各画素に隣り合う背景色を識別する。画素領域ごとに、システムは、1または複数の色付け基準を満たすように色を選択する。システムは、選択された色に基づいて各領域にテキスト色を設定する。その後システムは、たとえばコンピュータディスプレイまたはモバイルデバイスディスプレイを通してユーザに階層画像を表示する。

0009

“Display of shadows via see−through display”と題されたLambの米国特許出願第2013/0147826号は、シースルースクリーン備えたディスプレイデバイスを操作する方法を開示する。オブジェクトの画像がディスプレイスクリーンに表示されると同時に、オブジェクトによって掛かる陰の画像が背景シーンの上に表示される。背景シーンの画像内で陰の位置が決定される。陰の内側の明度に比べて陰に隣接する領域の相対的明度を増すことによって背景シーンの高度な画像が描写され、高度な画像が表示される。

0010

“Object display device and object display method”と題されたモリナガらの米国特許出願第2013/0222424号は、画像分析ユニットによって取得されたオブジェクトのサイズおよび色に関する情報および実空間における画像の色に関する情報に基づいて、実空間における画像から、実空間の画像においてオブジェクトが上に重ねて表示される場合にオブジェクトが容易に視知覚される領域を抽出するパターン抽出ユニットを備えたディスプレイデバイスを開示する。表示位置補正ユニットは、オブジェクトの視知覚を容易にし、たとえば情報性などの様々な効果を向上させるために、オブジェクトの表示位置をその領域に補正する。

0011

“Transparent display apparatus and method thereof”と題されたYunらの米国特許出願第2013/0265232号は、透明ディスプレイの裏側に見えるオブジェクトのビューにおいて表示された要素をユーザがより良く見分けることができるように透明ディスプレイに情報を表示するための方法および装置を開示する。少なくとも1つのセンサが、オブジェクトの位置およびユーザの位置を検知する。オブジェクトの位置およびユーザの位置に基づいて、ディスプレイを通してユーザがオブジェクトを見ることができるディスプレイエリアが決定され、決定されたエリアに基づいて透明ディスプレイに情報が表示される。

0012

“Vehicle drive assist system”と題されたスズキらの米国特許出願第2007/0013495号は、好ましくない環境条件下で車線マーカをより良く認識することができるように、運転者の車両の走行車線を示す車線マーカを表示するためのシステムを開示する。システムコントローラは、たとえばカメラによって取り込まれた路面の画像、サーミスタによって検知された温度、および検知された温度に基づくの状態およびABSユニットによって示されるスリップ率など、様々なソースからの車線情報を取得する。視線検知システムは、運転者の視点位置を検出する。車両のフロントガラスを通して運転者の視点から見える走行車両の両側縁部に対応する2つの車線ガイドの画像が、検出された視点位置および取得された車線情報に基づいて生成される。ディスプレイユニットは、車両フロントガラスに、またはそれを通して画像を表示する。車両ガイドの背景色(路面)が検出され、検出された背景色に対してコントラストが高くなるように車両ガイドの表示色が設定される。

0013

“Headup display, display method for headup display, and program for headup display”と題されたババグチの米国特許出願第2014/0253579号は、元の表示色を反映しつつ視知覚性を改善するように意図されたヘッドアップディスプレイ(HUD)を開示する。第1の表示色に初期設定された規定情報が、ユーザの視線方向に配置されたディスプレイボードに投射される。ディスプレイボードを通してユーザによって視知覚される背景色が検出される。検出された背景色に基づいて第1の表示色が調整され、規定の情報は調整後の色で表示される。具体的には、第1の表示色は、検出された背景色と第1の表示色との差に対応する第2の表示色に調整され、ここでは差は濃淡差を表してよく、または他の色情報に基づいてよい。たとえば、第2の表示色は、背景色に対して最も容易に視知覚可能な補色と第1の表示色とを混合することによって得られてよく、混合は算出された混合比に基づいてよい。

課題を解決するための手段

0014

本発明の1つの態様によると、拡張現実提示の視知覚を向上させるための方法が提供される。方法は、位置測定ユニットによってユーザの位置を検出する手順と、見通し線検出器によってユーザの見通し線(LOS)を検出する手順とを含む。方法は更に、少なくとも検出された位置および検出されたLOSに基づいて、シースルー頭部搭載型ディスプレイ(HMD)を通してユーザが見る未来の背景環境を予測する手順を含む。方法は更に、ユーザのLOSに対応する背景位置における未来の背景環境の少なくとも1つの色属性を予測する手順を含む。方法は更に、未来の背景環境の予測された色属性と、背景位置において未来の背景環境のビューの上に重ねてHMDに投射される予定の前景補足画像の少なくとも1つの色属性とを比較する手順を含む。方法は更に、未来の背景画像の色属性と予定の前景補足画像の色属性との間に不適合状態が検出された場合、不適合状態を最小限にするように補足画像の少なくとも1つの視覚パラメータを調整し、調整後の視覚パラメータを有する補足画像を背景位置においてHMDに投射する手順を含む。

0015

本発明の他の態様によると、拡張現実提示の視知覚を向上させるためのシステムが提供される。システムは、ユーザが装着するシースルー頭部搭載型ディスプレイ(HMD)、位置測定ユニット、見通し線検出器、およびプロセッサを含む。HMDは、ユーザが背景環境を見ることを可能にし、背景環境のビューの上に重ねられる前景に画像を表示するように構成される。位置測定ユニットは、ユーザの位置を検出するように構成される。見通し線検出器は、ユーザの見通し線(LOS)を検出するように構成される。プロセッサは、少なくとも検出された位置および検出されたLOSに基づいて、ユーザがHMDを通して見る未来の背景環境を予測するように構成される。プロセッサは更に、ユーザのLOSに対応する背景位置における未来の背景環境の少なくとも1つの色属性を予測するように構成される。プロセッサは更に、背景位置における未来の背景環境の予測された色属性と、背景位置において未来の背景環境のビューの上に重ねてHMDに投射される予定の前景補足画像の少なくとも1つの色属性とを比較するように構成される。未来の背景環境の予測された色属性と予定の前景補足画像の色属性との間に不適合状態が検出された場合、プロセッサは更に、不適合状態を最小限にするように補足画像の少なくとも1つの視覚パラメータを調整するように構成され、調整後の視覚パラメータを有する補足画像が背景位置においてHMDに投射されるようにする。

0016

本発明は、図面と関連して示される以下の詳細な説明によってより深く理解および認識されるものである。

図面の簡単な説明

0017

本発明の実施形態に従って構成され動作可能な、拡張現実提示の視知覚を向上させるためのシステムの概略図である。
本発明の実施形態に従って動作可能な、図1のディスプレイを通して見た時のシーンの典型的なビューの概略図である。
本発明の実施形態に従って動作可能な、図2Aのシーンの典型的な画像の概略図である。
本発明の実施形態に従って動作可能な、図2Aのビューにおいて選択されたオブジェクトの上に重ねられる初期変更シンボルの概略図である。
本発明の実施形態に従って動作可能な、第1の例示的な視覚的変更後の図3Aの重ねシンボルの概略図である。
本発明の他の実施形態に従って動作可能な、第2の例示的な視覚的変更後の図3Aの重ねシンボルの概略図である。
本発明の更に他の実施形態に従って動作可能な、第3の例示的な視覚的変更後の図3Aの重ねシンボルの概略図である。
本発明の他の実施形態に従って動作可能な、図2Aのビューにおいて選択されたオブジェクトの上に部分的に重ねられた初期未変更シンボルの概略図である。
本発明の他の実施形態に従って動作可能な、例示的な視覚的変更後の図4Aの重ねシンボルの概略図である。
本発明の実施形態に従って動作可能な、拡張現実提示の視知覚を向上させるための方法のフロー図である。

実施例

0018

本発明は、表示される補足画像コンテンツの視知覚を向上させるためのシステムおよび方法を提供することによって、従来技術の欠点を克服するものである。システムは、シースルーディスプレイ上に重ねられるシンボルまたは他の前景補足画像の色属性と、ビューアの見通し線に対応する、シンボルが表示される位置における実世界シーンでの背景環境の色属性との間に不適合性がある場合それを検出する。不適合性は、背景からシンボルを知覚または区別することが困難であること、または背景の上に重ねられた場合シンボルの外観が異なって知覚されることであってよい。不適合性が検出されると、シンボルは、たとえばシンボルの色属性を変更することなどによって、不適合を最小限にするように視覚的に変更され、視覚的に変更されたシンボルがディスプレイ上に投射される。システムは、ユーザの現在の視野(FOV)に向けられたカメラによって取り込まれた画像、または同一ユーザまたは他のユーザによって取り込まれた過去に取得された画像、あるいは3次元地理モデルから、関連背景環境に関する色情報を取得してよい。またシステムは、背景環境に関する環境情報も取得してよく、これは潜在的な色不適合性を決定する際に考慮され得る。システムは更に、ユーザのリアルタイム位置データリアルタイム環境情報、および利用可能な画像および画像メタデータに基づいて、未来のユーザ位置および見通し線に関連する潜在的な色不適合性を決定してよい。

0019

ここで、本発明の実施形態に従って構成され動作可能な、拡張現実提示の視知覚を向上させるための、全体として100と示されるシステムの概略図である図1が参照される。システム100は、カメラ104、ディスプレイ106、プロセッサ108、見通し線(LOS)検出器110、位置測定ユニット116、ユーザインタフェース118、およびデータベース120を含む。LOS検出器110は、ヘッドトラッカ112および/またはアイトラッカ114を含む。プロセッサ108は、カメラ104、ディスプレイ106、LOS検出器110、位置測定ユニット116、ユーザインタフェース118、およびデータベース120と通信可能に結合される。

0020

カメラ104は、102と示されるユーザが見ている実世界シーンの画像を取得するように構成される。カメラ104は、ユーザ102の頭部(または他の身体部位)に装着されるか、あるいはたとえばユーザ102が装着している装着型ヘッドギア(たとえばヘルメット、ヘッドバンドゴーグルなど)に取り付けられるなど、頭部(または他の身体部位)上にまたは隣接して取り付けられてよい。あるいはカメラ104は、屋内または屋外環境において、たとえば安定台の上に載置されるなど、ユーザ102の近傍に搭載されてもよい。たとえばカメラ104は、車両または航空機の操縦室内に搭載され、操縦室のフロントガラスを貫通する波長で作動する、外向きの画像センサであってよい。あるいはカメラ104は、ユーザ102によって、またはユーザ102の近傍にいる別の人物によって携帯されてもよい。概してカメラ104は、カメラ104のLOSが、ユーザ102が向いているおおよその方向をまっすぐ向くように配置され、それによってカメラ104はユーザ102のFOV内の環境の画像を取り込むことができる。システム100は、たとえば立体画像を生成するように構成された一対のカメラ104など、複数のカメラ104を含んでよい。またシステム100は、単一のカメラを用いて可能であるFOVよりも広範囲の全体FOVの撮像が可能であるように、様々なFOVを有する複数のカメラを含んでもよい。

0021

カメラ104は、シーンの色情報が導出され得る(可視および非可視波長を含む)任意の範囲の波長で任意の形式電磁放射を取得することを含む、実世界シーンの画像表現を取得および格納することができる任意の種類のセンサデバイスであってよい。たとえばカメラ104は、多色機能(たとえば多色FPA)を備えた前方監視赤外線FLIR)カメラであってよく、あるいはマルチスペクトル画像データを融合させてよい。カメラ104は、後続する処理および/または送信のために電気信号に変換され得る、ビデオ画像表現する連続画像フレームシーケンスなど、少なくとも1つの画像フレームを取得するように動作可能である。したがって、本明細書で使用される「画像」という用語は、任意のスペクトル領域で取得されるシーンの任意の光表現またはデジタル表現を含む、上述した画像センサからの任意の形式の出力を指し、単一画像フレームおよび画像フレームのシーケンス(すなわち「ビデオ画像」)の両方を包含するものである。

0022

ディスプレイ106は、ユーザ102に画像コンテンツ(たとえばビデオ画像)を表示するように構成される。表示された画像は、たとえばユーザ102が見ることができる背景環境の画像などの主要画像コンテンツとともに、たとえばシンボロジー、テキスト、または他の形式のグラフィックイメージまたは視覚イメージなどの補足画像コンテンツを含んでよく、補足画像コンテンツは主要画像コンテンツの上に前景として重ねられる。ディスプレイ106は、少なくとも部分的に透明(たとえば「シースルー」ディスプレイ)であってよく、それによってディスプレイ106を見ているユーザは、ディスプレイを通した物理的環境のビューとともにディスプレイ上に重畳された画像または他の視覚コンテンツを同時に観察することができる。また透明ディスプレイによってユーザは、自身の環境の状況認識が可能である。ディスプレイ106は、たとえばヘルメット、ヘッドバンド、バイザー眼鏡、ゴーグルなど、ユーザ102が装着する装着型装置に組み込まれたディスプレイを含む頭部搭載型ディスプレイ(HMD)であってよい。あるいはディスプレイ106は、たとえばヘッドアップディスプレイ(HUD)、ポータブルまたはハンドヘルドディスプレイモバイルコンピューティングデバイスのディスプレイスクリーンなど、他の種類のディスプレイであってもよい。ディスプレイ106は、ユーザ102が見ることができるディスプレイスクリーン上にビデオ画像を投射するプロジェクタを含んでよい。ディスプレイの光学系は、投射される(主要および補足)画像コンテンツを直視型で提供するためにユーザ102のLOSに直接的に位置付けられてよく、あるいは投射される画像コンテンツのグランスビューまたは周辺ビューを提供するためにユーザ102のLOSから外れた位置にあってもよい。

0023

LOS検出器110は、ユーザの頭部の位置/向きに基づいて、および/またはユーザの視線の方向に基づいて、ユーザ102の概略LOSの指示を提供する。LOS検出器110は、ヘッドトラッカ112およびアイトラッカ114の少なくとも1つを含む。ヘッドトラッカ112は、たとえばヘッドトラッキングデバイスまたは当該技術において既知メカニズムなどを介してユーザ102の頭部の方向を(たとえばリアルタイムで)決定するように構成される。アイトラッカ114は、たとえばアイトラッキングデバイスおよび当該技術において既知のメカニズムなどを介して角膜または目蓋に対する瞳孔の中心の位置を決定することによって、ユーザ102の視線の方向を(たとえばリアルタイムで)決定するように構成される。

0024

位置測定ユニット(LMU)116は、ユーザ102の実世界の位置および/またはユーザ102が現在見ているシーンの実世界の位置の指示を提供する。たとえばLMU116は、基準座標系に対するユーザ102のグローバル位置および方位座標を決定する。LMU116は、たとえばグローバルポジショニングシステム(GPS)、コンパス慣性航法システム(INS)、慣性測定ユニットIMU)、移動センサまたは回転センサ(たとえば加速度計ジャイロスコープ磁力計)、距離計など、ユーザ102の位置および向き(視野方向)を測定するように構成された1または複数のデバイスまたは計器によって具現化され得る。

0025

ユーザインタフェース118は、ユーザ102またはシステム100の他のユーザが、システム100の構成要素に関連する様々なパラメータまたは設定を制御することを可能にする。たとえばユーザインタフェース118は、ユーザ102が、カメラ104のパラメータまたは設定を調整すること(たとえば、カメラLOSをシフトまたは回転させる、解像度レベルを増加/低減させる、ズームインズームアウトすることなど)、および/またはディスプレイ106のパラメータまたは設定を調整する(たとえば、表示される画像の焦点またはFOVをシフトさせる)ことを可能にし得る。ユーザインタフェース118は、カーソルまたはタッチスクリーンメニューインタフェース、および/またはユーザ102が音声コマンドによって命令またはデータを入力することができる音声認識機能を含んでよい。

0026

データベース120は、画像フレームおよびシステム100の動作に関連する他の種類のデータの格納を提供する。データベース120は、たとえば少なくともユーザ102が位置すると予想される環境など、実世界環境の背景画像のコレクションを含む。たとえば、ユーザ102が航空機の操縦士である場合、データベース120は、様々な空港滑走路および着陸ゲート周辺エリアの画像を含んでよい。背景画像は、地球、または対象である特定のエリア、領域、または地域の3次元表現を含む3D地理モデル122によって提供され得る。3Dモデル122は概して、人工的特徴(たとえば建物記念碑など)を含む地理的特徴および地形に関連する、たとえばそのような特徴および(たとえば衛星画像航空写真、および/またはストリートベルビューによって取得される)それらの様々なビューの位置座標などの画像およびテクスチャデータを含む。たとえば3Dモデル122は、(たとえばズーム、回転、傾きなどの操作動作を可能にすることによって)様々な位置および視野角で対象の領域の地形の複数の視覚表現を提供し得る。3Dモデル122は、私有の、および/または(たとえばオープンソースプラットフォームを介して)公的にアクセス可能なモデルを含んでよく、または少なくとも部分的にプライベートまたは制限されたモデルを含んでもよい。データベース120は、実際の背景画像および/または関連する背景シーンの再構築または分析を可能にする画像データを含んでよい。データベース120は、たとえばカメラ104によって過去に取り込まれた画像など、予め組み込まれた画像を含んでよい。またデータベース120は、様々な実世界シーンのビューの上に重ねて表示される例示的な補足画像コンテンツ(たとえばシンボロジー、テキスト、グラフィックデザインおよび視覚デザイン)も格納してよい。

0027

プロセッサ108は、システム100の構成要素から命令およびデータを受け取る。プロセッサ108は、(カメラ104によって取得され、またはデータベース120から検索された)画像フレームに任意の必要な画像処理を実行し、ディスプレイ106に表示するための最終的なシンボル画像を生成する。プロセッサ108は、システム100の他の構成要素から離れた位置に設置されてよい。たとえばプロセッサ108は、通信媒体またはネットワークを介してアクセス可能な、たとえば遠隔コンピュータ遠隔コンピューティングシステムまたはマシンなどのサーバの一部であってよい。あるいはプロセッサ108は、ユーザ102の近傍に設置され、および/またはシステム100の他の構成要素に統合されてもよい。たとえばプロセッサ108は、無線接続を介してシステム100の構成要素に結合されてよく、あるいはプロセッサ108は、カメラ104および/またはディスプレイ106に関連するコンピュータに組み込まれてもよい。

0028

システム100の構成要素は、ハードウェアソフトウェア、またはそれらの組み合わせに基づいてよい。システム100の個々の構成要素の各々に関連する機能は、単一の位置または複数の位置に存在し得る複数の構成要素に分散されてもよいことが理解される。たとえばプロセッサ108に関連する機能は、(たとえば画像処理機能のための専用画像プロセッサなどの)複数の処理ユニット間で分散されてよい。システム100は任意選択的に、開示される主題事項実装を可能にするための図1には示されない追加の構成要素に関連付けられ、および/またはそれを含んでよい。たとえばシステム100は、様々な構成要素に動力を供給するための電源(不図示)を含んでよく、画像フレームまたは他の種類のデータを一時的に格納するための追加のメモリまたはストレージユニット(不図示)を更に含んでよい。ただし、システム100の構成要素のいくつかは任意選択である。たとえば本発明の(後述される)1つの実施形態において、システム100はカメラ104を含まない(あるいは、少なくとも使用しない)。

0029

次に、航空機を操縦する操縦士の場合の例示的な目的に関してシステム100の動作が説明される。操縦士は、本明細書においてシステム100のユーザ102として考えられる。ここでは、本発明の実施形態に従って動作可能な、図1のディスプレイ106を通して見える、200と示されたシーンの例示的なビューの概略図である図2Aが参照される。図2Aの例において、ユーザ102は頭部搭載型ディスプレイ(HMD)106を装着しており、それを通してユーザ102は実世界シーン200を見る。シーン200は、たとえば、木、および他の航空機などの様々な環境特徴を含む。環境特徴は、少なくとも1つの選択された(例示的な目的に関して木の1つにより表現される)オブジェクト204を含み、その上に、選択されたオブジェクト204に関する関連情報をユーザ102に提示するためにシンボルまたは他の補足画像が重畳される。たとえば補足画像は、たとえば木204が現在の標的を表すことをユーザ102に指示するための、(例示的な目的に関して十字で表現される)シンボル206であってよい。またディスプレイ106は、たとえば関連するリアルタイム飛行情報(たとえば、対気速度、航空機の進路、上昇/下降速度、高度、気圧示度などの指示)など、シーン200の背景ビューの上に重ねられる追加の補足コンテンツも提示する。

0030

航空機の飛行路において、カメラ104は、シーン200の画像領域202の少なくとも1つの画像を取り込む。本発明の実施形態に従って動作可能な、全体として210と示される、図2Aのシーンの例示的な画像の概略図である図2Bが参照される。カメラ画像210は、たとえばピクセル値単位で、取り込んだシーンのデジタル信号表現に変換されてよく、それがプロセッサ108に転送される。プロセッサ108は次に、HMD106上の選択されたオブジェクト204の上に重畳される予定の対象シンボル色特性について、画像210を分析する。特に、プロセッサ108は、画像領域212として示されたオブジェクト204の近傍に存在するシーン200の環境特徴の色属性と、予定のシンボル206の色属性とを比較する。色属性は、色値、明度、色相、彩度、色度放射輝度輝度、および/またはビューアの視知覚に影響を及ぼし得る他の任意の関連特性または属性の少なくとも1つを含んでよい。画像210において、1つの画像部分の色属性は網掛け模様214によって描写され、他の画像部分の色属性は網掛け模様216によって描写される。

0031

本発明の実施形態に従って動作可能な、図2Aのビューにおいて選択されたオブジェクト204の上に重ねられる、220と示された初期未変更シンボルの概略図である図3Aが参照される。シンボル220は、例示的な目的に関して円で表現される。オブジェクト204の画像領域216は、「CLR−A」と表された少なくとも第1の色属性によって特徴付けられ、オブジェクト204の周囲の画像領域214は、「CLR−B」と表された少なくとも第2の色属性によって特徴付けられる。初期シンボル220は、少なくとも第1の色属性CLR−Aによって特徴付けられる。

0032

プロセッサ108は、シンボル220の色属性と周囲画像領域216の色属性とを比較し、これらの色属性が互いに不適合であるかを決定する。具体的には、プロセッサ108は、画像領域216内のオブジェクト204の色属性のセットとシンボル220の色属性のセットとが組み合わさると不適合状態をもたらすかを決定する。「不適合状態」という用語は本明細書において、背景環境(すなわちオブジェクト204)に重ねて表示された場合、たとえば2つの画像を明確に区別することが難しい状態など、前景画像(すなわちシンボル220)の視知覚を大幅に妨げまたは損ない得る任意の状態として定義される。たとえば、ユーザによって知覚されるような前景画像と背景環境との間のコントラストが不十分である場合、あるいは背景環境の上に投射された場合の前景画像の色外観と基準色消し背景上での予定色の外観とを比較した場合、ユーザによって知覚されるような過剰な不一致が存在する場合が不適合状態であってよい。不適合状態の他の例は、背景環境の上に投射された場合の前景画像の外観に、ユーザによって知覚されるような視覚的歪み(たとえば不明瞭さ、色収差)が存在することである。不適合状態の更なる例は、背景環境の上に投射された場合の、ユーザによって知覚されるような前景画像の少なくとも1つの色属性の不均一な外観である。

0033

図3Aに示す事例において、画像領域216およびシンボル220の両方が共通の色属性(CLR−A)を有するので、不適合であると考えられる。比較を説明するためにここでは各画像の単一の色属性が用いられるが、通常、不適合性が存在するかを決定する際、各画像の一連の属性(たとえば色値、明度、色相、彩度、色度など)が考慮される。たとえば、オブジェクト204およびシンボル220はいずれも、たとえば青色などほぼ同じ色、または同様の色合いの青色であり(たとえば、青い空や水域の背景の上に青色シンボルが重ねて表示され)、その結果、シンボルと背景とを区別することが難しくなり得る。他の例として、シンボル220は、たとえば緑色背景の上の青色シンボルなど、重ねられた場合にオブジェクト204と調和しない、またはオブジェクト204を不明瞭にする色であり得る。更なる例として、シンボル220の明度レベルが、実質的に明るい色(たとえば白色または黄色)のオブジェクト204に重ねられた場合にシンボル220を知覚することが難しくなる程度であり得る。

0034

シンボル220の色属性と周囲画像領域216の色属性とが不適合であることが決定された後、プロセッサ108は次に、不適合を実質的に最小限にするまたは排除するシンボル220の少なくとも1つの視覚的変更を決定する。その後シンボル220は、そのように視覚的に変更され、ディスプレイ106上に投射される。次に図3B図3C、および図3Dが参照される。図3Bは、本発明の実施形態に従って動作可能な、222と示される、第1の例示的な視覚的変更後の図3Aの重ねシンボル220の概略図である。図3Cは、本発明の他の実施形態に従って動作可能な、224と示される、第2の典型的な視覚的変更後の図3Aの重ねシンボル220の概略図である。図3Dは、本発明の更に追加の実施形態に従って動作可能な、226と示される、第3の典型的な視覚的変更後の図3Aの重ねシンボル220の概略図である。図3Bを参照すると、シンボル222は、初期の色属性CLR−Aとは異なる「CLR−C」で表される新たな色属性を備えて投射される。たとえば、画像領域216が緑色背景であり初期シンボル220もまた緑色である場合、変更後のシンボル222は、代わりに橙色または黄色に投射されてよい。図3Cを参照すると、シンボル224とオブジェクト204とを視覚的に識別するために、シンボル224は、太線輪郭または異なる色の輪郭を備えてオブジェクト204の上に投射される。たとえば、画像領域216が緑色背景であり初期シンボル220もまた緑色であった場合、変更後のシンボル224の内側は実質的に緑色のままであるが、たとえば「ハロー視覚効果をもたらすように、たとえば太線の輪郭または異なる色(たとえば橙色や黄色)の輪郭を投射することなどによって、シンボル224の境界領域がハイライトされる。図3Dを参照すると、シンボル220が投射される予定の画像位置(図3A)とは異なる、ディスプレイ106上の別の画像位置の上にシンボル226が投射される。たとえば、画像領域216および初期シンボル220がいずれも緑色であった場合、シンボル220は当初はオブジェクト204のほぼ中心部に重ねて投射される予定であったが、変更後のシンボル226は代わりに、オブジェクト204に対してずらした位置に投射される。具体的には、シンボル226は、(緑色)シンボル226の大部分が、不適合が存在する画像領域216の(緑色)背景の上ではなく、オブジェクト204に隣接した画像領域214の(白色)背景の上に重ねられるように、オブジェクト204の中心から右上に位置をずらされる。

0035

シンボル220は、並進および/または回転移動サイズ変更(すなわち、オブジェクト204に対してシンボル220のサイズを増減させること)、形状の変更(たとえば、円形シンボル三角形または菱形または十字形に変更すること)、初期色の色合いまたは強度の変更、色関連パラメータ(たとえば、明度/色相/彩度/輝度/放射輝度)の調整、シンボルの少なくとも一部の強調またはハイライト、シンボルの少なくとも一部の省略、シンボルの種類の全体的変更、およびそれらの任意の組み合わせを含むがこれに限定されない、追加の種類の視覚的操作および変更を受けてもよい。概して、シンボル220の視覚的変更は、ユーザ102による変更後のシンボル(222、224、226)の知覚が、初期シンボル220の予定された知覚と可能な限り(不適合性を最小限にしながらも)酷似するようなものであってよい。たとえば、初期シンボルが緑色の予定であり、青色背景の上に投射されることが予定され、その結果シンボルと背景とを区別することが困難になる(コントラストが不十分である)場合、代わりに黄色シンボルが投射されてよく、黄色と青色との色の組み合わせによって結果的に緑色シンボルが知覚される。

0036

またプロセッサ108は、画像210の色分析を実行する際、たとえば予定されるシンボルを上に重ねて表示する可能性がある関連背景画像領域(214、216)を識別するために、LOS検出器110を用いて決定されたようなユーザ102の見通し線を考慮してもよい。たとえば、視覚的変更後のシンボル(222、224、226)は、ユーザ102の現在のLOSと一致する位置でディスプレイ106上に投射される。

0037

いくつかの場合、初期シンボルの一部のみが変更され、初期シンボルの他の部分は同じままであってよい。ここで図4Aおよび図4Bが参照される。図4Aは、本発明の他の実施形態に従って動作可能な、図2Aのビューにおいて選択されたオブジェクト204の上に部分的に重ねられる初期未変更シンボル220の概略図である。図4Bは、本発明の他の実施形態に従って動作可能な、228と示された、例示的な視覚的変更後の図4Aの重ねシンボルの概略図である。図4Aにおいて、初期シンボル220の一部はオブジェクト204の画像領域216の上に重ねられることが予定されるが、シンボル220の残りの部分は、オブジェクト204の範囲外の画像領域214の上に重ねられることが予定される。したがって、両方が共通の色属性「CLR−A」によって特徴付けられることにより、画像領域216の上に重ねられたシンボル220の一部(たとえば右半分)のみに不適合状態が存在し、シンボル220のその他の部分(たとえば左半分)には不適合状態が存在しない。したがって図4Bにおいて、変更後のシンボル228は、画像領域216(オブジェクト204内)に重ねられた部分が、オブジェクト204の色属性(「CLR−A」)とは異なる色属性(「CLR−C」)に変更され、画像領域214(オブジェクト204の範囲外)に重ねられた部分は、画像領域214の色属性(「CLR−B」)と既に異なる色属性(「CLR−A」)と同じまま維持されるように投射される。たとえば、画像領域216および初期シンボル220がいずれも緑色であるが画像領域214は白色であった場合、変更後のシンボル228の右半分は橙色または黄色に投射されてよく、シンボル228の左半分は緑色に維持される。

0038

本発明の代替実施形態によると、予定のシンボルの色属性と(ディスプレイ106上でシンボルが投射される)シーン200の周囲環境特徴の色属性との比較は、カメラ104によって取得された画像に基づいてではなく、他の手段によって取得された実世界シーン200の情報に基づいて実行されてよい。具体的には、システム100は、(LOS検出器110によって取得される)ユーザ102の見通し線および(LMU116によって取得される)ユーザ102の実世界位置によって提供される特定のシーン200の指示を併用して、3D地理モデル122を用いてシーン200の合成画像を生成してよい。たとえばプロセッサ108は、LMU116から、ユーザ102の現在のグローバル位置および方位座標を受け取り、LOS検出器110から、ユーザ102の現在の頭部の方向および/または視線の方向を受け取る。取得した情報に基づいて、プロセッサ108は、ユーザ102の位置/方位座標および頭部方向/視線方向に基づいて、ユーザ102が現在(たとえば特定の空港の着陸領域に接近しながら)特定の位置にいること、およびその位置から現在特定のシーンを見ていること(たとえば空港の着陸滑走路の部分を見ていること)を決定する。プロセッサ108はその後、3D地理モデル122に含まれる画像のコレクションから、決定された現在見ているシーンの少なくとも1つの(カラー)画像を検索し、あるいは、3D地理モデル122に含まれる関連情報に基づいて決定されたシーンの画像を生成してよい。プロセッサ108は続いて、3Dモデルベースの画像を分析し、予定のシンボル(220)の色属性とシンボル220が表示される画像位置(216)の色属性とを比較し、図2Aおよび図2Bを参照して上述したように、不適合状態が存在するかを決定する。ただし、プロセッサ108は代替的に、必ずしもシーン200の合成画像を分析する必要なく、たとえば3Dモデル122から背景領域214、216の色属性を直接取得することによって、3Dモデル122から取得した関連情報のみを用いて不適合状態の決定を実行してもよい。概して、色属性の比較および/または不適合状態の決定は、たとえば処理効率を最適化するために任意の適切な処理技術またはプロセスを用いて任意の適切な方法で実行されてよい。

0039

更に代替として、予定のシンボル(220)の色属性と背景領域(216)の色属性との間の不適合状態の決定は、(LOS検出器110、LMU116、および3Dモデル122によって提供される情報を用いて生成された)合成画像に加えてカメラ画像(210)にも基づいて実行されてよい。たとえばプロセッサ108は、カメラ画像210においてシンボル220の色属性と背景領域216の色属性との第1の比較を実行し、次に、合成画像において現れるシンボル220の色属性と背景領域216の色属性との第2の比較を実行してよい。プロセッサ108はその後、各比較に異なる重み値または定性値(たとえば、カメラ画像に70%および合成画像に30%)を割り当て、それに応じて不適合状態の存在を決定する。各比較に関する重み付けスキームは、たとえばリアルタイムデータに基づいて(たとえば高解像度カメラ代用される場合は合成画像に比べてカメラ画像の定性値を高くし)、または(たとえば適切なメトリックを用いて過去の比較の成功率を決定する)履歴分析に基づいて更新されるなど、適応性があってよい。

0040

本発明の更に追加の実施形態によると、色属性の比較および/または不適合状態の決定は、様々なユーザの特有の視知覚特性に従ってパーソナライズされてよい。たとえばシステム100は、個々のユーザとユーザ独自の色覚特性および他の関連情報のセットとを関連付ける情報をデータベース120に格納してよく、これはその後、その特定のユーザに関する不適合状態の存在を決定する際に考慮され得る。たとえば、ユーザのペアは、所与の背景に重ねられた所与の前景色が第1のユーザにとっては不適合であり、第2のユーザにとっては不適合であると見なされないように、特定の色(または色特性の特定のセット)を知覚し得る。システム100の各ユーザは、一意な識別子リンクされてよく、これは、初期設定段階におけるユーザの識別および認証のために用いられ、それによってシステム100は、提供されたユーザ識別子に関連する必要な情報を検索する。ユーザ知覚特性は、たとえばユーザが様々な色パターンおよび色の組み合わせのシミュレーションを提示されシミュレーションへの関連応答を提供することによるユーザフィードバック、または、システム100によって表示された過去の視覚的変更後の(または未変更の)前景画像のユーザ知覚に関連するユーザフィードバック(すなわち、履歴性能データ)に基づいて取得されてよい。システム100は、どのように異なるユーザが異なる色の組み合わせを知覚するかを経時的に学習するために、たとえば機械学習およびパターン認識などの人工知能技術を実装してよい。たとえばシステム100は、たとえば隠れマルコフモデルを用いて、色シミュレーションに対するユーザフィードバックに基づき、初期訓練段階において様々な色パターンまたは色の組み合わせに関する確立的モデルを実装してよい。パーソナライズユーザ情報は、たとえばアイトラッカ114を介して取得されたユーザの目(複数可)の分析を取り入れてもよい。

0041

またシステム100は、各ユーザ102のそれぞれの視知覚特性およびそれぞれのLOSに従って、複数のユーザ(102A、102B、102C)にそれぞれの(視覚的変更後の)シンボルを同時に表示してもよい。たとえばプロセッサ108は、航空機の操縦士(102A)および副操縦士(102B)に関連するユーザ知覚特性を取得し、それぞれのディスプレイ(106A、106B)を通して見える背景シーン200に対する操縦士102Aおよび副操縦士102BのLOSの指示を受け取ってよい。次にプロセッサ108は、操縦士102AのLOSにリンクされた第1の背景領域216Aおよび副操縦士102BのLOSにリンクされた第2の背景領域216Bを決定する。最終的にプロセッサ108は、各ユーザ(操縦士102Aおよび副操縦士102B)のために表示される予定のシンボルに関して不適合状態が存在するかを決定し、適宜、それぞれのシンボルを視覚的に変更する。具体的にはプロセッサ108は、操縦士102Aに表示されることが予定された第1のシンボル(220A)の色属性と、操縦士102AのLOSにリンクされた第1の背景領域216Aの色属性とを比較し、不適合性が検出された場合、操縦士ディスプレイ106Aに、第1のシンボル220Aの視覚的変更後の形態(222A)を表示する。同様にプロセッサ108は、副操縦士102Bに表示されることが予定された第2のシンボル(220B)の色属性と、副操縦士102BのLOSにリンクされた第2の背景領域216Bの色属性とを比較し、不適合性が検出された場合、副操縦士用ディスプレイ106Bに、第2のシンボル220Bの視覚的変更後の形態(222B)を表示する。

0042

潜在的な不適合状態を決定するための色属性の分析は、任意選択的に、どのように異なる色の組み合わせが知覚され得るかに影響を及ぼし得る、たとえばシーン200内に存在する周辺光条件などの追加の情報を考慮してもよい。たとえばカメラ104および/またはシステム100の専用周辺光検出器図1には不図示)は、シーン200における、特にディスプレイ106上でシンボル206が重ねられる選択されたオブジェクト204の近傍における周辺光のレベルの指示を提供してよい。周辺光検出器によって受け取られる光の量または強度は、時間帯季節気候地勢、地理、および様々な他の要因関数であってよく、これらもまた考慮され得る。たとえば周辺光検出器は、日中と比べて夜間の方が少ない光を検出する傾向がある。周辺光検出器は、光検出器(たとえばフォトダイオード)、または可視範囲における光を検出するように動作可能な他の任意の種類のセンサによって具現化され得る。シーン200における周辺光のレベルは、カメラ画像210から取得されてもよい。ただし、シーン200の周辺光(および/または他の関連環境条件)は、色分析がカメラ104によって取り込まれた画像に基づいて実行されるかデータベース120から検索された画像に基づいて実行されるかにかかわらず、色分析および潜在的な不適合状態の決定に適宜含まれてよい。

0043

ただし、ディスプレイ106に投射される視覚的変更後のシンボルは、条件および環境の変化に基づいてリアルタイムで更新されてよい。したがって、カメラ104は、シーン200の追加の画像を継続的に取り込んでよく、プロセッサ108は、前景画像を更新する必要があるかを決定するために、関連前景画像に関して、連続した画像における関連背景環境(たとえば画像領域214、216)の色属性を監視する。たとえば、背景環境が変化した結果、視覚的変更後のシンボルの色属性と、シンボルが重ねられる新たな背景環境の色属性との間に新たな不適合状態が生じた場合、シンボルは(新たな不適合性を最小限にするために)更なる視覚的変更を受けてよい。変化した背景環境が、初期の予定のシンボル(220)に対して不適合状態ではないものであった場合、視覚的変更後のシンボル(222、224、226)は、初期シンボル(220)に戻されて表示されてもよい。

0044

データベース120は、新たな情報に従って画像のコレクションを継続的に更新し、環境条件を変更する、適応性があり動的なデータベースであってよい。データベース120は、画像を直接アップロードし、および/またはデータベース120内の既存の画像を修正または削除することが許可され得る、世界中の様々なユーザ102から実世界環境の画像を取得してよい。たとえば、多数のユーザによってそれぞれのカメラで取り込まれた一連の画像がデータベース120にアップロードされてよく、様々なユーザ102は同じ概略位置における異なる画像を提供し、画像の各セットは様々な撮像パラメータ(たとえば様々な視野角、焦点距離、FOV、照明条件、解像度レベルなど)によって特徴付けられる。画像のコレクション全体は最終的に、たとえば一連のストリートレベルの全景など、様々な位置および角度からの様々な実世界環境の全景を形成し得る。様々なユーザ102によって取り込まれた画像は、ほぼリアルタイムでデータベース120にアップロードされてよい。システム100は、たとえばデータベース120において現在利用可能な画像がわずかである(または全くない)地理的位置などの選択された基準を備えた画像、または特定の撮像視野および/または照明条件で取り込まれた環境の画像を提供するように様々なユーザへ要求を送信してよい。データベース120に提供される画像は、画像の識別および分類支援するためのメタデータ(すなわち「タグ」)を含んでよい。たとえば、データベース120内の画像は、様々な基準(たとえば、シーンの地理的位置、画像の視野または視野角、画像が取り込まれた時の照明および天候条件画像取込みの時間帯、画像を提供したユーザの個人情報など)に従ってカテゴリ分けされ、検索可能であってよい。プロセッサ108は、(システム100によって定められ、またはユーザ102によって提供される)画像基準を満たす最適な背景画像(または複数の画像)をデータベース120から色分析のために選択してもよい。データベース120は、たとえば特定の出来事や機会に関連する画像など、限定された期間に利用可能である画像を含んでもよい。したがって、データベース画像は、画像コンテンツに関連する特定の出来事の時間(および位置)を示す一時的メタデータを含んでもよい。たとえばコンサートスポーツイベントが行われる競技場またはアリーナの画像がデータベース120にアップロードされてよく、これらの画像は、そのコンサートやスポーツイベントに立ち会っているユーザのためにしか(すなわち、色分析および潜在的な不適合状態の決定のために)アクセスされない。またユーザ102は、データベース120に含まれる画像および/またはシステム100によって生成された視覚的変更後のシンボル(222、224、226)に関するフィードバックを提供してもよい。たとえばユーザフィードバックは、システム100によって生成される様々な種類の視覚変更の批評または定性的格付けを含んでよい。

0045

本発明の実施形態によると、システム100は、表示される前景画像を更新するか、およびどのように更新するかを決定するために予測データを利用してよい。具体的には、システム100は、LMU116およびLOS検出器110(および/または他のデータソース)から取得した情報に基づいて、ユーザ102の未来の位置を予測し、ディスプレイ106において予定のシンボル(または他の前景画像)が投射される未来の背景環境を予測し得る。システム100はその後、予定のシンボルと予測される背景環境との間に不適合状態が検出された場合、リアルタイムカメラ画像またはモデルベース画像の色分析を実行する前でも、必要であれば使用されるように、予定のシンボルの視覚的変更後の形態を生成してよい。たとえば、ユーザ102が航空機を操縦している場合、システム100は、(たとえば、LMU116、3Dモデル122、および/または航空機ナビゲーションシステムから取得した情報に基づいて)航空機に関する位置データおよび飛行軌跡データを用いて、航空機が現在山岳上空飛行しているが間もなく海上を通過するということを決定してよい。その結果、システム100は、航空機が関連位置に到達すると適用されるように、山岳背景よりも海洋背景の上に表示するために適した、予定のシンボルの視覚的変更後の形態を準備してよい。

0046

またシステム100は、たとえばその位置における背景色の変化など、リアルタイムでの環境条件の変化を考慮に入れつつ、ユーザ位置を動的に予測してもよい。たとえば第1のユーザ102Aは、特定の日に都市部の特定のストリートセクションに沿って歩行しながら、一連の画像をデータベース120へアップロードしてよい。アップロードされた画像は、関連パラメータ(たとえば、シーン位置、画像取込み中の照明および天候条件、画像取込みの日時)に画像をリンクするメタデータを含む。第2のユーザ102Bが、後日、同じストリートセクションに沿って歩行し得る。プロセッサ108はその後、第1のユーザ102Aによって先日取り込まれたストリートセクションの画像に基づいて、第2のユーザ102Bに向けて予定のシンボルが上に重ねて表示される第2のユーザ102Bのリアルタイム背景環境を決定してよい。たとえばシステム100は、背景環境の外部ビューを維持する、第2のユーザ102Bが装着したシースルーHMD106にシンボロジーを投射してよい。投射されるシンボロジーは、(たとえばナビゲーション命令または環境内の特徴に関する一般情報を表す)たとえば橙色シンボルなど、特定の色属性によって特徴付けられる。LMU116およびLOS検出器110とともに、データベース120からの情報(たとえば、第1のユーザ102Aによって取り込まれた同じストリートセクションの画像)を用いることによって、プロセッサ108は、たとえば色の建物など、投射されるシンボルと不適合である色属性を有する建物に第2のユーザ102Bが接近していることを決定し得る。その後システム100は、第2のユーザ102Bが茶色の建物に到達した(かつ彼のLOSがそこに向けられた)瞬間に、たとえばシンボルを橙色から白色に変更することによって、シンボルの視覚的変更後の形態を投射してよい。またプロセッサ108は、背景環境の潜在的な不適合状態を動的に決定または予測する際、たとえば日時または天候条件などの関連環境情報を利用してもよい。そのような環境情報は、データベース120に格納された画像メタデータから、および/または外部データソース(たとえば周辺光検出器、内部クロック天候アプリケーションソースなど)から取得されてよい。たとえばプロセッサ108は、日中および/または明るく晴れた条件の下で茶色の建物の画像(複数可)が第1のユーザ102Aによって取り込まれたが、第2のユーザ102Bは夜間または暗いった天候条件下で同じ建物の位置に存在しているので、予定の橙色シンボルが不適合性をもたらすことなく、(たとえば、第2のユーザ102Bには「黒色」背景として知覚される)建物のビューに重ねて投射され得ることを決定し得る。また他の例において、プロセッサ108は、第1のユーザ102Aによって取り込まれた画像から、ストリートセクションに沿った背景位置が第1の色属性(たとえば赤色)によって特徴付けられることを決定し得るが、他のユーザ102によって取り込まれた他の画像は、同一の背景位置が異なる色属性(たとえば白色)を有することを示す。プロセッサ108は更に、特定のオブジェクト(たとえば通行中の赤い車両)によって関連背景位置が隠されている間に第1のユーザ102Aによって画像が取り込まれたこと、および「真の」背景色属性は他の画像によって提供されるものであることを決定してよい。その結果プロセッサ108は、背景位置の第2の色属性が第2のユーザ102Bのリアルタイム環境条件に関連することを決定し、それに応じて第2のユーザ102Bのための色分析を実行する。

0047

本発明の更に追加の実施形態によると、システム100は、背景環境に対するシンボルの視覚的変更の実行に関する情報を格納してよい。たとえば格納される情報(たとえばメタデータ)は、ユーザ位置、日時、周辺光、および視覚的変更が行われた時点の他の環境条件を含んでよい。また視覚的変更は、定性メトリックにもリンクされてよく、これは、プロセッサ108による視覚的変更後のシンボルのその後の画像分析および/またはユーザ102からのフィードバックに基づいてよい。したがってそのような情報は、様々な種類の視覚的変更を様々なパラメータおよび条件にリンクする「色属性調整関数」を定義してよく、これはデータベース120に保存され、および/またはユーザ102へ直接送信されてよい。プロセッサ108は、後に検出される色属性の不適合性が、過去のものと少なくともいくつかの同じ条件によって特徴付けられる場合(たとえば、同じユーザ102または別のユーザ102が概ね同様の地理的位置に存在し、概ね同様のLOSを有する場合)、今後の視覚的変更のためにそのような色属性調整関数を利用してよい。プロセッサ108は更に、同一近辺に存在する他のユーザ102に関する視覚的調整のためにリアルタイムでそのような色属性調整関数を利用してよい。たとえば色属性調整関数は、様々な色調整航路に沿った様々な地理位置情報とをリンクすることによって一般的な航路に適用され、その後、ユーザ102による同じ航路に沿ったその後の飛行中に利用されてよい。このようにシステム100は、必ずしもカメラ画像または3Dモデルベース画像における色分析を実行せずとも、背景環境に対するシンボルのその後の視覚的変更を実行してよく、これは、処理を最適化し応答時間を早めるために役立ち得る。

0048

次に、本発明の実施形態に従って動作可能な、拡張現実提示の視知覚を向上させるための方法のフロー図である図5が参照される。手順250において、シースルーディスプレイを通してユーザが見ている背景環境に関する情報が取得される。手順250は、サブ手順252、254、256、および258の少なくとも1つを介して実行されてよい。

0049

サブ手順252において、シースルーディスプレイを通してユーザが見ている背景環境の少なくとも1つの画像が取得される。図1図2A、および図2Bを参照すると、カメラ104は、シースルーディスプレイ106を通してユーザ102が見ているシーン200の画像領域202の画像210を取り込む。画像領域202は、ディスプレイ106において補足前景画像(シンボル206)が重畳される選択されたオブジェクト(木204)の近傍にある環境特徴を少なくとも含む。

0050

サブ手順254において、ユーザのLOSが検出される。図1を参照すると、LOS検出器110は、ヘッドトラッカ112によって決定されるようなユーザ102の頭部の位置および向きに基づいて、および/またはアイトラッカ114によって決定されるようなユーザ102の視線の方向に基づいて、ユーザ102の概略見通し線を決定する。

0051

サブ手順256において、ユーザの位置が検出される。図1を参照すると、LMU116は、参照座標系に対するユーザ102のグローバル位置および方位座標を決定する。

0052

サブ手順258において、少なくとも1つの過去に取得された背景環境の画像および関連データが検索される。図1および図2Aを参照すると、プロセッサ108は、(LMU116から取得されるような)ユーザ102の位置/方位座標および(LOS検出器110から取得されるような)ユーザ102のLOSに基づいてユーザ102が見ている実世界シーン200を決定し、決定されたシーン200の合成カラー画像をデータベース120から検索または生成する。画像は、3D地理モデル122から取得されてよい。あるいは画像は、様々な撮像パラメータおよび環境条件で複数のユーザ102によって過去に取り込まれたシーン200の画像のセットから取得されてもよい。ただし、画像は、シーン200の近傍にいる他のユーザ102によってほぼリアルタイムで取り込まれ、データベース120にアップロードされてもよい。プロセッサ108は更に、取得された画像に関連する関連パラメータ(たとえばシーン位置、画像取込み中の照明および天候条件、画像取込みの日時)を示すメタデータを取得してよい。プロセッサ108は更に、データベース120に格納されている過去に取り込まれた画像から、シーン200の背景環境の関連色属性を抽出してよい。

0053

任意選択手順260において、背景環境における周辺光条件が検出される。図1および図2Aを参照すると、シーン200における、特に選択されたオブジェクト204の近傍(たとえば画像領域214、216)における周辺光のレベルの指示を提供するために、カメラ104または別の周辺光検出器(不図示)が用いられる。周辺光条件は、特定の色の組み合わせをユーザ102がどのように知覚するかに影響を及ぼし得る。より一般的には、たとえば、(たとえば内部クロックおよび/または画像タイムスタンプからの)日時情報、(たとえば天候アプリケーションソースおよび/または画像メタデータからの)天候または気候情報など、背景環境に関する任意の関連環境情報が、利用可能なデータソースから取得されてもよい。

0054

任意選択手順262において、ユーザ色覚特性が検索される。図1を参照すると、データベース120は、たとえば色覚特性の個別化セットなど、様々なユーザに関連するパーソナライズ情報を含んでよい。パーソナライズ情報は、様々な色のパターンおよび組み合わせのシミュレーションに対するユーザ応答、および/またはシステム100によって表示された過去の前景画像と背景画像との色の組み合わせのユーザ知覚に関するフィードバックなどのユーザフィードバックを含んでよく、またはそれに基づいてよい。パーソナライズ情報は、アイトラッカ114から取得され得るユーザの目または視力の特性を含んでよく、またはそれに基づいてもよい。パーソナライズ情報は、ユーザフィードバックおよび履歴データに基づいて様々なユーザの色覚特性を自動的に学習するために用いられる人口知能技術によって取得または更新されてよい。

0055

手順264において、選択された位置の近傍における背景環境の少なくとも1つの色属性と、選択された位置における背景環境のビューの上に重ねてディスプレイ上に投射される予定の前景補足画像の色属性とが比較される。図1および図2Bを参照すると、プロセッサ108は、オブジェクト204の近傍(すなわち画像領域212内)に存在するシーン200の環境特徴の色属性と、予定のシンボル206の色属性とを比較する。色属性は、色値、明度、色相、彩度、色度、放射輝度、輝度、および/またはビューアの視知覚に影響を及ぼし得る他の任意の関連特性または属性の少なくとも1つを含んでよい。図3Aを参照すると、オブジェクト204は、シンボル220が重ねられる画像領域216内の色属性「CLR−A」によって(少なくとも)特徴付けられ、シンボル220もまた(少なくとも)同じ色属性「CLR−A」によって特徴付けられる。プロセッサ108は任意選択的に、不適合性が存在するかを決定する際、シーン200における周辺光条件および/または他の関連環境条件(手順260)、および/またはパーソナライズユーザ情報(手順262)を考慮してよい。またプロセッサ108は、未来のユーザ位置を動的に予測し、その後、前景画像と予測位置における背景環境との間の潜在的な不適合状態を決定してよい。動的な予測は、データベース120に格納されている過去に取得された画像およびメタデータ、LMU116からのデータとともに、画像メタデータおよび/または外部データソースから取得される環境情報に基づいてよく、(たとえば、予測位置における様々な色属性をもたらす)環境条件の変化がリアルタイムで考慮されることを可能にする。

0056

手順266において、背景環境の色属性と、予定の前景補足画像の色属性との間に不適合状態が検出されると、不適合状態を最小限にするように前景画像の少なくとも1つの視覚パラメータが調整され、調整された視覚パラメータを有する前景画像がディスプレイ上に投射される。図1および図3Aを参照すると、プロセッサ108は、シンボル220およびオブジェクト204の画像領域216がいずれも共通の色属性(CLR−A)によって特徴付けられるためにそれらが不適合であることを決定し、シンボル220の視覚的変更後の形態を生成する。シンボル220の視覚的変更は、色全体の変更または色合いや色相/明度/彩度レベルの調整を含んでよい。図3Bを参照すると、異なる色属性「CLR−C」を有する更新後のシンボル222がオブジェクト204に重ねて(たとえば緑色シンボル220ではなく橙色または黄色シンボル222が緑色オブジェクト204の上に重ねて)表示される。シンボル220の他の視覚的変更は、太字のまたはハイライトされた境界部を設けることを含む。図3Cを参照すると、太字または異なる色の境界領域を有する更新後のシンボル224がオブジェクト204に重ねて表示される(たとえば、シンボル224は黄色の境界部を有するが緑色の内側を保ったまま緑色のオブジェクト204の上に重ねられる)。シンボル220のまた別の視覚的変更は、オブジェクト204に対して異なる画像位置に投射することを含む。図3Dを参照すると、更新後のシンボル226は、(たとえば緑色の)シンボル226の大部分が(たとえば緑色の)オブジェクト204の上ではなく画像領域214の(たとえば白色の)背景の上に重ねて表示されるように、オブジェクト204の中心から右上へずらされた位置に投射される。視覚的変更後のシンボル(222、224、226)は、LOS検出器110によって決定されたようなユーザ102のLOSに従ってディスプレイ106上に表示されてよい。

0057

業者が本発明を実施することができるように、開示された主題事項の特定の実施形態が説明されたが、上記説明は説明目的にすぎないことが意図される。上記説明は、開示される主題事項の範囲を限定するために用いられてはならず、その範囲は以下の特許請求の範囲を参照することによって決定されるべきである。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ