図面 (/)

技術 視線検出装置

出願人 キヤノン株式会社
発明者 鈴木謙二石崎明大高圭史須田康夫深堀英彦
出願日 1988年4月26日 (31年7ヶ月経過) 出願番号 1994-149118
公開日 1995年6月6日 (24年6ヶ月経過) 公開番号 1995-143965
状態 特許登録済
技術分野 ファインダー 自動焦点調節 眼の診断装置 自動焦点調節
主要キーワード 縦横配列 フールプルーフ 差動センサ 赤外透過フィルター 姿勢検出器 不連続線 ズレ補正量 カメラ基準
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(1995年6月6日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (19)

目的

簡単に正確な視線検出が行える視線検出装置を提供する。

構成

視線視軸偏差補正する予め設定された補正量を記憶する記憶手段と、該補正量に基づいて視線検出を制御する制御手段を有する。

概要

背景

本発明は使用者もしくは被検者視線を検出する視線検出装置に関する。

既に視線で情報入力を行うカメラの提案が特開昭61−61135号で行われているが、視線を光学的に検出する方法には、“Accurate two−dimensional eye tracker using first and forth Purkinje images”出展Journal of the Optical Society of America, vol.63, No.8, page921(1973)に報告されている第1,第4プルキンエ像を用いて検出する方法、特開昭61−172552号に開示されている第1プルキンエ像と瞳孔中心を用いて検出する方法等がある。しかし、これらの方法で直接検出できるのは眼球光軸である視軸であって、この視軸は視線とは異なり、視線は視軸に対して側に5゜〜7゜程度ずれていることが一般に知られている。

このため、視軸を検出するだけでは正確な視線検出を行うことができず、視線を検出するためには視線と視軸の偏差を求め、補正を行う必要がある。

概要

簡単に正確な視線検出が行える視線検出装置を提供する。

視線と視軸の偏差を補正する予め設定された補正量を記憶する記憶手段と、該補正量に基づいて視線検出を制御する制御手段を有する。

目的

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

視線視軸偏差補正するために予め設定された補正量を記憶する記憶手段と、該補正量に基づいて視線検出を制御する制御手段を有することを特徴とする視線検出装置

請求項2

視線と視軸の偏差を検出する検出手段と、該検出手段の検出結果によって視線検出を制御する制御手段を有し、該制御手段は該検出手段による検出が行われないときには予め設定された補正量に基づいて視線検出を制御することを特徴とする視線検出装置。

請求項3

前記補正量は個人差によらない普遍的な値であることを特徴とする請求項1記載の視線検出装置。

請求項4

前記予め設定された補正量は、個人差によらない普遍的な値に基づいて行われることを特徴とする請求項2記載の視線検出装置。

背景技術

0001

本発明は使用者もしくは被検者視線を検出する視線検出装置に関する。

0002

既に視線で情報入力を行うカメラの提案が特開昭61−61135号で行われているが、視線を光学的に検出する方法には、“Accurate two−dimensional eye tracker using first and forth Purkinje images”出展Journal of the Optical Society of America, vol.63, No.8, page921(1973)に報告されている第1,第4プルキンエ像を用いて検出する方法、特開昭61−172552号に開示されている第1プルキンエ像と瞳孔中心を用いて検出する方法等がある。しかし、これらの方法で直接検出できるのは眼球光軸である視軸であって、この視軸は視線とは異なり、視線は視軸に対して側に5゜〜7゜程度ずれていることが一般に知られている。

0003

このため、視軸を検出するだけでは正確な視線検出を行うことができず、視線を検出するためには視線と視軸の偏差を求め、補正を行う必要がある。

発明が解決しようとする課題

0004

しかしながら、視線検出を行う際には前もって視線と視軸の偏差を求めなくては正しい視線検出ができず、視線検出を複雑なものにしていた。

課題を解決するための手段

0005

このような課題に鑑み、本発明は視線と視軸の偏差を補正するために予め設定された補正量を記憶する記憶手段と、該所定の補正量に基づいて視線検出を制御する制御手段を有することによって、簡単に正確な視線検出が行える視線検出装置を提供する。

0006

以下、図面を使って本発明の実施例を説明するものとし、図1一眼レフレックスカメラに本発明を適用した第1の実施例を示している。尚、本発明は一眼レフレックスカメラの他、撮影光路ファインダー光路が別設されたカメラにも適用可能である。

0007

図1で、1は対物レンズで、便宜上、1枚レンズで示したが、実際は多数枚のレンズから構成されていることは周知の通りである。2は主ミラー観察状態撮影状態に応じて撮影光路へ斜設されあるいは退去される。3はサブミラーで、主ミラー2を透過した光束を図示しないカメラ・ボディの下方へ向けて反射させる。4aはシャッターで、後述の感光部材受光面を所定時間露光するのに使われる。4bは対物レンズ1内に配された絞り、4cはフォーカシングのために対物レンズ1を光軸方向へ移動させる駆動機構である。

0008

5は感光部材で、銀塩フィルムあるいはCCDやMOS型等の固体撮像素子あるいはビテコン等の撮像管である。但し、電子撮像デバイスに電子的シャッター機能を持たせれば、シャッターは省略できる。

0009

6aは焦点検出装置で、例えば図2(a)に描く様に、フイールドレンズ20、多孔視野マスク21、正レンズを2枚並設した2次結像レンズ22、そして光電素子列の対が複数配列された受光デバイスが配される。図1ではフイールドレンズはサブミラー3に近い、対物レンズ1の予定結像面位置に設けられている。図2(a)の構成の詳しい説明は特願昭62−315490号公報に述べられているが、まず多孔視野マスク21のスリット21a、21b、21cは夫々測距視野を決定する。2次結像レンズ22は、例えばスリット21aで画定された被写界像の一部を略光電素子列の対23aと23b上に再結像する。またスリット21bあるいはスリット21cで画定された部分は略光電素子列の対23cと23d又は23eと21f上に再結像される。光電素子列の各対の受光情報電気信号として読み出され、相関演算が施されて、各スリットで決定された測距視野内の被写体に対する対物レンズの焦点調節状態を表わす値が算出される。尚、焦点検出装置としては図20の構成を採用することもでき、あるいは特願昭61−160824号に開示されている様な方法を利用し、通常より長い光電素子列の対を用いてこれら光電素子列を電気的に分割し、対応する分割領域同志に相当する信号を使って相関演算を施すものであっても良い。

0010

以上により6aの焦点検出装置は撮影視野の複数の位置に対して焦点検出が可能となる。6bは露出値検出ユニットで、結像レンズ分割測光が可能な受光器を具える。結像レンズはペンタダハプリズム8内の光路を介して対物レンズ1の予定結像面に配されたピント板7と受光器を共後に関係付けている。受光器の受光面は例えば図3の様に分割されており、各分割された領域ごとに測光できるものとする。受光器の出力はマイクロコンピュータmcに入力されて、複数個中心点を中心として測光感度分布を持つ様に重み付けを変更できるものとする。

0011

次にファインダー光路変更用のペンタ・ダハプリズム8の射出後方には接眼レンズ9が配され、観察者眼15によるピント板7の観察に使用される。ピント板の近傍又は一体にフレネルレンズが設けられていても良い。10は視線検出系のための光分割器で、例えば赤外光を反射するダイクロイックミラーを使用し、ここでは接眼レンズ9中に設けられる。11は集光レンズ、12はハーフミラーの様な光分割器、13はLEDの様な照明光源で、好ましくは赤外光(および近赤外光)を発光する。赤外照明光源13を発した光束は集光レンズ11および説版レンズ9の後面(観察者側面)のパワーで例えば平行光としてファインダー光路に沿って射出する。14は光電変換器で、詳しい構成は後述するが、観察者が接眼レンズ9を適正に覗いた時に接眼レンズ9の後面と集光レンズ11に関して観察者眼の前眼部、詳しくは瞳孔近傍と共後に配置する。即ち、ファインダー光学系8、9のアポイント近傍と光電変換器14を共役に配置するのが一法であって、結像倍率は1以下が好ましい。

0012

以上の構成で、対物レンズ1を通過した結像光束部分透過、主ミラー2に於て、ファインダー光束焦点検出光束とに分割される。焦点検出光束は、主ミラー2を透過した後、サブミラー3により反射され、焦点検出装置6に入射する。焦点検出装置6はたとえば図2(b)に示すピント板7の撮影画面で云えば横方向に3点の焦点検出点19L、19C、19Rを持つ。撮影時には主ミラー2は上へはね上げられサブミラー3は、主ミラー上に積層して折りたたまれ、シャッター羽根4が開閉されることによりフィルム5が所定時間露光する。

0013

一方、ファインダー光束はピント板7を経て、ペンタ・ダハプリズム8に入射する。但しピント板と一体あるいは別体のフレネルレンズ等が8の近傍に配設されていることもある。光束は視度調節接眼レンズ9によりピント板7上の被写体像を、拡大投影しつつ観察者眼15に入射する。

0014

人眼の構造は、角膜面16a、角膜後面16b、水晶体前面18a、水晶体後面18bを接合面もしくは界面とした接合レンズと見ることができ、虹彩17は、水晶体前面付近にある。図4に人眼の標準的形状と、各部の屈折率を図示した。またこれを模型眼とした一例が図5である。

0015

一般に、視軸Xの方向と注視点(視線)の方向Yとは一定の偏差がある。普通、注視点方向Yは黄斑Bと前眼部節点Aを結んだ線上にある。眼球の動き光電的に検出する場合は眼球光学系軸対称性を利用し、視軸Xを検出するのが容易であるが、注視点の方向との偏差を補正していないと高い精度を求められているときには不都合である。補正方法については後述する。

0016

視線検出系の光路は次の通りである。赤外照明源13を発した照明光はハーフミラー12を経て、レンズ11によりある程度コリメートされ、ミラー10で反射を受けてファインダー光路に入射する。光分割器10は被写体から来る可視域ファインダー光を透過し、赤外領域の照明光は反射するダイクロイックミラーであることが、ファインダーの明るさの点からも視線検出系の照明効率の点からも望ましい。ただし十分輝度の高い赤外光源を用いるならば、照明効率が低下することを見込んで設計し、NDハーフミラーで代用することは可能である。

0017

ファインダー光路に導入された赤外照明光は接眼レンズ9の後面を通過して観察者眼球照明する。観察者眼の位置が変動しても、照明条件が維持される様、照明光は眼球入射時において略平行光束するのが一法である。これは先のレンズ11のパワーと、接眼レンズ9の後面のパワーの全体で実現される様、各部のパワー配置を調整することで実現できる。人眼の各界面における屈折率変化は、図4に示した通りであるので照明先は屈折率変化の大小に応じ角膜前面、水晶体前面および後面、角膜後面の順の強さで反射される。また平行光束を入射したときの各界面の反射像の位置は、眼球前方から見ると図5の様になることが近軸追跡の結果理解される。これらの像はプルキンエ(Purkinje)像と称され、角膜前面から順に番号を付してプルキンエ第1像、第2像等という。図5から明らかな様に第3像を除き、3個のプルキンエ像は、第3面、即ち水晶体前面の直後に集中しており、また先の屈折率変化の考察から第1像、第4像、第2像の順に強い反射像である。これらの像を形成する照明光は赤外波長域であるため、眼には感じることがなく、ファインダー像観察に支障は生じない。このためには照明光波長は700nmより長いことが望ましく、更に750nm以上あれば個人差の別なく人眼は感知しない。

0018

観察者眼による反射光は逆の経路をたどり、ミラー10、レンズ11を経てハーフミラー12により反射され光電変換器14にて受光される。反射光がファインダー光路から分離され、光電変換器に受光されるまでの光路中可視カット赤外透過フィルターが挿入されていることが望ましい。ファインダー像可視光による角膜反射光をカットし、光信号として意味のある赤外照明光の反射のみを光電変換するためである。光電面はレンズ11と接眼レンズ9後面の全パワーで、観察者眼の水晶体前面付近すなわち瞳孔付近が結像される様な位置に置かれている。これにより、プルキンエの第1、第2、第4像が結像された状態で受光され、反射光量としては必ずしも弱くない、第3像はデフォーカスして光が拡散しているため、あまり光電変換信号に寄与しない。

0019

本実施例視線検出装置の視軸検出の動作原理を以下に説明する。図1の装置で、赤外照明光源13を点光源とし、ピント板7上、画面中央の位置、すなわち図2(b)の19cの位置と光学的に等価な地点から発光するように照明点光源13の位置を調整しておく、この場合観察眼球の光軸が、画面中央を通るならば眼球光軸延長線上に照明光源があるわけであるから、既に図3に示した様に、各プルキンエ像は眼球光軸上に一直線に点像となって並ぶ。眼球瞳孔付近を前方から見た様子は図6(a)の様になる。図6で41は虹彩、42は瞳孔、43は重なったプルキンエ像である。明るく照明された虹彩は環状に観察され、暗い円形の瞳孔42の中央に各面のプルキンエ像が重なった明るいスポットが一点観察される。一方、眼球が回転しており左右どちらか片寄った方向に視軸が向いていると、照明光は眼球光軸と斜めに入射するので、各プルキンエ像は瞳孔中心から偏心した位置に移動し、かつ移動の方向、量が反射面ごとに異なるので複数個のプルキンエ像43、44等が前方から見て認められる。図6(b)がこの状態に対応する。観察者眼の光軸が画面中央からさらに離れた位置を見れば、同図6(c)の様に、その傾向は一層強まり、また観察者眼が逆方向を見ればプルキンエ像の移動方向も反転する。これらの動きをまとめて図7グラフ化した。観察者眼の回転角に対し、瞳孔付近で強い反射像となる第1、第4プルキンエ像の移動量を示してある。これらプルキンエ像の動きを光電的にとらえれば、視線の方向を検出することができる。

0020

上記の視線検出方法では眼球の平行移動への対処が必要である。一般にカメラのファインダー系は観察者の瞳孔が接眼レンズ開口位置に対し一定の許容領域内に存在すれば画面全体を見渡せる様に設計される。実際、この許容範囲が狭いと、カメラと瞳孔の位置関係を正確に保持しなくてはならず極めて使い難いカメラになることが知られている。しかし視線検出装置を基準にして見ると、この許容範囲内で瞳孔の位置、従ってプルキンエ像の位置が変動しうることを意味しており、これを補償する必要がある。その方法は、ひと通りではないが、光学的な見地から実現しやすいものとして、以下の手法が考えられる。

0021

瞳孔中心の位置を常時検出し、瞳孔中心に対するプルキンエ像の相対変位を視線検出量に変換する。この方法は、最も直接的でやりやすいが、瞳孔の緑(つまり虹彩との境界)を確実に把えなくてはならないので、光電変換素子の見る範囲は広く必要となる。

0022

2個以上のプルキンエ像の相対的変位計測する。この場合対象としては第1像と第4像の組み合わせが検出しやすい。像の形成位置が近く同一像面で計測出来るし、比較的反射像が強いからである。

0023

いづれの手法を用いるにしても、観察者がピント板上で見る位置を変更することに要する眼球回転量は高々±10°〜15°程度であり、これによるプルキンエ像の変位は高々±1mm内外であるのに対し、眼球とカメラとの相対的平行移動量はその数倍の大きさで許容されるので、単純な差動センサーでは視線の動きは追えない場合がある。これに対し各数個の光電素子を集積して成る光電素子列により、観察者眼の瞳孔付近に於ける光量分布を測定し、数値的に解析することで眼球の位置や瞳孔径に影響されない優れた視線検出装置が構成される。

0024

図1に示した用途では横方向の視線移動のみ検出すれば良いので、一次元の光電素子列を用いた単純な構成を以下に示す。図8はその方法を説明するためのもので、縦方向検出能力を無視した結果、図8の様な縦長形状の即ち縦幅横幅の数倍以上の光電素子を配列したものとなり、眼球の縦方向の平行移動もしくは回転に対し、ほとんど不感となる。但し、光電素子の列の前に円柱レンズ接着して類似の効果を得ることもできる。

0025

図8に於て、瞳孔61内にて光るプルキンエの第1像62と、プルキンエ第4像63を一次元の光電素子列64(光電変換器14)で受講すると図8(b)の様な光電出力が得られる。両側の高い出力値は虹彩を表現するものである。暗い瞳孔部の中にはプルキンエ第1像、第4像に各々対応した信号65、66が得られる。

0026

瞳孔中心はエッジ部67、68の位置情報から得られる。最も簡単にはエッジ部に於て、虹彩部平均の半値に近い出力を生ずる画素番号をi1 、i2 とする瞳孔中心の位置座標
i0 =(i1 +i2 )/2
で与えられる。プルキンエ第1像の位置は、瞳孔暗部に於て局部的に現われる最大のピークから求められるので、この位置と先の瞳孔中心との相対位置関係により、眼球の回転状況、従って、視線の方向を図7グラフの関係から知ることが出来る。この場合、図7解釈は瞳孔中心がプルキンエ像移動量の原点をなるものと考えれば良い。原点をカメラに固定したものと考えるとほとんど眼球の平行移動しか求められない。プルキンエ第4像は瞳孔暗部の第2のピークとして求められ、この位置と先の第1像の位置を用いて演算しても良い。このときは瞳孔中心の位置は必ずしも知る必要はない。ただし、プルキンエ第1像と第4像とは強度が10倍以上に異なるので比較的ダイナミックレンジの高い光電素子列を要する。

0027

但し、瞳孔中心の代わりに黒目角膜に覆われた部分)の縁から中心位置を検出しても同様の効果が得られる。中心の確定に黒目を利用することは、黒目の径が瞳孔と違って外界の明るさで変化しないので高精度であるが、直径が大きくなるので広い範囲を検出できる様にしておく必要がある。

0028

図8により明らかな様に素子配列方向と直交する方向には不感であるが、あまり配列方向と直交する方向に縦長の光電素子で構成すると瞳の位置によっては上下方向で虹彩を拾ってしまうので、縦長にするには限界がある。従って縦長を比較的おさえた素子から成る光電素子列を数個上下方向に併設して置き、最も適当な出力を得られた配列のみにより視線検出すると、上下方向に不感であり、かつ、良好なプルキンエ像信号が常時得られる検出装置となる。また、上記、一次元方向のみの検出では照明光源を点光源でなく、スリット状とすると更に良好な信号が得られる。この場合にはLEDで線光源を構成しても良いし、スリットの背後に赤外透過可視遮断フィルター白色光源を順置しても良い。

0029

以上説明した方法を図1の光電変換器14の出力が入力されたマイクロコンピュータmcで実行し、観察者の視線方向に対応する測距位置での焦点検出値を焦点検出装置6aの出力からマイクロコンピュータmcで算出し、算出値に従って駆動機構4cを駆動して対物レンズ1をフォーカシングすることができる。

0030

この様に、得られた視線方向により、自動焦点検出の測距点切り替える本発明に係る視線制御されたカメラが得られる。視線の位置は連続的に求められるので、制御対象図2(b)の様な3点に限定されないことはもちろんである。

0031

また、露出検出ユニット6bの出力をマイクロコンピュータmcで信号処理し、観察者の視線方向に応じた位置に重点を置く露出条件を決定し、レリーズ操作に同期してシャッタ4aと絞り4bの一方又は両方を設定することができる。

0032

そして、カメラを制御する際、自動焦点検出と自動露出制御の双方で複数点測定が可能な場合でも観察者の意図に応じて一方のみを使用したり、両方同時に使用することができるものとする。また焦点検出と露出制御のほかに、ファインダー視野中にシャッター優先、絞り優先、プログラム撮影等のモード表示を位置を変えて表示し、例えばレリーズ操作の第1段押し込みの時に確認したモード表示に応じて撮影を行うこともできる。

0033

以下、視軸方向と注視点方向との偏差を補正する方法を説明する。

0034

偏差を補正する簡単な方法はマニュアル補正値あるいは他の情報を入力する方法である。しかしながらこの方法の場合、別途偏差を測定しておいてそれに応じた補正量を入力するのが一法であるが、一般的には人眼の平均的な補正量を予めマイクロコンピュータに記憶させておく。図1のIPはこれらの為の入力器で、もし予め補正量がわかっていれば、その値を入力するものとし、そうでなければファインダーを右目で覗くか、左目で覗くかの区別を入力する。これは上述した黄斑の位置が左右眼対称になるため、偏差の方向は+又は−になるからである。大多数の人眼においては、注視点方向と視軸方向との偏差は5°〜7°程度であるが、解剖学的知見として得られているので、6°に固定しても精度±1°〜2°程度の検出は可能である。

0035

続いて個人差を考慮した方法を説明する。接眼レンズ9を覗くと、図2(b)に示すピント板7の測距視野マーク19C、19R、19Lが見えるが、例えば観察視野中央の測距視野マーク19Cを利用する。計測に先立って観察者(カメラの撮影者)は測距視野マーク19Cを注視し、その状態で入力器IPから計測起動信号を入力する。

0036

視線検出系は前述した様に作用して、観察者眼の視軸を計測し、視軸方向を例えば瞳孔中心に対するプルキンエ第1像の変位量、もしくはプルキンエ第1像と第4像との相対変位量として定量化する。その際、人間の視線方向はかなり変動し易いと云う生理的特性があるので一定時間内に最も高い頻度で発生した視軸方向を採用するといった信号処理ソフトを用いるのも良い。

0037

視線検出系による計測結果はマイクロコンピュータmc中の記憶素子に記憶する。

0038

記録素子不揮発性のEEPROM等が望ましいが、これに限ったことではなく、たとえばバッテリーバックアップされたRAMでも良い。この様な動作状態を設けることにより、観察者が画面中央を注視していることが確定している状況下での視軸方向が得られる。撮影のためのフレーミング時には、測定された視軸の方向と、画面中央注視時の視軸の方向との相対差を演算することにより画面上の注視点が求められる。数式的に表現すると、たとえば、瞳孔中心点ないし黒目中心点を基準としたプルキンエ第1像の位置をxとするとき、注視点方向Xは
X=k(x−x0) (1)
と表わされる。ここにx0は観察者が画面中心を注視しているときのxであり、またkは比例定数で、ファインダー系の定数を主因子として定まる。

0039

更に、検出精度を高めるためには以下の実施例を採用するのが良い。

0040

即ち、視線検出系で検出した注視方向と観察者の現実の注視方向とは若干の差が生ずるのが一般的である。従って、検出結果を確認し、ずれがあれば調整するのが有効であり、大きなずれであれば再検出するのが良い。

0041

図9(a)はピント板を描いているが、観察視野もこのように見える。71は検出結果を示す表示マークで、例えばピント板に積層して設けた液晶表示器EL表示器、あるいは回折格子側方から照明する光学的表示器を使って表示する。x0は適当な値にプリセットされている。図9(b)は液晶表示器の部分を示している。73aは液晶層で、これを一様な透明電極層73bと不連続線状に配された透明電極の層73cが挟み、更に偏光シート73dで挟んで成る。下側の透明電極層73cの電極に順次給電して表示が可能となる。

0042

観察者はファインダー系の接眼レンズ9を覗き、表示マーク71を観察することができるが、その際、観察視野内の図示しない所望の被写体を注視したとき、被写体と表示マーク71が重なれば検出は正確であったことになる。しかしながら、観察者の主観的注視点72の例えば被写体あるいは中央の測距マーク位置等と表示マーク71がずれていたとすれば、検出に誤差が在ったことになるから調整を行った方が良い。

0043

なお、補正量を計測する場合、前述の例では測距マークを利用したが、表示器による表示マークを例えば画面中央に表示してこれを使用しても良く、その際、表示マークを点滅させれば注視を接続させるのに役立つ。

0044

観察者は自己が注視点と認識する位置と、カメラが注視点として検出する位置とが一致するまで、入力器のダイヤルや、スイッチ等の手段により式(1)の定数x0を変化させる。観察者が自身の主観的視線とカメラの検出表示位置が一致していると認めればそこでx0を固定すれば良い。上記x0の入力手段はたとえば図10(a)の様に定電圧電源抵抗分圧で操作し、AD変換して、x0に対応づけても良いし、またはデジタル的には(b)の様にx0を収納するレジスタ81の内容を2個の相反方向のスイッチによりアップダウンしても良い。上述方法の場合には表示器を必要とするが、観察者が計測時に基準点固視する状態を保障する必要がない点が使い易さの上でメリットとなる。

0045

本発明のカメラは高精度の注視点検出を行うために、視軸方向と注視点方向のズレ固体差を補正することをその発明内容に含んでいる。撮影者が変わると、上記ズレの量は微妙に異なるので、それに対するフールプルーフ対策として先に述べた注視点表示は有効である。カメラが撮影画面にオーバーラップして表示する注視点表示が撮影者の主観的注視点と一致している場合にはそのまま使用し続ければ良く、使用者が変わって両者が不一致となったときに上記の補正値設定をやり直せば良い。視線検出動作時に注視点表示が現れれば、補正値設定の必要性の有無は瞬時に判断でき、また忘れることもない。

0046

前述した様にあまり厳密な注視点位置を要しない時には、視軸方向と注視点方向とのズレを個人差に依らない普遍的定数とし、回路内にたとえばマスクROMの形態等で固定してもよい。なお、この場合も、入力した注視点を表示して位置を確認することもできる。

0047

上記の方法により検出された観察者眼の注視点位置情報に基づき、たとえば図1(b)の3点19L、19C、19Rの一点において自動焦点調節を行ったり、また後述する様に自動露光補正を行ったりすることができる。上記方法の注視点検出は連続的にもしくは極めて細かいピッチ位置検出可能であるから動体対象が図1の様に3点に限定されないことはもちろんである。

0048

以上の視線検出は一次元方向のみについて述べたが、一方向のみでなく、直交する2方向の視野の動きを検出するには、正方形に使い画素を2次元に配列した光電素子列を用いれば良い。プルキンエ第1像を含む様な一次元配列縦横各々について、選び出せば瞳孔中心を基準とした方法により、直交する2方向での視線位置が求められる。すなわち図11の様に、観察者眼、瞳孔付近の光像二次元配列された光電素子列上に結像されており、図中91、92の縦横配列の信号を用いれば良い。光電素子列としては既知CCD撮像素子や、MOS型撮像素子が使用でき、またプルキンエ第1像の位置を交点として縦横に演算対象とすべき配列を選択することはマイクロコンピュータにより容易に実現できる。

0049

本実施例の場合に於いても、視軸方向と注視点方向のズレを補正する方法は基本的には同じである。すなわち、最も簡易的には人眼の解剖学的データの平均値を用い、あらかじめズレ補正量を内蔵していて、検出した視軸方向に対し補正を加える。注視点方向を(X、Y)とすると、
X=k(x−x0) (2a)
Y=k(y−y0) (2b)
であり、ここに(x、y)は瞳孔中心もしくは黒目の中心を基準としたプルキンエ第1像の位置(x0、y0)は観察者が画面中央を注視している時の(x、y)である。

0050

もう少し正確な注視点検出をするためには、特定の撮影者毎に、上記補正量(x0、y0)を検出する。方法的には、たとえば、画面中心を注視しているときの視軸方向の検出、または注視点検出位置表示が撮影者の主観的注視点と一致する様に補正量調整する等の先に述べた方法が使用できる。

0051

以上の説明では、カメラの姿勢は常に固定されていることを前提としていた。視線検出装置の作動をより一般的な条件下で保証するためには、観察者眼の視軸回りに関する眼球とカメラの相対回転量を検出することが望ましい。この回転自由度に対する最も標準的な状況は、図12の様に観察者眼の水平軸101とカメラの水平軸102とが平行している状態であるが、実際には撮影の要求に伴い図13のごとく両者が不一致となることがしばしば起こる。最も典型的にはθ=±90°となることが多い。図12図13に於いて103はペンタダハプリズムを用いた一眼レフカメラ、104はペンタダハプリズム後方のファインダー接眼部より視野観察する観察者眼球である。図13の眼球とカメラの相対回転の結果、注視点補正量(x0、y0)は次の変更を受ける。

0052

ID=000003HE=020 WI=067 LX=0265 LY=0650
上式により回転量θに応じて補正値

0053

ID=000004HE=005 WI=019 LX=0505 LY=1000
を算出し、視軸計測値から観察者眼注視点を式(2)により求めれば良い。

0054

θを計測する一般的方法は光電的方法を用いるのが良く、たとえば目尻の様な目の一部の位置を撮像してカメラ基準座標に対し測定することで観察者眼の水平軸101を相対的に求めることができる。しかし観察者眼の水平軸が固定され、カメラの姿勢のみが変化して撮影フレームを選択することがほとんどであるので、上記θを計測する作業は大体、地球水平線に対するカメラの姿勢検出で置き換えることができる。これにはたとえば図14の様に、おもり112に結合された摺動子113が鉛直下方を向くことを利用し、可変抵抗器111の基準と摺動子113との成す角で姿勢を検出する検出器が用いられる。図で114は摺動子の回転中心であり、また分圧された電圧出力端子である。

0055

他方、円環内に水銀116を封入した図15水銀スイッチ115を用いても良い。接点117a、117b等の隣接接点間のどこで導通するか調べることにより円環115内に封入された水銀116の所在判別され、従って鉛直下方の方向が検出される。これら図14図15等の姿勢検出器をカメラ本体に内蔵すれば、カメラの回転が判別されるので、回転量に応じ(3)式を使って視軸計測値に補正を加え、正確な注視点の検出ができる。

0056

本発明は一眼レフカメラにその用途を限定されないことは言うまでもない。図16は逆ガリレイ式ファインダー系に本発明を適用した例である。ファインダー光学系は基本的には凹レンズ121と凸レンズ122により構成されており、角倍率が1以下のアフォーカル系である。図12(a)の実施例ではブロック状の光学部材123を正レンズと負レンズの中間に配置し、ダイクロイックミラーもしくはハーフミラー124によりファインダー光学系と検線検出光学系とを結合している。レンズ125は赤外照明光源127から来た光をコリメートする一方前眼部反射光を光電素子列128の受光面に結像している。126はハーフミラーである。視線検出の方法は図1実施例と変わらない。図12(b)は赤外照明系と検出光学系を分離配置した例である。

0057

本発明は銀塩写真カメラのほかビデオカメラスチルビデオカメラ等ファインダーを有するカメラ一般に好適に用いられる。特に動体を撮影する場合の多いビデオカメラでは本発明は極めて有効である。

0058

本発明に係る視線検出系を有するカメラの用途は自動焦点調節の制御に限定されない。一般にカメラの動作方法を制御する入力手段として使用しうるものである。図17はカメラの露出制御用測光装置の画面内測光感度分布例を図示したものである。同図(a)では画面下内に5個の局所測光点S1 〜S5 を配置してある。視線方向を検出することにより、これら5個の測光点の内1個を選択し、その測光出力により露光を制御するようなカメラを構成することが出来る。また図17(b)は上記局所的測光点の外側により広範囲測光領域P1 〜P5 を配してある。たとえば視線方向でS2 を指定したとき、S2 を中心に両側の測光情報を加味し、

0059

ID=000005HE=010 WI=076 LX=1120 LY=1350
なる量Vを演算し、注視点を中心とした広がりを持った測光感度特性を持たせることが出来る。

0060

さらにシャッター速度の指定や絞り値の指定、パワーフォーカスパワーズームの操作、多重露出制御、各種動作モードの切り替え等カメラのあらゆる制御方法への意志入力手段として光学装置を構成することが可能である。

発明の効果

0061

以上説明したように本発明によれば、視線と視軸の偏差を補正するために予め設定された補正量を記憶する記憶手段と、該補正量に基づいて視線検出を制御する制御手段を有することによって、視線と視軸の偏差を検出することなく、視線と視軸の偏差を補正できるので正しい視線検出が可能になり、視線検出装置の操作も簡単にすることができる。

0062

また、視線と視軸の偏差を検出する検出手段と、検出手段の検出結果によって視線検出を制御する制御手段とを有し、この制御手段は検出手段による検出が行われないときには予め設定された補正量に基づいて視線検出を制御することによって、補正のための視線と視軸の偏差を検出しなかった場合においても視線検出が不可能になることがなく、誤検出を少なくできる。

図面の簡単な説明

0063

図1本発明の実施例を示す光学断面図。
図2焦点検出装置の部分構成を説明する図。
図3露出検出ユニットの構成を説明する図。
図4人間の眼の説明図。
図5人間の眼の断面模式図
図6眼の反射像を示す図。
図7プルキンエ像の移動を示す線図。
図8反射像の検出を説明する図。
図9ピント板平面図。
図10調整器を示す図。
図11反射像の2次元的な検出を説明する図。
図12カメラの姿勢変化を説明する図。
図13カメラの姿勢変化を説明する図。
図14姿勢検出器を示す図。
図15姿勢検出器を示す図。
図16他の実施例を説明する光学断面図。
図17視野を示す図。
図18従来の技術を説明する図。

--

0064

2主ミラー
3サブミラー
6a焦点検出装置
6b露出制御用測光装置
7ピント板
8ペンタ・ダハプリズム
9接眼レンズ
10, 12光分割器
11集光レンズ
13照明光源
14 光電変換器

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • コーニンクレッカフィリップスエヌヴェの「 光ベースの皮膚処置装置」が 公開されました。( 2019/10/03)

    【課題・解決手段】光ベースの皮膚処置のための装置は、毛又は皮膚組織のレーザ誘起光学破壊により皮膚を処置するためのパルス入射光ビームを提供するためのレーザ光源を有する。一構成においては、フォーカスシステ... 詳細

  • キヤノン株式会社の「 接眼光学系及びそれを有する観察装置」が 公開されました。( 2019/09/12)

    【課題】 画像表示面を高倍率で観察することができ、諸収差を良好に補正した高い光学性能を有し、かつ全系が小型で製造が容易な接眼光学系を得ること。【解決手段】 画像表示面に表示された画像を観察するため... 詳細

  • キヤノン株式会社の「 表示制御装置及び方法、及び撮像装置」が 公開されました。( 2019/09/12)

    【課題】 手動焦点調節時に安定したフォーカスアシスト表示を行うこと。【解決手段】 表示制御装置は、焦点状態を示す指標を表示手段に表示する表示制御手段と、撮像手段から得られる視差を有する一対の像信号... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ