図面 (/)

技術 瞳孔距離測定方法、装着型眼用機器及び記憶媒体

出願人 京東方科技集團股ふん有限公司北京京東方光電科技有限公司
発明者 張浩陳麗莉楚明磊孫建康ヤン桂新郭子強王亜坤田文紅馬占山
出願日 2018年2月1日 (3年4ヶ月経過) 出願番号 2018-557090
公開日 2020年8月31日 (9ヶ月経過) 公開番号 2020-526735
状態 未査定
技術分野 光学的手段による測長装置
主要キーワード メインインタフェース 類似図形 概略領域 ゴースティング スタート段階 横方向延 リフレッシュ率 基本部材
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

瞳孔距離測定方法(100)、装着型眼用機器(600)及びコンピュータ可読記憶媒体を提供する。前記方法(100)は、少なくとも1つの眼部画像撮影するステップと、前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出するステップと、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む。

概要

背景

バーチャルリアリティーVR)技術の発展に伴って、VR装置への要求が高まっている。たとえば、VR装置は、ゴースティングを軽減させるように、より高いリフレッシュ率が求められたり、視覚粒状性を軽減させるように、より高い分解能スクリーンが求められたりする。また、VR装置の歪み分散補正要件も高まっており、歪み分散補正演算が人間の眼の瞳孔差異を考慮しないと、同一VR装置は異なる瞳孔距離の人に使用される時、視聴効果が異なる。

概要

瞳孔距離測定方法(100)、装着型眼用機器(600)及びコンピュータ可読記憶媒体を提供する。前記方法(100)は、少なくとも1つの眼部画像撮影するステップと、前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出するステップと、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む。

目的

本開示の少なくとも一実施例は、少なくとも1つの眼部画像を撮影するステップと、前記少なくとも1つの眼部画像から、単眼瞳孔に対応する1つの瞳孔画像位置を抽出し、又は両眼瞳孔に対応する2つの瞳孔画像位置を抽出するステップと、
前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む瞳孔距離測定方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

少なくとも1つの眼部画像撮影するステップと、前記少なくとも1つの眼部画像から、単眼瞳孔に対応する1つの瞳孔画像位置を抽出し、又は両眼瞳孔に対応する2つの瞳孔画像位置を抽出するステップと、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む瞳孔距離測定方法

請求項2

前記した少なくとも1つの眼部画像を撮影するステップは、前記両眼瞳孔を同時に含む眼部画像を撮影するステップを含み、前記した前記少なくとも1つの眼部画像における両眼瞳孔に対応する2つの瞳孔画像位置を抽出するステップは、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定するステップを含み、前記した前記1つ又は2つの瞳孔画像位置に基づき、瞳孔間の実際距離を決定するステップは、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定するステップと、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む請求項1に記載の瞳孔距離測定方法。

請求項3

前記した前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定するステップは、両眼とカメラとの間の実際垂直距離を測定するステップと、前記カメラの画角を決定するステップと、前記両眼瞳孔の画像距離を読み取るステップと、前記眼部画像の高さを読み取るステップと、前記両眼瞳孔の画像距離、前記画角、前記両眼とカメラとの間の実際垂直距離、及び前記眼部画像の高さに基づき、前記両眼瞳孔間の前記実際距離を決定するステップと、を含む請求項2に記載の瞳孔距離測定方法。

請求項4

前記した少なくとも1つの眼部画像を撮影するステップは、第1カメラと第2カメラを用いて、左眼を含む左眼画像右眼を含む右眼画像をそれぞれ撮影するステップを含み、前記した前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔に対応する1つの瞳孔画像位置を抽出するステップは、前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定するステップを含み、前記した前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、前記左眼画像における前記第1カメラの画像位置と、前記右眼画像における前記第2カメラの画像位置と、を決定するステップと、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第1カメラの画像位置との間の第1水平画像距離を決定するステップと、前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定するステップと、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第2カメラの画像位置との間の第2水平画像距離を決定するステップと、前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定するステップと、前記第1実際水平距離と前記第2実際水平距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む請求項1に記載の瞳孔距離測定方法。

請求項5

前記した前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定するステップは、前記第1カメラ及び第2カメラと両眼との間の実際垂直距離を測定するステップと、前記第1カメラの第1画角を決定するステップと、前記左眼画像の高さを読み取るステップと、前記実際垂直距離、前記第1画角、前記第1水平画像距離及び前記左眼画像の高さに基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定するステップと、を含み、前記した前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定するステップは、前記第2カメラの第2画角を決定するステップと、前記右眼画像の高さを読み取るステップと、前記実際垂直距離、前記第2画角、前記第2水平画像距離及び前記右眼画像の高さに基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定するステップと、を含む請求項4に記載の瞳孔距離測定方法。

請求項6

前記した前記両眼瞳孔間の実際距離を決定するステップは、前記第1カメラと第2カメラとの間の実際距離を取得するステップと、前記第1実際水平距離と前記第2実際水平距離との距離の和を計算するステップと、前記第1と第2カメラの間の実際距離から前記距離の和を減算したものを前記両眼瞳孔間の実際距離として決定するステップと、をさらに含む請求項4に記載の瞳孔距離測定方法。

請求項7

前記した少なくとも1つの眼部画像を撮影するステップは、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影するステップを含み、前記した前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔に対応する1つの瞳孔画像位置を抽出するステップは、前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出するステップと、前記眼部画像から前記マークポイントのマーク位置を抽出するステップと、を含み、前記した前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定するステップと、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む請求項1に記載の瞳孔距離測定方法。

請求項8

前記した前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップは、両眼とカメラとの間の実際垂直距離を測定するステップと、前記カメラの画角を決定するステップと、前記単眼瞳孔と前記マークポイントの水平画像距離を読み取るステップと、前記眼部画像の高さを読み取るステップと、前記両眼とカメラとの間の実際垂直距離、画角、前記単眼瞳孔と前記マークポイントの水平画像距離及び前記眼部画像の高さに基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む請求項7に記載の瞳孔距離測定方法。

請求項9

前記した前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出するステップは、前記少なくとも1つの眼部画像から単眼又は両眼の所在する画像領域を抽出するステップと、前記画像領域をフィルタリングし且つ階調化して、グレースケール画像を取得するステップと、前記グレースケール画像を二値画像に変換するステップと、二値画像中の単眼瞳孔領域境界又は両眼瞳孔領域の境界を検索するステップと、前記単眼瞳孔領域の境界又は両眼瞳孔領域の境界を楕円フィッティングして1つ又は2つの楕円図形を取得するステップと、各楕円図形の中心を対応する瞳孔の画像位置とするステップと、を含む請求項1〜8のいずれか一項に記載の瞳孔距離測定方法。

請求項10

前記高さは、カメラにより収集される画像の縦方向画素サイズである請求項3、5又は8に記載の瞳孔距離測定方法。

請求項11

コンピュータ命令が記憶されているコンピュータ可読記憶媒体であって、前記命令プロセッサにより実行されると、少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出する操作と、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行するコンピュータ可読記憶媒体。

請求項12

プロセッサ及びメモリを含む装着型眼用機器であって、前記メモリには命令が記憶されており、前記命令が前記プロセッサにより実行されると、少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出する操作と、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する装着型眼用機器。

請求項13

前記両眼瞳孔を含む眼部画像を撮影するように配置される第1カメラをさらに含み、前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定する操作と、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定する操作と、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定する操作と、を実行する請求項12に記載の装着型眼用機器。

請求項14

左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するように配置される第1カメラ及び第2カメラをさらに含み、前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定する操作と、前記左眼画像における前記第1カメラの画像位置と、前記右眼画像における前記第2カメラの画像位置と、を決定する操作と、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第1カメラの画像位置との間の第1水平画像距離を決定する操作と、前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定する操作と、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第2カメラの画像位置との間の第2水平画像距離を決定する操作と、前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定する操作と、前記第1実際水平距離と前記第2実際水平距離に基づき、前記両眼瞳孔の実際距離を決定する操作と、を実行する請求項12に記載の装着型眼用機器。

請求項15

前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影する第1カメラをさらに含み、前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像中の前記単眼瞳孔の瞳孔画像位置を抽出する操作と、前記眼部画像から前記マークポイントのマーク位置を抽出する操作と、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定する操作と、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する請求項12に記載の装着型眼用機器。

請求項16

前記マークポイントは、装着型眼用機器のハウジングに設置される請求項15に記載の装着型眼用機器。

請求項17

前記装着型眼用機器が眼部画像を撮影するために光源を提供する赤外光源をさらに含む請求項12〜16のいずれか一項に記載の装着型眼用機器。

技術分野

0001

本開示の実施例は、瞳孔距離測定方法、装着型眼用機器及び記憶媒体に関する。

背景技術

0002

バーチャルリアリティーVR)技術の発展に伴って、VR装置への要求が高まっている。たとえば、VR装置は、ゴースティングを軽減させるように、より高いリフレッシュ率が求められたり、視覚粒状性を軽減させるように、より高い分解能スクリーンが求められたりする。また、VR装置の歪み分散補正要件も高まっており、歪み分散補正演算が人間の眼の瞳孔差異を考慮しないと、同一VR装置は異なる瞳孔距離の人に使用される時、視聴効果が異なる。

課題を解決するための手段

0003

本開示の少なくとも一実施例は、少なくとも1つの眼部画像撮影するステップと、前記少なくとも1つの眼部画像から、単眼瞳孔に対応する1つの瞳孔画像位置を抽出し、又は両眼瞳孔に対応する2つの瞳孔画像位置を抽出するステップと、
前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む瞳孔距離測定方法を提供する。

0004

たとえば、前記した少なくとも1つの眼部画像を撮影するステップは、前記両眼瞳孔を同時に含む眼部画像を撮影するステップを含み、前記した前記少なくとも1つの眼部画像における両眼瞳孔又は両眼瞳孔に対応する1つまたは2つの瞳孔画像位置を抽出するステップは、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定するステップを含み、前記した前記1つ又は2つの瞳孔画像位置に基づき、瞳孔間の実際距離を決定するステップは、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定するステップと、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む。

0005

たとえば、前記した前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定するステップは、両眼とカメラとの間の実際垂直距離を測定するステップと、前記カメラの画角を決定するステップと、前記両眼瞳孔の画像距離を読み取るステップと、前記眼部画像の高さを読み取るステップと、前記両眼瞳孔の画像距離、前記画角、前記両眼とカメラとの間の実際垂直距離、及び前記眼部画像の高さに基づき、前記両眼瞳孔間の前記実際距離を決定するステップと、を含む。

0006

たとえば、前記した少なくとも1つの眼部画像を撮影するステップは、第1カメラと第2カメラを用いて、左眼を含む左眼画像右眼を含む右眼画像をそれぞれ撮影するステップを含む。前記した前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出するステップは、前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定するステップを含む。前記した前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、前記左眼画像における前記第1カメラの画像位置と、前記右眼画像における前記第2カメラの画像位置と、を決定するステップと、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第1カメラの画像位置との間の第1水平画像距離を決定するステップと、前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定するステップと、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第2カメラの画像位置との間の第2水平画像距離を決定するステップと、前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定するステップと、前記第1実際水平距離と前記第2実際水平距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む。

0007

たとえば、前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定するステップは、前記第1カメラ及び第2カメラと両眼との間の実際垂直距離を測定するステップと、前記第1カメラの第1画角を決定するステップと、前記左眼画像の高さを読み取るステップと、前記実際垂直距離、前記第1画角、前記第1水平画像距離及び前記左眼画像の高さに基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定するステップと、を含む。前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定するステップは、前記第2カメラの第2画角を決定するステップと、前記右眼画像の高さを読み取るステップと、前記実際垂直距離、前記第2画角、前記第2水平画像距離及び前記右眼画像の高さに基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定するステップと、を含む。

0008

たとえば、前記した前記両眼瞳孔間の実際距離を決定するステップは、前記第1、第2カメラとの間の実際距離を取得するステップと、前記第1実際水平距離と前記第2実際水平距離との距離の和を計算するステップと、前記第1と第2カメラの間の実際距離から前記距離の和を減算したものを前記両眼瞳孔間の実際距離として決定するステップと、をさらに含む。

0009

たとえば、前記した少なくとも1つの眼部画像を撮影するステップは、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影するステップを含む。前記した前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出するステップは、前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出するステップと、前記眼部画像から前記マークポイントのマーク位置を抽出するステップと、を含む。前記した前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定するステップと、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む。

0010

たとえば、前記した前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップは、両眼とカメラとの間の実際垂直距離を測定するステップと、前記カメラの画角を決定するステップと、前記単眼瞳孔と前記マークポイントの水平画像距離を読み取るステップと、前記眼部画像の高さを読み取るステップと、前記両眼とカメラとの間の実際垂直距離、画角、前記単眼瞳孔と前記マークポイントの水平画像距離及び前記眼部画像の高さに基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む。

0011

たとえば、前記した前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出するステップは、前記少なくとも1つの眼部画像から単眼又は両眼の所在する画像領域を抽出するステップと、前記画像領域をフィルタリングし且つ階調化して、グレースケール画像を取得するステップと、前記グレースケール画像を二値画像に変換するステップと、二値画像中の単眼瞳孔領域境界又は両眼瞳孔領域の境界を検索するステップと、前記単眼瞳孔領域の境界又は両眼瞳孔領域の境界を楕円フィッティングして1つ又は2つの楕円図形を取得するステップと、各楕円図形の中心を対応する瞳孔の画像位置とするステップと、を含む。

0012

たとえば、前記眼部画像の高さは、カメラにより収集される画像の縦方向画素サイズである。

0013

本開示の少なくとも一実施例は、コンピュータ命令が記憶されているコンピュータ可読記憶媒体であって、前記命令プロセッサにより実行されると、少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出する操作と、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行するコンピュータ可読記憶媒体を提供する。

0014

本開示の少なくとも一実施例は、プロセッサ及びメモリを含む装着型眼用機器であって、前記メモリには命令が記憶されており、前記命令が前記プロセッサにより実行されると、少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出する操作と、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する装着型眼用機器を提供する。

0015

たとえば、前記両眼瞳孔を含む眼部画像を撮影するように配置される第1カメラをさらに含む。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定する操作と、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定する操作と、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定する操作と、を実行する。

0016

たとえば、左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するように配置される第1カメラ及び第2カメラをさらに含む。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定する操作と、前記左眼画像における前記第1カメラの画像位置と、前記右眼画像における前記第2カメラの画像位置と、を決定する操作と、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第1カメラの画像位置との間の第1水平画像距離を決定する操作と、前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定する操作と、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第2カメラの画像位置との間の第2水平画像距離を決定する操作と、前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定する操作と、前記第1実際水平距離と前記第2実際水平距離に基づき、前記両眼瞳孔の実際距離を決定する操作と、を実行する。

0017

たとえば、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影する第1カメラをさらに含む。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像中の前記単眼瞳孔の瞳孔画像位置を抽出する操作と、前記眼部画像から前記マークポイントのマーク位置を抽出する操作と、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定する操作と、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。

0018

たとえば、前記マークポイントは、装着型眼用機器のハウジングに設置される。

0019

たとえば、前記装着型眼用機器は、前記装着型眼用機器が眼部画像を撮影するために光源を提供する赤外光源をさらに含む。

0020

本開示の実施例は、画像処理によって両眼瞳孔の実際距離を測定し、ひいては取得した両眼瞳孔の実際距離に基づき、眼球追跡視線計算など、視覚に関連するほかの分野に適用でき、さらに装着型眼用機器(たとえばVR装置)の着用者エクスペリエンス効果を更に向上できる。

0021

以下、本開示の実施例の技術案をより明瞭に説明するために、実施例の図面を簡単に説明する。下記図面は本開示のいくつかの実施例のみに関し、本開示を制限するものではないことは明白であろう。

図面の簡単な説明

0022

本開示の実施例に係る瞳孔距離測定方法のフローチャートである。
本開示の実施例に係る他の瞳孔距離測定方法のフローチャートである。
本開示の実施例に係る瞳孔距離測定装置の模式図である。
本開示の実施例に係るカメラが撮影した両眼画像の模式図である。
本開示の実施例に係る類似図形の模式図である。
本開示の実施例に係るさらに他の瞳孔距離測定方法のフローチャートである。
本開示の実施例に係る瞳孔距離測定装置の別の模式図である。
本開示の実施例に係る撮影した左眼画像の模式図である。
本開示の実施例に係る撮影した右眼画像の模式図である。
本開示の実施例に係る類似図形の模式図である。
本開示の実施例に係る両眼の所在する平面における両眼とカメラとの位置の模式図である。
本開示の実施例に係るさらに他の瞳孔距離測定方法のフローチャートである。
本開示の実施例に係る瞳孔距離測定装置の別の模式図である。
本開示の実施例に係るマークポイントの位置の模式図である。
本開示の実施例に係る両眼とマークポイントとの相対位置関係図である。
本開示の実施例に係るカメラが撮影した単眼瞳孔とマークポイントの画像である。
本開示の実施例に係る類似図形の模式図である。
本開示の実施例に係る瞳孔位置を抽出するフローチャートである。
本開示の実施例に係る装着型眼用機器の構成ブロック図である。

実施例

0023

以下、図面を参照して本開示の実施例の技術案を明確かつ完全に説明し、図面に示され以下に詳細に説明される非限定的な例示的実施例を参照して、本開示の例示的な実施例とそれらの多種の特徴及び有利な詳細を説明する。なお、図示される特徴は必ずしも比例に応じて作成されるものではない。示される例は本開示の実施例の実施を理解し、更に当業者が例示的な実施例を実施できるようにするためのものである。したがって、これらの例は本開示の実施例の範囲を制限するものではないと理解すべきである。

0024

特に断らない限り、本開示に使用される技術用語又は科学用語は当業者に理解される意味を表す。本開示に使用される「第1」、「第2」及び類似する用語は、順序、数量又は重要性を示すのではなく、異なる構成部分を区別するためのものである。また、本開示の各実施例では、同一又は類似の符号は同一又は類似の部材を示す。

0025

以下、図面を参照して本開示の瞳孔距離測定方法、コンピュータ可読記憶媒体及び装着型眼用機器を説明する。本開示の実施例では、曖昧さを生じない場合、瞳孔で眼球を表すことができる。たとえば、瞳孔の位置で眼球の位置、両眼瞳孔の距離で両眼の距離を表したりする。

0026

図1に示すように、本開示の少なくとも一実施例は瞳孔距離測定方法100を提供する。該瞳孔距離測定方法100は、少なくとも1つの眼部画像を撮影するステップ101と、前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出する(すなわち、単眼瞳孔に対応する1つの瞳孔画像位置を抽出し、又は両眼瞳孔に対応する2つの瞳孔画像位置を抽出する)ステップ111と、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップ121と、を含む。

0027

いくつかの実施例では、ステップ101は、1つの眼球を含む画像を撮影するステップを含んでおり、また、別のいくつかの実施例では、ステップ101は、2つの眼球を同時に含む1つの画像を撮影し又はそれぞれ1つの眼球を含む2つの画像を撮影するステップを含む。

0028

いくつかの実施例では、ステップ111では画像から両眼瞳孔の画像距離を抽出可能であり、別のいくつかの実施例では、ステップ111では画像から1つの眼球の瞳孔と設定されたマークポイントとの間の距離を抽出、又は画像から1つの眼球の瞳孔と撮影装置の画像での位置点との間の距離を抽出可能である。

0029

いくつかの実施例では、ステップ121では、ステップ111で取得した両眼瞳孔の画像距離に基づき、図形間の比例関係を合わせて両眼瞳孔間の実際距離を導出する。別のいくつかの実施例では、ステップ121では、ステップ111で取得した単眼瞳孔とマークポイントとの間の画像距離に基づき、図形間の比例関係を合わせて両眼瞳孔間の実際距離を導出する。別のいくつかの実施例では、ステップ121ではさらにステップ111の画像距離及び図形間の比例関係に基づき、眼球と対応する撮影装置との間の実際距離を導出し、さらに左眼と撮影装置との間の実際距離及び右眼と別の撮影装置との間の実際距離を合わせて、両眼瞳孔の実際距離を取得する。

0030

いくつかの実施例では、瞳孔に関連する画像距離に基づき瞳孔間の実際距離を取得するために、本開示の実施例はさらに撮影装置の焦平面に位置する仮想結像平面構築し、いくつかの実施例では、該仮想結像平面は実際結像平面と重なる場合がある。仮想結像平面が実際結像平面と重ならない場合でも、仮想結像平面に形成される画像と実際結像平面に撮影された画像とは所定の比例関係を満たし、たとえば、等比例で拡大又は縮小する。仮想結像平面と両眼の所在する平面での類似図形との比例関係に基づき、撮影された画像での瞳孔に関連する画像距離と瞳孔の実際距離との間の計算関係式を導出することができる。以下の実施例では、画像距離、すなわち実際結像平面で撮影された画像での関連距離を例として説明する。

0031

いくつかの実施例では、ステップ121では、図5に示される方法を用いて、撮影した眼部画像(すなわち実際結像平面に位置する画像)から瞳孔の画像での位置を抽出する。瞳孔の撮影した画像での位置に基づき、撮影した画像での瞳孔に関連する距離を更に取得できる。たとえば、撮影した画像から抽出した瞳孔位置に基づき、両眼瞳孔の撮影した画像での距離を決定する。たとえば、撮影した画像から抽出した瞳孔位置及びカメラの対応する位置に基づき、第1水平画像距離又は第2水平画像距離を決定するする。たとえば、撮影した画像から抽出した瞳孔位置とマークポイントの位置に基づき、水平画像距離を決定する。

0032

いくつかの実施例では、ユーザーがVR装置等の装着型装置を使用し始める時、ユーザーがスタートインタフェースにおいていくつかの操作をしてメインインタフェースに入る。たとえば、特定のメニュー等をクリックし、又は特定のスタート段階に入らないと、メインインタフェースに入らない。この時、本開示の瞳孔距離測定方法を起動させて瞳孔間の実際距離の測定を行う。

0033

図2Aに示すように、他の瞳孔距離測定方法200を提供する。該瞳孔測定方法200は、1つのカメラにより収集された両眼画像に基づいて行われる。たとえば、瞳孔測定方法200は、前記両眼瞳孔を同時に含む眼部画像を撮影するステップ201と、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定するステップ211と、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定するステップ221と、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定するステップ231と、を含む。

0034

いくつかの実施例では、ステップ201では1つの赤外カメラを用いてユーザーの両眼を撮影すると同時に、複数の赤外LEDランプを用いて赤外カメラに光源を提供する。カメラが画像を収集する時、ユーザーの2つの眼球を収集することを確保し、すなわち、カメラが通常動作して、LEDランプが正常にオンすることを確保する必要がある。勿論、本開示の実施例では、それ以外のタイプのカメラとそれ以外のタイプの光源を用いて撮影してもよく、本開示では制限しない。

0035

図2Bに示すように、いくつかの実施例では、瞳孔距離測定方法はVR装置に適用でき、それに応じて、赤外LEDランプ4は赤外光でVR装置の内部を照明し、LEDランプ4はVR装置用レンズ3の周囲に設置されてもよく、VR装置の内側ケーシング5に分布されてもよい。LEDランプ4の数は、VR装置の内部を照明し、鮮明な眼部画像の写真を撮影できることを基準に決められる。カメラ2は、VR装置の上部中間位置に設置される。VR装置は、赤外カメラ2とデータ処理装置とを接続可能なインタフェース1をさらに含める。たとえば、インタフェース1は、USBインタフェース外部コンピュータに接続される)、MIPIインタフェース(モバイル端末に接続される)、WIFIインタフェース又はブルートゥース(登録商標)インタフェース等である。

0036

仮に、カメラが実際撮影した画像の画素サイズを「Image_W*Image_H」とされる。図2Cに示すように、撮影した画像(すなわち図2Cの画像)を分析したところ、左眼瞳孔の画像での位置がImage_el、右眼瞳孔の画像での位置がImage_er、撮影した画像での左眼瞳孔と右眼瞳孔との間隔(すなわち両眼瞳孔距離の画像での距離)がImage_edである。

0037

撮影した画像での両眼瞳孔の画像距離Image_edに基づき、両眼瞳孔の実際距離を取得するには、図2Dに示される関連位置点及び構造の関連平面をさらに参照する必要がある。図2Dは2つの平面を示し、それぞれ仮想結像平面O’(すなわち焦平面)及び両眼の所在する平面Oである。仮に、カメラ20の焦点距離をf、カメラ20の画角(field of view、FOV)の角度を2*θとされる。仮想結像平面O’に両眼瞳孔の位置el0とer0が示される。両眼瞳孔の所在する実際平面Oに左右眼の実際位置elとerが示され、図2Dでは眼球の位置で眼球瞳孔の位置を表す。Hは両眼の所在する平面の高さを示し、たとえば、パラメータHはカメラの画角に基づき算出でき、hは焦平面の高さを示し、たとえば、パラメータhもカメラの画角に基づき算出できる。pd(すなわち両眼瞳孔の実際距離)は図2Dの左眼瞳孔elと右眼瞳孔erの平面Oでの瞳孔間の実際距離を示し、pd’(すなわち両眼瞳孔の焦平面O’での距離)は結像面O’での両眼瞳孔er0(O平面のer点に対応する)とel0(O平面のel点に対応する)との間の距離を示す。

0038

図2D遠近関係から、
tan(θ)=(h/2)/f
tan(θ)=(H/2)/d
Image_ed/pd’=Image_H/h
pd/pd’=H/h
が得られる。

0039

以上の関係式から、ユーザーの両眼瞳孔の実際距離pd=2*d*tan(θ)*Image_ed/Image_Hが得られる。

0040

いくつかの実施例では、図2Aのステップ221では前記両眼瞳孔の画像距離Image_edに基づき、前記両眼瞳孔の実際距離pdを決定することは、両眼とカメラとの間の実際垂直距離d(たとえば、図2Dに示される両眼の所在する平面Oとカメラ20との間の垂直距離)を測定するステップと、前記カメラの画角θ(たとえば、図2Dに示されるカメラ20の画角)を決定するステップと、前記両眼瞳孔の画像距離Image_ed(たとえば、図2Cに示される撮影した画像での左眼瞳孔と右眼瞳孔との間の画像距離)を読み取るステップと、前記眼部画像の高さImage_H(たとえば、図2Cにおける撮影した画像の縦方向画素)を読み取るステップと、前記両眼瞳孔の画像距離Image_ed、画角θ、両眼とカメラとの間の実際垂直距離d及び前記眼部画像の高さImage_Hに基づき、前記両眼瞳孔間の実際距離pd(すなわち図2Dにおけるerとelの間の距離)を決定するステップと、を含む。

0041

本開示の実施例は、1つの赤外カメラを用いてユーザーの両眼を撮影するとともに、画像処理によって、両眼瞳孔の画像での距離を測定し、ひいては瞳孔の実際距離を算出する。本開示の実施例によって瞳孔距離を検出した後、眼球追跡や視線計算など、眼球に関連する他の分野にも適用できる。

0042

図3Aに示すように、瞳孔距離測定方法300を提供する。瞳孔距離測定方法300は、第1カメラと第2カメラを用いて、左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するステップ301と、前記左眼画像における左眼瞳孔の瞳孔画像位置と前記右眼画像における右眼瞳孔の瞳孔画像位置を決定するステップ311と、前記左眼画像における前記第1カメラの画像位置と前記右眼画像における前記第2カメラの画像位置を決定するステップ321と、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第1カメラの画像位置との間の第1水平画像距離を決定するステップ331と、前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離Sep_lを決定するステップ341と、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第2カメラの画像位置との間の第2水平画像距離を決定するステップ351と、前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定するステップ361と、前記第1実際水平距離と前記第2実際水平距離に基づき、前記両眼瞳孔の実際距離を決定するステップ371と、を含む。

0043

いくつかの実施例では、ステップ301は図3Bに示される装置を用いて画像を撮影する。たとえば、2つの赤外カメラ11(すなわち、それぞれ左眼の上方と右眼の上方に位置する第1カメラと第2カメラ)を用いて瞳孔間の距離を検出し、ここで、2つの赤外カメラ11間の位置が既知であり、且つ各赤外カメラ11がそれぞれユーザーの1つの眼球を撮影できる。また、2つの赤外カメラに光源を提供する複数の赤外LEDランプ14をさらに含む。図3Bに示すように、2つのカメラ11はそれぞれレンズ13の上方に位置し、且つ同一水平線上にある。勿論、本開示の実施例では、それ以外のタイプのカメラとそれ以外のタイプの光源を用いて撮影してもよく、本開示では制限しない。

0044

たとえば、図3Bのレンズ13はVR装置用のレンズであり、赤外LEDランプ14は赤外光によってVR装置の内部を照明する。LEDランプ14は通常、VRのレンズ13の周囲に位置するが、VR装置の内側ケーシング15に分布されてもよい。LEDランプ14の数は、VR装置の内部を照明し、眼部画像の写真を撮影できることを基準に決められる。

0045

図3Bにおける一方のカメラ12が撮影した画像は図3C−1と図3C−2に示される。

0046

図3C−1と図3C−2に示される左眼と右眼の撮影画像の画素サイズがImage_W*Image_H、画像中心がP_ImageC(すなわちカメラ12が実際結像平面で撮影した画像における対応する位置)である。撮影した画像における単眼瞳孔中心の該撮影した画像での位置が点Peyeであり、点Peyeの横方向延長線と点P_ImageCの縦方向延長線とが点P_cで交わる。点Peyeと点P_cの間の距離は第1水平画像距離Image_ed_l又は第2水平画像距離Image_ed_rとなる。

0047

第1水平画像距離と第2水平画像距離に基づき両眼瞳孔の実際距離を計算するために、さらに図3Dに示される関連位置点及び構造の関連平面を参照する必要がある。

0048

図3Dは2つの平面を示し、それぞれ仮想結像平面O’(すなわち焦平面)及び両眼の所在する平面Oである。図3Dにおいて、点P_eye_oと点P_c_oはそれぞれ撮影した画像での点Peye及び点P_cの両眼の所在する平面Oでの対応する位置点である。図3Dにおける点P_eye_oとP_c_oは仮想結像平面O’でそれぞれ点Peye’と点P_c’に対応する。焦平面を実際の結像平面とすると、撮影した画像における第1水平画像距離又は第2水平画像距離はImage_ed.x’=P_c’.x−Peye’.xで示されており、ただし、パラメータxはl(left)又はr(right)であり、それぞれ左眼に対応する第1水平画像距離(たとえば、Image_ed.l’=P_c’.l−Peye’.l)と右眼に対応する第2水平画像距離(たとえば、Image_ed.r’=P_c’.r−Peye’.r)を示す。実際に、点Peye’が点P_c’の左側又は点P_c’の右側にある可能性があり、従って第1水平画像距離Image_ed.l’又は第2水平画像距離Image_ed.r’は正又は負である可能性がある。

0049

仮に、図3Dにおける第1カメラと第2カメラ30の焦点距離をf、画角FOVを2*θとされる。仮想結像面O’の高さがh、目からカメラまでの実際垂直距離がdであり、P_eye_oが目の面Oでの位置、P_c_oが点P_c’の面Oへの投影である。点P_eye_oと点P_c_oとの間の距離は第1実際水平距離又は第2実際水平距離Sep_x(ただし、パラメータxはl又はrであり、それぞれ左眼に対応する第1実際水平距離Sep_lと右眼に対応する第2実際水平距離Sep_rを示す)である。

0050

図3Dに示される遠近関係から、
tan(θ)=(h/2)/f
tan(θ)=(H/2)/d
Image_ed/Image_ed’=Image_H/h;
Sep_X/Image_ed’=H/hが得られる。

0051

以上の関係から、ユーザーの第1又は第2実際水平距離の計算式Sep_x=2*d*tan(θ)*Image_ed/Image_Hが得られる。

0052

第1カメラにより撮影された左眼画像に基づき、瞳孔からカメラの前記画像での画像中心までの横方向距離Image_ed_lが得られ、上式代入して第1実際水平距離Sep_l=2*d*tan(θ)*Image_ed_l/Image_Hが得られる。

0053

同様のようにして、第2カメラについて、第2実際水平距離Sep_r=2*d*tan(θ)*Image_ed_r/Image_Hが得られる。

0054

上記方法によって第1実際水平距離と第2実際水平距離を得た後、図3Eを更に参照して両眼瞳孔の実際距離を算出する。図3Eに示すように、2つのカメラ12(第1カメラと第2カメラ)のVR装置での距離Sepが既知であり、画像処理(たとえば、図5参照)によって、第1カメラ12によりユーザーの左眼画像を撮影し、撮影画像における左眼瞳孔から第1カメラに対応する点までの水平距離Sep_lを算出しており、同様のようにして、撮影画像における第2カメラ12に対応する点から右眼瞳孔中心までの距離Sep_rを算出する。この場合、ユーザーの両眼瞳孔の実際距離がpd=Sep−Sep_l−Sep_rである。

0055

いくつかの実施例では、ステップ341で第1実際水平距離を決定することは、前記第1カメラ及び第2カメラと両眼との間の実際垂直距離d(たとえば、図3Dに示される両眼の所在する平面Oとカメラ30の間の垂直距離)を測定するステップと、前記第1カメラの第1画角θ(たとえば、図3Dに示されるカメラ30の画角)を決定するステップと、前記左眼画像の高さ(たとえば、図3C−1中の画像の縦方向撮影画素)を読み取るステップと、前記実際垂直距離d、前記第1画角θ、前記第1水平画像距離Image_ed_l(たとえば、図3C−1に示される左眼瞳孔と第1カメラ12の画像での投影点P_ImageCとの間の距離)及び前記左眼画像の高さに基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離Sep_lを決定する(図3E参照)ステップと、を含める。ステップ361では、第2実際水平距離を決定するステップは、前記第2カメラの第2画角θを決定するステップと、前記右眼画像の高さ(たとえば、図3C−2中の画像の縦方向撮影画素)を読み取るステップと、前記実際垂直距離d、前記第2画角θ、前記第2水平画像距離Image_ed_r(たとえば、図3C−2に示される右眼瞳孔と第2カメラ12の画像での投影点P_ImageCとの間の距離)及び前記右眼画像の高さに基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離Sep_rを決定する(図3E参照)ステップと、を含める。

0056

図3Eに示すように、いくつかの実施例では、ステップ371では、前記両眼瞳孔間の実際距離を決定することは、前記第1と第2カメラの間の実際距離Sepを取得するステップと、前記第1実際水平距離Sep_lと前記第2実際水平距離Sep_rの距離の和を計算するステップと、前記第1と第2カメラの間の実際距離から前記距離の和を減算したものを前記両眼瞳孔間の実際距離として決定するステップと、をさらに含める。VR装置において、第1カメラと第2カメラとの両カメラ間の距離Sepが既知であるため、ユーザーの瞳孔距離がpd=Sep−(Sep_l+Sep_r)である。

0057

以上のように、2つのカメラのVR装置での距離Sepが既知であり、画像処理によって、第1カメラcamera_lによりユーザーの左眼画像を撮影するとともに、左眼瞳孔から左カメラまでの水平距離Sep_lを算出しており、同様のようにして、第2カメラcamera_rから右眼瞳孔中心までの距離Sep_rを算出する。この場合、図3Eに示されるように、ユーザーの最終瞳孔距離がpd=Sep−Sep_l−Sep_rとなる。

0058

ユーザーの1つの眼球を撮影できる位置が既知である2つの赤外カメラを用いてそれぞれ単眼画像を撮影し、同時に、複数の赤外LEDランプが赤外カメラに光源を提供し、各カメラは。たとえば、VR装置内の2つの赤外カメラを用いてそれぞれユーザーの1つの眼球を撮影し、画像処理によって、撮影した画像における単一瞳孔からそれに対応するカメラの光心の画像での対応点までの距離を測定し、さらに瞳孔の実際距離を算出する。本開示の実施例に使用されるカメラは、瞳孔距離を検出した後、眼球追跡や視線計算など、眼球に関連する他の分野にも適用できる。

0059

図4Aに示すように、瞳孔距離測定方法400を提供する。瞳孔距離測定方法400は、前記単眼瞳孔及び予め設定したマークポイントを含む眼部画像を撮影するステップ401と、前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出し、前記眼部画像から前記マークポイントのマーク位置を抽出するステップ411と、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定するステップ421と、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップ431と、を含む。

0060

図4Bに示すように、いくつかの実施例では、瞳孔測距方法400はVR装置に適用できる。VR装置には、1つの赤外カメラ22及び赤外LEDランプ24が配置される。VR装置の使用時、LEDランプ24の赤外光源が目を照明し、赤外カメラ22がユーザーの単眼とVRハウジング25上のマークポイント26を撮影し、画像処理によってユーザーの瞳孔とマークポイント26を取得しており、画像における瞳孔とマークポイントとの横方向距離に基づき、両眼瞳孔の実際距離を算出する。たとえば、マークポイント26はVR装置のハウジング25に設置されてもよい。勿論、本開示の実施例は、それ以外のタイプのカメラとそれ以外のタイプの光源を用いて撮影してもよく、本開示では制限しない。

0061

たとえば、VR装置はレンズ23が用いられ、赤外LEDランプ24は赤外光によってVR装置の内部を照明する。LEDランプ24は通常、レンズ23の周囲に位置するが、VR装置の内側ケーシング25に分布されてもよい。LEDランプ24の数は、VR装置の内部を照明し、眼部画像の写真を撮影できることを基準に決められ、一般に、8個のLEDランプ等が用いられる。

0062

図4C及び図4Dに示すように、マークポイント26はVR装置ののぞきウィンドウ27の上方に位置し、たとえば、マークポイント26はVRハウジング25の左右方向の真中に位置する。ユーザーがVR装置を正常に使用する時、マークポイント26はユーザーの両眼間隔の中心位置に設定される。たとえば、マークポイント26は赤外LEDランプ24などの赤外カメラに認識可能な物点である。VR装置ののぞきウィンドウ27によっては、ユーザーは透過レンズ23を透過してVR装置に表示されるコンテンツ視聴できる。

0063

カメラにより撮影された画像は図4Eに示され、該撮影した画像は1つの眼球位置点Peye及びマークポイントPmarkを含む。

0064

仮に、カメラにより撮影された画像(図4Eに示される)の画素サイズをImage_W*Image_H、単眼瞳孔中心の画像での位置をPeye、マークポイントの画像での点をPmarkとされる。画像における点Peyeの横方向延長線と点Pmarkの縦方向延長線は点Pcrossで交わる。点Peyeと点Pcrossの間の距離が水平画像距離Image_edである。

0065

点Peyeと点Pcrossの間の水平画像距離と、瞳孔間の実際距離との計算関係式を導出するために、さらに図4Fに示される関連位置点と構造の関連平面を参照する必要がある。

0066

図4Fは2つの平面を示し、それぞれ焦平面に位置する仮想結像平面O’及び両眼瞳孔の所在する平面Oである。撮影した画像における点Peye、点Pmark及び点Pcrossは仮想結像平面O’においてそれぞれ点Peye’、点Pmark’及び点Pcross’に対応する。仮想結像平面O’に単眼瞳孔の位置Peye’とマークポイントの位置Pmark’が示される。目からカメラまでの距離はdである。Peye_oは目の面Oでの位置、Pcross_oはPcross’の面Oへの投影である。対応するPeye_o、Pcross_o間の距離は両眼瞳孔の実際距離の半分である。カメラ40の焦点距離はf、画角はθである。Hは両眼の所在する平面の高さを示し、たとえば、Hはカメラの画角に基づき算出でき、hは焦平面の高さを示し、たとえば、hはカメラの画角に基づき算出できる。

0067

図4Eの遠近関係から、
tan(θ)=(h/2)/f
tan(θ)=(H/2)/d
Image_ed/pd’=Image_H/h;
pd/pd’=H/hが得られる。

0068

以上の関係からpd’=2*d*tan(θ)*Image_ed/Image_Hが得られる。ユーザーの両眼瞳孔の距離pd=2*pd’となる。

0069

いくつかの実施例では、ステップ421は、両眼とカメラとの間の実際垂直距離d(たとえば、図4Fに示される両眼の所在する平面Oとカメラ40の間の垂直距離)を測定するステップと、前記カメラの画角θ(たとえば、図4Fに示されるカメラ40の画角)を決定するステップと、撮影した画像における前記単眼瞳孔と前記マークポイントの水平画像距離Image_ed(たとえば、図4Eに示される画像上の単眼瞳孔からマークポイントまでの距離)を読み取るステップと、前記撮影した画像の眼部画像の高さ(たとえば、図4Eに示される画像の縦方向画素数)を読み取るステップと、前記両眼とカメラの間の実際垂直距離d、画角θ、前記単眼瞳孔と前記マークポイントの水平画像距離Image_ed及び前記眼部画像の高さImage_Hに基づき、前記両眼瞳孔間の実際距離(すなわちpd)を決定するステップと、を含める。

0070

図5に示すように、上記3つの実施例における、前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出するステップは、たとえば、各眼部画像から単眼又は両眼の所在する画像領域を抽出するステップ501と、前記画像領域をフィルタリングし階調化してグレースケール画像を取得し、前記グレースケール画像を二値画像に変換するステップ511と、二値画像中の単眼瞳孔領域の境界又は両眼瞳孔領域の境界を検索するステップ521と、前記単眼瞳孔領域の境界又は両眼瞳孔領域の境界を楕円フィッティングして1つ又は2つの楕円図形を取得するステップ531と、各楕円図形の中心を対応する瞳孔の画像位置とするステップ541と、を含める。勿論、それ以外の方法により瞳孔の画像位置を取得してもよく、本開示では限定しない。

0071

上記実施例では、前記眼部画像の高さは、カメラが撮影した画像の縦方向の画素サイズである。

0072

いくつかの実施例では、上記マークポイントを含む画像を抽出することは、カメラにより収集された画像を取得した後、マークポイントを抽出するステップを含める。マークポイントの抽出は以下のステップを含む。(1)マークポイント領域の抽出(たとえば、全画像からマークポイントの所在する概略領域を抽出する):ユーザーがVR装置を着用すると、マークポイントの画像での位置が略確定するため、大きな画像領域をマークポイントの所在する領域の候補領域として選択することができる。(2)画像フィルタリング:抽出した画像に対しフィルタリング、例えばガウスフィルタリング等を行う。(3)階調化:フィルタリング後の画像を階調化して、RGB画像をグレースケール画像に変換する。(4)閾値処理:グレースケール画像を二値画像に変換する。マークポイント自体が赤外LEDランプであるため、赤外カメラにより撮影される画像において、マークポイントが1つの白色のスポットであり、大きな閾値を設定し、例えば、閾値=240を設定して、画像の二値化を行うことができる。(5)マークポイント領域の検出:形態学の方法を利用して、マークポイント領域の境界を見つける。(6)マークポイントの楕円フィッティング:マークポイント領域の境界を利用して楕円フィッティングを行い、楕円を得る。(7)マークポイント中心の出力:マークポイントの位置が楕円の中心である。

0073

本開示の実施例は1つの赤外カメラを用いて瞳孔距離を推算する方法を提供しており、たとえば、1つの赤外カメラと複数のLEDランプを採用できる。1つのカメラによってユーザーの単眼とVRハウジングにおけるマークポイントを撮影可能であり、複数の赤外LEDランプによって赤外カメラに光源を提供する。VR装置内の赤外カメラを用いてユーザーの単眼とVRハウジングにおけるマークポイントを撮影するとともに、画像処理によって、単眼瞳孔とマークポイントとの横方向距離を測定し、さらに、両眼瞳孔間の実際距離を算出する。本開示に係るカメラは、瞳孔距離を検出した後、眼球追跡や視線計算など、眼球に関連する他の作業にも適用できる。

0074

本開示の少なくとも一実施例は、コンピュータ命令が記憶されているコンピュータ可読記憶媒体を提供しており、該コンピュータ可読記憶媒体は、前記命令がプロセッサにより実行されると、前記少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出する操作と、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。

0075

図6には、本開示に係る装着型眼用機器600の構成ブロック図が示される。装着型眼用機器600は、プロセッサ602及びメモリ603を含める。前記メモリ603には、命令が記憶されており、前記命令が前記プロセッサ602により実行されると、少なくとも1つの眼部画像から、前記少なくとも1つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する1つ又は2つの瞳孔画像位置を抽出する操作と、前記1つ又は2つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。

0076

いくつかの実施例では、装着型眼用機器600は、少なくとも1つのカメラ601をさらに含める。たとえば、少なくとも1つのカメラ601は、前記少なくとも1つの眼部画像を撮影するように配置される。

0077

いくつかの実施例では、装着型眼用機器600は、前記少なくとも1つのカメラ601に撮影光源を提供するように配置される少なくとも1つの赤外光源604をさらに含める。

0078

いくつかの実施例では、装着型眼用機器600は、VR眼鏡基本部材を備えてもよい。たとえば、VR眼鏡の基本部材は、レンズ、ハウジング等を含める。

0079

いくつかの実施例では、少なくとも1つのカメラ601は、前記両眼瞳孔を含む眼部画像を撮影するように配置される第1カメラを含んでもよい。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定する操作と、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像での前記両眼瞳孔の画像距離を決定する操作と、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定する操作と、を実行する。

0080

いくつかの実施例では、少なくとも1つのカメラ601は、左眼を含む左眼画像と、右眼を含む右眼画像と、をそれぞれ撮影するように配置される第1カメラおよび第2カメラを含んでもよい。前記メモリ603に記憶されている命令が前記プロセッサ602により実行されると、前記左眼画像における左眼瞳孔の瞳孔画像位置と前記右眼画像における右眼瞳孔の瞳孔画像位置を決定する操作と、前記第1カメラの前記左眼画像での画像位置と前記第2カメラの前記右眼画像での画像位置を決定する操作と、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第1カメラの画像位置との間の第1水平画像距離を決定する操作と、前記第1水平画像距離に基づき、前記左眼瞳孔と前記第1カメラとの間の第1実際水平距離を決定する操作と、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第2カメラの画像位置との間の第2水平画像距離を決定する操作と、前記第2水平画像距離に基づき、前記右眼瞳孔と前記第2カメラとの間の第2実際水平距離を決定する操作と、前記第1実際水平距離と前記第2実際水平距離に基づき、前記両眼瞳孔の実際距離を決定する操作と、を実行する。

0081

いくつかの実施例では、カメラ601は、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影するように配置される第1カメラを含んでもよい。前記メモリ603に記憶されている命令が前記プロセッサ602により実行されると、前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出する操作と、前記眼部画像から前記マークポイントのマーク位置を抽出する操作と、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定する操作と、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。たとえば、前記マークポイントは、装着型眼用機器のハウジングに設置される。

0082

いくつかの実施例では、前記メモリ603及びプロセッサ602は、同一のPC等の処理装置に位置してもよい。

0083

装着型眼用機器600の類似説明については、図1−5を参照すればよいため、ここで説明をしない。

0084

以上、本開示の具体的な実施形態を説明したが、本開示の保護範囲はそれに限定されず、当業者にとって本開示の技術的範囲を逸脱せずに容易に想到し得る変化や置換はすべて本開示の保護範囲に属する。従って、本開示の保護範囲は特許請求の範囲の保護範囲に準じるべきである。

0085

本開示は、2017年7月7日に提出した中国特許出願第201710551489.5号の優先権を主張し、ここで上記中国特許出願の全開示内容引用により本願の一部として組み込まれる。

0086

1インタフェース
2赤外カメラ
3レンズ
4赤外LEDランプ
5内側ケーシング
11 赤外カメラ
12カメラ
13 レンズ
14 赤外LEDランプ
15 内側ケーシング
20,30,40 カメラ
22 赤外カメラ
23 レンズ
24 赤外LEDランプ
25VRハウジング、内側ケーシング
26マークポイント
27 のぞきウィンドウ
600 装着型眼用機器
601 カメラ
602プロセッサ
603メモリ
604 赤外光源

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ