図面 (/)

技術 画像取得装置及び画像取得方法

出願人 浜松ホトニクス株式会社
発明者 竹嶋智親中島可奈子木村学人
出願日 2019年2月12日 (1年9ヶ月経過) 出願番号 2019-022814
公開日 2020年8月31日 (2ヶ月経過) 公開番号 2020-134538
状態 未査定
技術分野 自動焦点調節 スタジオ装置 焦点調節 顕微鏡、コンデンサー イメージ入力
主要キーワード 距離計測ステップ 色相画像 撮像軸 記憶操作 白色成分 明度画像 リモートコントロールユニット 高周波画像
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年8月31日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (8)

課題

色相が状況により変化していく場合であっても被写体に精度良く焦点を合わせることができる画像取得装置及び画像取得方法を提供する。

解決手段

被写体Oを撮像する撮像部101と、撮像部101が撮像した元画像G1を処理する画像処理部203と、画像処理部203での処理結果に基づいて撮像部101による撮像の焦点を調整する焦点調整部104と、を備え、画像処理部203は、元画像G1から色相を抽出して色相画像G5を生成する色相画像生成部254と、色相画像G5において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲Rを設定する色相範囲設定部255と、を有し、焦点調整部104は、被写体Oのうち色相範囲Rに属する色相を有する領域に撮像の焦点を合わせる。

概要

背景

画像取得を行う際の焦点検出に関する既存の技術としては、例えばTOF(Time of flight)法が挙げられる。TOF法は、例えば赤外線を被写体に照射し、被写体から反射した赤外線の戻り時間や戻り角度から被写体との距離を算出して焦点を合わせる手法である。TOF法を単独で使用した場合、光学系で測距を行う領域が限定的であり、被写体の凹凸により距離の算出に誤差が生じ易いため、被写体の所望の領域に焦点を合わせにくいという問題が生じ得る。また、被写体の中心を撮像するためには、測距光学系撮像光学系とを同軸に配置する必要があり、装置の大型化も課題となる。

焦点検出に関する他の技術としては、コントラスト法が挙げられる。コントラスト法は、取得した画像のコントラストを解析し、コントラストが高くなる方向にレンズを駆動して焦点を合わせる手法である。例えば特許文献1に記載のオートフォーカスシステムでは、追尾すべき被写体の色相ヒストグラムを作成し、色相近傍の画素数が最も多い被写体に焦点を合わせる処理が行われている。

概要

色相が状況により変化していく場合であっても被写体に精度良く焦点を合わせることができる画像取得装置及び画像取得方法を提供する。被写体Oを撮像する撮像部101と、撮像部101が撮像した元画像G1を処理する画像処理部203と、画像処理部203での処理結果に基づいて撮像部101による撮像の焦点を調整する焦点調整部104と、を備え、画像処理部203は、元画像G1から色相を抽出して色相画像G5を生成する色相画像生成部254と、色相画像G5において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲Rを設定する色相範囲設定部255と、を有し、焦点調整部104は、被写体Oのうち色相範囲Rに属する色相を有する領域に撮像の焦点を合わせる。

目的

本開示は、上記課題の解決のためになされたものであり、色相が状況により変化していく場合であっても被写体に精度良く焦点を合わせることができる画像取得装置及び画像取得方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

被写体を撮像する撮像部と、前記撮像部が撮像した元画像を処理する画像処理部と、前記画像処理部での処理結果に基づいて前記撮像部による撮像の焦点を調整する焦点調整部と、を備え、前記画像処理部は、前記元画像から色相を抽出して色相画像を生成する色相画像生成部と、前記色相画像において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲を設定する色相範囲設定部と、を有し、前記焦点調整部は、前記被写体のうち前記色相範囲に属する色相を有する領域に前記撮像の焦点を合わせる画像取得装置

請求項2

前記色相範囲設定部は、前記色相画像において特定の色が占める割合が増加するほど前記色相範囲を狭くする請求項1記載の画像取得装置。

請求項3

前記画像処理部は、前記色相画像のうち前記色相範囲に属する色相のコントラストを検出するコントラスト検出部を有し、前記焦点調整部は、前記コントラストが高くなる方向に前記撮像の焦点を移動させる請求項1又は2記載の画像取得装置。

請求項4

前記画像処理部は、前記元画像から明度を抽出して明度画像を生成する明度画像生成部と、前記色相画像に対して前記色相範囲を用いた重み付けを行うと共に、前記明度画像と重み付け後の色相画像とを重畳して重畳画像を生成する画像重畳部と、を有し、前記コントラスト検出部は、前記重畳画像のうち前記色相範囲に属する色相のコントラストを検出する請求項3記載の画像取得装置。

請求項5

前記コントラスト検出部は、前記重畳画像における所定の検出エリア内で前記色相範囲に属する色相のコントラストを検出する請求項4記載の画像取得装置。

請求項6

前記被写体との間の距離を計測する距離計測部を更に備え、前記コントラスト検出部は、前記距離が大きくなるほど前記検出エリアを小さくする請求項5記載の画像取得装置。

請求項7

前記明度画像生成部は、前記明度画像から低周波成分を除去して高周波明度画像を生成し、前記画像重畳部は、前記高周波明度画像と前記重み付け後の色相画像とを重畳して前記重畳画像を生成する請求項4〜6のいずれか一項記載の画像取得装置。

請求項8

前記明度画像生成部は、前記元画像から緑色成分を除去して補正画像を生成し、前記画像重畳部は、前記補正画像と前記重み付け後の色相画像とを重畳して前記重畳画像を生成する請求項4〜7のいずれか一項記載の画像取得装置。

請求項9

被写体を撮像する撮像ステップと、前記撮像ステップで撮像した元画像を処理する画像処理ステップと、前記画像処理ステップでの処理結果に基づいて撮像の焦点を調整する焦点調整ステップと、を備え、前記画像処理ステップは、前記元画像から色相を抽出して色相画像を生成する色相画像生成ステップと、前記色相画像において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲を設定する色相範囲設定ステップと、を有し、前記焦点調整ステップでは、前記被写体のうち前記色相範囲に属する色相を有する領域に前記撮像の焦点を合わせる画像取得方法

請求項10

前記色相範囲設定ステップでは、前記色相画像において特定の色が占める割合が増加するほど前記色相範囲を狭くする請求項9記載の画像取得方法。

請求項11

前記画像処理ステップは、前記色相画像のうち前記色相範囲に属する色相のコントラストを検出するコントラスト検出ステップを有し、前記焦点調整ステップでは、前記コントラストが高くなる方向に前記撮像の焦点を移動させる請求項9又は10記載の画像取得方法。

請求項12

前記画像処理ステップは、前記元画像から明度を抽出して明度画像を生成する明度画像生成ステップと、前記色相画像に対して前記色相範囲を用いた重み付けを行うと共に、前記明度画像と重み付け後の色相画像とを重畳して重畳画像を生成する画像重畳ステップと、を有し、前記コントラスト検出ステップでは、前記重畳画像のうち前記色相範囲に属する色相のコントラストを検出する請求項11記載の画像取得方法。

請求項13

前記コントラスト検出ステップでは、前記重畳画像における所定の検出エリア内で前記色相範囲に属する色相のコントラストを検出する請求項12記載の画像取得方法。

請求項14

前記被写体との間の距離を計測する距離計測ステップを更に備え、前記コントラスト検出ステップでは、前記距離が大きくなるほど前記検出エリアを小さくする請求項13記載の画像取得方法。

請求項15

前記明度画像生成ステップでは、前記明度画像から低周波成分を除去して高周波明度画像を生成し、前記画像重畳ステップでは、前記高周波明度画像と前記重み付け後の色相画像とを重畳して前記重畳画像を生成する請求項12〜14のいずれか一項記載の画像取得方法。

請求項16

前記明度画像生成ステップでは、前記元画像から緑色成分を除去して補正画像を生成し、前記画像重畳ステップでは、前記補正画像と前記重み付け後の色相画像とを重畳して前記重畳画像を生成する請求項12〜15のいずれか一項記載の画像取得方法。

技術分野

0001

本開示は、画像取得装置及び画像取得方法に関する。

背景技術

0002

画像取得を行う際の焦点検出に関する既存の技術としては、例えばTOF(Time of flight)法が挙げられる。TOF法は、例えば赤外線を被写体に照射し、被写体から反射した赤外線の戻り時間や戻り角度から被写体との距離を算出して焦点を合わせる手法である。TOF法を単独で使用した場合、光学系で測距を行う領域が限定的であり、被写体の凹凸により距離の算出に誤差が生じ易いため、被写体の所望の領域に焦点を合わせにくいという問題が生じ得る。また、被写体の中心を撮像するためには、測距光学系撮像光学系とを同軸に配置する必要があり、装置の大型化も課題となる。

0003

焦点検出に関する他の技術としては、コントラスト法が挙げられる。コントラスト法は、取得した画像のコントラストを解析し、コントラストが高くなる方向にレンズを駆動して焦点を合わせる手法である。例えば特許文献1に記載のオートフォーカスシステムでは、追尾すべき被写体の色相ヒストグラムを作成し、色相近傍の画素数が最も多い被写体に焦点を合わせる処理が行われている。

先行技術

0004

特開2003−241065号公報

発明が解決しようとする課題

0005

しかしながら、単純なコントラスト法では、例えば被写体のエッジ部分のようにコントラストに差が生じ易い部分が解析対象として抽出され易く、必ずしも被写体の所望の領域に焦点が合わないという問題があった。また、特許文献1のような手法では、被写体の色相が状況により変化していくような場合に対応することが困難であった。

0006

本開示は、上記課題の解決のためになされたものであり、色相が状況により変化していく場合であっても被写体に精度良く焦点を合わせることができる画像取得装置及び画像取得方法を提供することを目的とする。

課題を解決するための手段

0007

本開示の一側面に係る画像取得装置は、被写体を撮像する撮像部と、撮像部が撮像した元画像を処理する画像処理部と、画像処理部での処理結果に基づいて撮像部による撮像の焦点を調整する焦点調整部と、を備え、画像処理部は、元画像から色相を抽出して色相画像を生成する色相画像生成部と、色相画像において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲を設定する色相範囲設定部と、を有し、焦点調整部は、被写体のうち色相範囲に属する色相を有する領域に撮像の焦点を合わせる。

0008

この画像取得装置では、色相画像において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲を設定する。これにより、被写体の色相が状況により変化していく場合であっても、当該色相の変化に追従し、被写体のうち色相範囲に属する色相を有する領域に精度良く焦点を合わせることができる。

0009

色相範囲設定部は、色相画像において特定の色が占める割合が増加するほど色相範囲を狭くしてもよい。この場合、被写体の色相が特定の色で占められるほど、被写体において焦点を合わせる領域が絞られる。したがって、被写体のうち色相範囲に属する色相を有する領域に一層精度良く焦点を合わせることができる。

0010

画像処理部は、色相画像のうち色相範囲に属する色相のコントラストを検出するコントラスト検出部を有し、焦点調整部は、コントラストが高くなる方向に撮像の焦点を移動させてもよい。この場合、色相画像において特定の色が占める割合に基づいて色相範囲が設定され、当該色相範囲で重み付けされた色相を用いてコントラスト法が適用される。したがって、被写体のうち色相範囲に属する色相を有する領域に一層精度良く焦点を合わせることができる。

0011

画像処理部は、元画像から明度を抽出して明度画像を生成する明度画像生成部と、色相画像に対して色相範囲を用いた重み付けを行うと共に、明度画像と重み付け後の色相画像とを重畳して重畳画像を生成する画像重畳部と、を有し、コントラスト検出部は、重畳画像のうち色相範囲に属する色相のコントラストを検出してもよい。この場合、明度画像と重み付け後の色相画像とを重畳した重畳画像を用いることで、コントラストを精度良く検出することができる。したがって、被写体のうち色相範囲に属する色相を有する領域に一層精度良く焦点を合わせることができる。

0012

コントラスト検出部は、重畳画像における所定の検出エリア内で色相範囲に属する色相のコントラストを検出してもよい。この場合、重畳画像の一部に絞ってコントラストの検出を行うことで、被写体の注目部位に精度良く焦点を合わせることができる。

0013

画像取得装置は、被写体との間の距離を計測する距離計測部を更に備え、コントラスト検出部は、距離が大きくなるほど検出エリアを小さくしてもよい。これにより、被写体との間の距離が変化した場合であっても被写体の同一部位に精度良く焦点を合わせることができる。

0014

明度画像生成部は、明度画像から低周波成分を除去して高周波明度画像を生成し、画像重畳部は、高周波明度画像と重み付け後の色相画像とを重畳して重畳画像を生成してもよい。この場合、明度画像における画像のボケを軽減することができる。したがって、より鮮明な重畳画像を生成することが可能となる。

0015

明度画像生成部は、元画像から緑色成分を除去して補正画像を生成し、画像重畳部は、補正画像と重み付け後の色相画像とを重畳して重畳画像を生成してもよい。緑と紫とは補色関係にあり、オーバーフロー時には同一の画素値となる。このため、紫色成分の補色である緑色成分を除去することにより、白色成分を基準とした明度画像を生成できる。したがって、より鮮明な重畳画像を生成することが可能となる。

0016

本開示の一側面に係る画像取得方法は、被写体を撮像する撮像ステップと、撮像ステップで撮像した元画像を処理する画像処理ステップと、画像処理ステップでの処理結果に基づいて撮像の焦点を調整する焦点調整ステップと、を備え、画像処理ステップは、元画像から色相を抽出して色相画像を生成する色相画像生成ステップと、色相画像において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲を設定する色相範囲設定ステップと、を有し、焦点調整ステップでは、被写体のうち色相範囲に属する色相を有する領域に撮像の焦点を合わせる。

0017

この画像取得方法では、色相画像において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲を設定する。これにより、被写体の色相が状況により変化していく場合であっても、当該色相の変化に追従し、被写体のうち色相範囲に属する色相を有する領域に精度良く焦点を合わせることができる。

0018

色相範囲設定ステップでは、色相画像において特定の色が占める割合が増加するほど色相範囲を狭くしてもよい。この場合、被写体の色相が特定の色で占められるほど、被写体において焦点を合わせる領域が絞られる。したがって、被写体のうち色相範囲に属する色相を有する領域に一層精度良く焦点を合わせることができる。

0019

画像処理ステップは、色相画像のうち色相範囲に属する色相のコントラストを検出するコントラスト検出ステップを有し、焦点調整ステップでは、コントラストが高くなる方向に撮像の焦点を移動させてもよい。この場合、色相画像において特定の色が占める割合に基づいて色相範囲が設定され、当該色相範囲で重み付けされた色相を用いてコントラスト法が適用される。したがって、被写体のうち色相範囲に属する色相を有する領域に一層精度良く焦点を合わせることができる。

0020

画像処理ステップは、元画像から明度を抽出して明度画像を生成する明度画像生成ステップと、色相画像に対して色相範囲を用いた重み付けを行うと共に、明度画像と重み付け後の色相画像とを重畳して重畳画像を生成する画像重畳ステップと、を有し、コントラスト検出ステップでは、重畳画像のうち色相範囲に属する色相のコントラストを検出してもよい。この場合、明度画像と重み付け後の色相画像とを重畳した重畳画像を用いることで、コントラストを精度良く検出することができる。したがって、被写体のうち色相範囲に属する色相を有する領域に一層精度良く焦点を合わせることができる。

0021

コントラスト検出ステップでは、重畳画像における所定の検出エリア内で色相範囲に属する色相のコントラストを検出してもよい。この場合、重畳画像の一部に絞ってコントラストの検出を行うことで、被写体の注目部位に精度良く焦点を合わせることができる。

0022

画像処理方法は、被写体との間の距離を計測する距離計測ステップを更に備え、コントラスト検出ステップでは、距離が大きくなるほど検出エリアを小さくしてもよい。これにより、被写体との間の距離が変化した場合であっても被写体の同一部位に精度良く焦点を合わせることができる。

0023

明度画像生成ステップでは、明度画像から低周波成分を除去して高周波明度画像を生成し、画像重畳ステップでは、高周波明度画像と重み付け後の色相画像とを重畳して重畳画像を生成してもよい。この場合、明度画像における画像のボケを軽減することができる。したがって、より鮮明な重畳画像を生成することが可能となる。

0024

明度画像生成ステップでは、元画像から緑色成分を除去して補正画像を生成し、画像重畳ステップでは、補正画像と重み付け後の色相画像とを重畳して重畳画像を生成してもよい。緑と紫とは補色関係にあり、オーバーフロー時には同一の画素値となる。このため、紫色成分の補色である緑色成分を除去することにより、白色成分を基準とした明度画像を生成できる。したがって、より鮮明な重畳画像を生成することが可能となる。

発明の効果

0025

本開示によれば、色相が状況により変化していく場合であっても被写体に精度良く焦点を合わせることができる。

図面の簡単な説明

0026

本開示の一側面に係る画像取得装置のシステム構成例を示すブロック図である。
画像取得装置の構成要素を示すブロック図である。
画像処理部の構成要素を示すブロック図である。
画像取得装置で処理される各画像の例を示す図である。
画像取得装置で処理される各画像の例を示す図である。
色相範囲の参照テーブルの一例を示す図である。
画像取得装置の動作の一例を示すフローチャートである。

実施例

0027

以下、図面を参照しながら、本開示の一側面に係る画像取得装置及び画像取得方法の好適な実施形態について詳細に説明する。

0028

図1は、本開示の一側面に係る画像取得装置のシステム構成例を示すブロック図である。図1に示すように、この画像取得装置1は、被写体Oの画像を取得し、取得した画像を表示装置Dに表示する装置である。また、画像取得装置1は、取得した被写体Oの画像を記憶装置Mに記憶する機能を有している。画像取得装置1の用途に特に限定はないが、以下の実施形態では、手術室などの医療現場における手術部位モニタリング用途を例示する。この場合、主な被写体Oは、人体の皮膚、血液、臓器などである。

0029

図2は、画像取得装置の構成要素を示すブロック図である。図2に示すように、画像取得装置1は、カメラヘッド10と、コントロールユニット20と、リモートコントロールユニット30とを備えている。カメラヘッド10とコントロールユニット20とは、有線又は無線により相互に情報通信可能に構成されている。リモートコントロールユニット30は、有線又は無線によりコントロールユニット20及びリモートコントロールユニット30に対して情報送信可能に構成されている。

0030

カメラヘッド10は、片手把持可能な筐体を備えたハンディタイプユニットであり、被写体Oに対するオートフォーカス機能を有している。カメラヘッド10は、撮像部101と、光源部102と、レンズ103と、焦点調整部104と、距離計測部105とを備えて構成されている。撮像部101は、例えばCCDイメージセンサCMOSイメージセンサといった撮像素子を備えて構成されている。撮像部101は、必要に応じて光学フィルタプリズム等を備えていてもよい。撮像部101によって取得された画像は、コントロールユニット20を介して表示装置Dに出力される。

0031

光源部102は、被写体Oに対して光を照射する部分である。光源部102は、例えばランプなどの白色光源によって構成されている。被写体Oに白色光を照射することにより、手術部位の明るさを補うことができる。また、光源部102は、蛍光励起する励起光源を有していてもよい。この場合、例えば患者インドシアニングリーンなどの蛍光試薬を予め投与することにより、皮下の血管やリンパ節の流れなどを観察することが可能となる。

0032

レンズ103は、撮像部101の撮像軸上に配置され、被写体Oからの光による光像を撮像素子の撮像面に結像させる。焦点調整部104は、例えばアクチュエータによって構成されている。焦点調整部104は、コントロールユニット20から出力される制御信号に基づいてレンズ103を撮像軸上で変位させ、撮像部101による撮像の焦点を調整する。

0033

距離計測部105は、被写体Oとの間の距離を計測する部分である。距離計測部105は、例えばTOF(Time of flight)センサといった距離センサによって構成されている。距離計測部105は、例えば赤外光を被写体Oに向けて照射し、被写体Oで反射した赤外光の戻り時間に基づいて撮像部101と被写体Oとの間の距離を計測する。距離計測部105は、被写体Oとの間の距離の計測結果を示す結果信号をコントロールユニット20に出力する。

0034

コントロールユニット20は、物理的には、例えばFPGA(Field-Programmable Gate Array)やマイクロコンピュータなどの集積回路を筐体内に収容して構成されている。コントロールユニット20は、機能的には、画像入力部201と、画像出力部202と、画像処理部203とを備えている。画像入力部201及び画像出力部202は、カメラヘッド10から出力される元画像の入出力を行う部分である。画像入力部201は、カメラヘッド10から入力された元画像(図4(a)参照)を画像処理部203及び画像出力部202に出力する。画像出力部202は、画像入力部201に入力された元画像を表示装置D及び記憶装置Mに出力する。

0035

画像処理部203は、撮像部101が撮像した元画像を処理し、処理結果に基づいて撮像部101による撮像の焦点を制御する部分である。画像処理部203は、画像入力部201から元画像を受け取ると、当該元画像に所定の処理を施した後、処理後の画像に対してコントラストの検出を実行する。画像処理部203は、コントラストの検出結果に基づいて焦点調整部104に対する制御信号を生成し、カメラヘッド10に出力する。画像処理部203の詳細については後述する。

0036

リモートコントロールユニット30は、画像取得装置1の操作に用いられる装置である。リモートコントロールユニット30は、操作部301と、信号出力部302とを備えている。操作部301は、ユーザからの入力を受け付ける操作ボタン等によって構成されている。信号出力部302は、操作部301が受け付けた操作に対応するコマンド信号をカメラヘッド10及びコントロールユニット20に出力する。操作部301による操作としては、例えば画像取得装置1の全体の電源オンオフ操作、光源部102による発光のオン/オフ操作、取得した画像の記憶装置Mへの記憶操作などが挙げられる。

0037

次に、上述した画像処理部203について更に詳細に説明する。

0038

図3は、画像処理部の構成要素を示すブロック図である。また、図4及び図5は、画像取得装置で処理される各画像の例を示す図である。以下の説明では、画像処理部203の各構成要素の説明において、図4及び図5を適宜参照する。図4(a)に示す元画像G1は、手術部位のモニタリング画像であり、患部及びその周辺の皮膚、術者の指、鉗子などが被写体となっている。

0039

図3に示すように、画像処理部203は、明度画像生成部251と、高周波画像生成部252と、補正画像生成部253と、色相画像生成部254と、色相範囲設定部255と、参照テーブル格納部256と、画像重畳部257と、コントラスト検出部258と、制御信号出力部259とを備えている。

0040

明度画像生成部251は、撮像部101が撮像した元画像G1から明度を抽出して明度画像G2(図4(b)参照)を生成する部分である。明度画像生成部251は、生成した明度画像G2を高周波画像生成部252及び補正画像生成部253にそれぞれ出力する。高周波画像生成部252は、明度画像生成部251に属し、明度画像G2から低周波成分を除去して高周波明度画像G3(図4(c)参照)を生成する部分である。明度画像G2における低周波成分は、いわゆるノイズ成分である。明度画像G2から低周波成分を除去することにより、高周波明度画像G3では、明度画像G2に比べて画像のボケなどが低減される。高周波画像生成部252は、生成した高周波明度画像G3を画像重畳部257に出力する。

0041

補正画像生成部253は、明度画像生成部251に属し、元画像G1から緑色成分を除去して補正画像G4(図4(d)参照)を生成する部分である。ここでの補正とは、画素値のオーバーフロー補正である。緑と紫とは補色関係にあり、オーバーフロー時には同一の画素値となる。このため、紫色成分の補色である緑色成分を除去することにより、白色成分を基準とした明度画像が生成される。補正画像生成部253は、生成した補正画像G4を画像重畳部257に出力する。

0042

色相画像生成部254は、元画像G1から色相を抽出して色相画像G5(図5(a))を生成する部分である。色相画像生成部254は、生成した色相画像G5を色相範囲設定部255に出力する。色相範囲設定部255は、色相画像G5において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲を設定する部分である。色相範囲設定部255は、色相画像生成部254から色相画像G5を受け取ると、まず、色相画像G5において特定の色が占める割合を検出する。次に、色相範囲設定部255は、特定の色の占める割合の検出結果に基づいて、参照テーブル格納部256に格納されている参照テーブルを参照し、重み付けに用いる色相範囲を設定する。色相範囲設定部255は、色相範囲の設定情報を色相画像と共に画像重畳部257に出力する。

0043

図6は、色相範囲の参照テーブルの一例を示す図である。図6の例では、0°を基準として±180°の範囲で色相スケールSを示している。当該色相スケールSにおいて、0°が赤色、+60°が黄色、+120°が緑色、+180°が水色である。また、−60°が紫色、−120°が青色である。本実施形態では、画像取得装置1が手術部位のモニタリングに用いられることから、手術室の背景色(不織布や室内壁など)が青緑色〜緑色であると仮定し、青緑色〜緑色をコントラストの検出対象から外すことを想定する。この場合、色相範囲設定部255では、色相画像G5中の割合を検出する特定の色として、例えば紫を中心とした範囲(−80°〜−20°)が設定される。また、上記の用途では、手術初期においては主に皮膚が被写体Oとなり、手術の中期後期においては主に皮膚を切開した後の患部(臓器や血液など)が被写体Oとなる。したがって、色相範囲設定部255は、色相画像G5において特定の色の割合が増加していくに伴い、重み付けに用いる色相範囲Rを赤色〜赤紫色を中心とした範囲に段階的に狭くしていく。

0044

色相範囲設定部255は、色相画像G5のうち特定の色を呈する画素数を色相画像G5の全体の画素数で除算することにより、特定の色が占める割合を検出する。色相画像G5における特定の色が占める割合が1%未満である場合、色相範囲設定部255は、例えば図6(a)に示すように、色相スケールSの全範囲(−180°〜+180°)を重み付けに用いる色相範囲Rとして設定する。色相画像G5における特定の色が占める割合が1%以上10%未満である場合、色相範囲設定部255は、例えば図6(b)に示すように、重み付けに用いる色相範囲Rを色相スケールSの一部の範囲(−120°〜+120°)に限定する。色相画像G5における特定の色が占める割合が10%以上である場合、色相範囲設定部255は、例えば図6(c)に示すように、重み付けに用いる色相範囲Rを色相スケールSの更に一部の範囲(−100°〜+70°)に限定する。

0045

画像重畳部257は、明度画像と重み付け後の色相画像G6(図5(b)参照)とを重畳して重畳画像G7(図5(c)参照)を生成する部分である。具体的には、画像重畳部257は、色相範囲設定部255から受け取った色相範囲Rの設定に基づいて色相画像G5に重み付けを行う。そして、画像重畳部257は、重み付け後の色相画像G6と明度画像G2とを重畳して重畳画像G7を生成する。本実施形態では、画像重畳部257は、重み付け後の色相画像G6と、明度画像G2を処理して得られた高周波明度画像G3及び補正画像G4とを重畳して重畳画像G7を生成する。画像重畳部257は、生成した重畳画像G7をコントラスト検出部258に出力する。

0046

コントラスト検出部258は、色相画像G5のうち色相範囲Rに属する色相のコントラストを検出する部分である。具体的には、コントラスト検出部258は、まず、画像重畳部257から受け取った重畳画像G7に対して検出エリアK(図5(c)参照)を設定する。検出エリアKは、重畳画像G7の全体を対象としてもよく、重畳画像G7の一部を対象としてもよい。検出エリアKを重畳画像G7の一部に設定する場合、撮像部101と被写体Oとの間の距離に基づいて検出エリアKの範囲を決定してもよい。この場合、コントラスト検出部258は、距離計測部105から出力される結果信号を受け取り、撮像部101と被写体Oとの間の距離が大きくなるほど検出エリアKを小さくし、撮像部101と被写体Oとの間の距離が小さくなるほど検出エリアKを大きくする。

0047

コントラストの検出にあたっては、例えば検出エリアK内の一の画素について、当該一の画素とこれに隣接する画素との間の画素値の差の絶対値を全て加算する。この演算を検出エリアK内の全ての画素に対して実行することにより、重畳画像G7のコントラストを評価することができる(図5(d)参照)。コントラスト検出部258は、コントラストの評価結果に基づき、コントラストが高くなる方向に撮像の焦点が移動するように、焦点調整部104に対してレンズ103の位置を制御するための制御信号を生成する。

0048

コントラスト検出部258は、例えば前回の制御信号によりレンズ103が一の方向に一定量変位し、今回の検出で得られたコントラストが前回の検出で得られたコントラストよりも低くなった場合には、レンズ103を一の方向と反対方向に一定量変位させる旨の制御信号を生成する。また、コントラスト検出部258は、例えば前回の制御信号によりレンズ103が一の方向に一定量変位し、今回の検出で得られたコントラストが前回の検出で得られたコントラストよりも高くなった場合には、レンズ103を一の方向と反対方向に一定量変位させる旨の制御信号を生成する。レンズ103の変位を滑らかにする観点から、制御信号の生成にあたって前々回のコントラストを参照してもよい。制御信号出力部259は、コントラスト検出部258で生成された制御信号をカメラヘッド10に出力する。

0049

続いて、上述した画像取得装置1の動作について説明する。図7は、画像取得装置の動作の一例を示すフローチャートである。

0050

図7に示すように、画像取得装置1では、まず、被写体Oの撮像がなされる(ステップS01:撮像ステップ)。次に、画像取得装置1では、撮像部101が撮像した元画像G1の処理が行われる(ステップS02〜ステップS11:画像処理ステップ)。より具体的には、画像処理ステップでは、被写体Oの撮像によって得られた元画像G1から明度を抽出することにより明度画像G2が生成される(ステップS02:明度画像生成ステップ)。明度画像G2の生成の後、明度画像G2から低周波成分を除去することにより高周波明度画像G3が生成され(ステップS03)、元画像G1から緑色成分を除去することにより補正画像G4が生成される(ステップS04)。

0051

また、画像処理ステップでは、被写体Oの撮像によって得られた元画像G1から色相を抽出することにより色相画像G5が生成される(ステップS05:色相画像生成ステップ)。色相画像G5の生成の後、当該色相画像G5において特定の色が占める割合の検出が行われ、検出結果に基づいて色相範囲Rの設定がなされる(ステップS06:色相範囲設定ステップ)。ここでは、色相画像G5において特定の色の割合が増加していくに伴い、色相範囲Rが段階的に狭く設定される。色相範囲Rの設定の後、当該設定に基づいて色相画像G5の重み付けが行われる(ステップS07)。

0052

色相画像G5の重み付けの後、画像処理ステップでは、高周波明度画像G3、補正画像G4、及び重み付け後の色相画像G6を重畳することにより重畳画像G7が生成される(ステップS08:画像重畳ステップ)。画像処理ステップにおいて、ステップS02〜ステップS04の処理と、ステップS05〜ステップS07の処理とは、いずれを先行して実行してもよく、同時に実行してもよい。ステップS03の処理及びステップS04の処理についても同様に、いずれを先行して実行してもよく、同時に実行してもよい。

0053

重畳画像G7の生成の後、画像処理ステップでは、重畳画像G7のうち色相範囲Rに属する色相のコントラストの検出が行われる(ステップS09〜ステップS11:コントラスト検出ステップ)。コントラスト検出ステップでは、まず、撮像部101と被写体Oとの間の距離の計測が行われる(ステップS09:距離計測ステップ)。次に、距離計測ステップで得られた距離に基づいて検出エリアKの範囲の設定がなされる(ステップS10)。ここでは、撮像部101と被写体Oとの間の距離が大きくなるほど検出エリアKが小さく設定され、撮像部101と被写体Oとの間の距離が小さくなるほど検出エリアKが大きく設定される。

0054

検出エリアKが設定された後、コントラスト検出ステップでは、色相画像G5のうち色相範囲Rに属する色相のコントラストの検出が行われる(ステップS11)。ここでは、重畳画像G7の検出エリアK内で色相範囲Rに属する色相のコントラストの検出がなされる。コントラストの検出の後、撮像の焦点を調整する処理が行われる(ステップS12:焦点調整ステップ)。焦点調整ステップでは、コントラストの前回の検出結果と今回の検出結果との比較が行われ、コントラストが高くなる方向に撮像の焦点の移動が行われる。以上の各処理は、例えば撮像部101の点像分布関数(PSF:Point spread function)が一定の閾値に到達した時点で終了する。

0055

以上説明したように、画像取得装置1では、色相画像G5において特定の色が占める割合を検出し、当該割合に基づいて重み付けに用いる色相範囲Rを設定する。これにより、被写体Oの色相が状況により変化していく場合であっても、当該色相の変化に追従し、被写体Oのうち色相範囲Rに属する色相を有する領域に精度良く焦点を合わせることができる。

0056

本実施形態では、色相画像G5において特定の色が占める割合が増加するほど色相範囲Rが狭くなる。これにより、被写体Oの色相が特定の色で占められるほど、被写体Oにおいて焦点を合わせる領域が絞られる。したがって、被写体Oのうち色相範囲Rに属する色相を有する領域に一層精度良く焦点を合わせることができる。

0057

本実施形態では、色相画像G5のうち色相範囲Rに属する色相のコントラストを検出し、コントラストが高くなる方向に撮像の焦点を移動させている。これにより、色相画像G5において特定の色が占める割合に基づいて色相範囲Rが設定され、当該色相範囲Rで重み付けされた色相を用いてコントラスト法が適用される。したがって、被写体Oのうち色相範囲Rに属する色相を有する領域に一層精度良く焦点を合わせることができる。

0058

本実施形態では、元画像G1から明度を抽出して明度画像G2を生成している。また、色相画像G5に対して色相範囲Rを用いた重み付けを行うと共に、明度画像G2と重み付け後の色相画像G6とを重畳して重畳画像G7を生成している。そして、重畳画像G7のうち色相範囲Rに属する色相のコントラストを検出している。このように、明度画像G2と重み付け後の色相画像G6とを重畳した重畳画像G7を用いることで、コントラストを精度良く検出することができる。したがって、被写体Oのうち色相範囲Rに属する色相を有する領域に一層精度良く焦点を合わせることができる。

0059

本実施形態では、重畳画像G7における所定の検出エリアK内で色相範囲Rに属する色相のコントラストを検出している。このように、重畳画像G7の一部に絞ってコントラストの検出を行うことで、被写体Oの注目部位に精度良く焦点を合わせることができる。さらに、本実施形態では、被写体Oとの間の距離を計測し、距離が大きくなるほど検出エリアKを小さくしている。これにより、被写体Oとの間の距離が変化した場合であっても被写体Oの同一部位に精度良く焦点を合わせることができる。

0060

本実施形態では、明度画像G2から低周波成分を除去して高周波明度画像G3を生成し、高周波明度画像G3と重み付け後の色相画像G6とを重畳して重畳画像G7を生成している。これにより、明度画像G2における画像のボケを軽減することができる。したがって、より鮮明な重畳画像G7を生成することが可能となる。さらに、本実施形態では、元画像G1から緑色成分を除去して補正画像G4を生成し、補正画像G4と重み付け後の色相画像G6とを重畳して重畳画像G7を生成している。緑と紫とは補色関係にあり、オーバーフロー時には同一の画素値となる。このため、紫色成分の補色である緑色成分を除去することにより、白色成分を基準とした明度画像を生成できる。したがって、より鮮明な重畳画像G7を生成することが可能となる。例えば輝度の高い照明が用いられる手術室では、画像の一部がオーバーフローする可能性がある。このため、緑色成分の除去によりオーバーフロー補正を行うことにより、有効な画素のみを対象とした焦点の解析を行うことができる。

0061

101…撮像部、104…焦点調整部、105…距離計測部、203…画像処理部、251…明度画像生成部、252…高周波画像生成部(明度画像生成部)、253…補正画像生成部(明度画像生成部)、254…色相画像生成部、255…色相範囲設定部、257…画像重畳部、258…コントラスト検出部、O…被写体、R…色相範囲、K…検出エリア、G1…元画像、G2…明度画像、G3…高周波明度画像、G4…補正画像、G5…色相画像、G6…重み付け後の色相画像、G7…重畳画像。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ