図面 (/)

技術 画像処理装置、画像処理方法、プログラム及び記録媒体

出願人 キヤノン株式会社
発明者 会見真宏
出願日 2014年9月11日 (5年9ヶ月経過) 出願番号 2014-185701
公開日 2015年4月30日 (5年2ヶ月経過) 公開番号 2015-084517
状態 特許登録済
技術分野 画像処理 スタジオ装置
主要キーワード 動作開始トリガ 識別数字 LFデータ 制限情報テーブル 保護画像 特定位 撮像データ内 可変係数
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2015年4月30日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (18)

課題

複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定する。

解決手段

画像処理装置は、ライトフィールドデータを取得し、被写体を選択する。そして該装置は選択した被写体を再構成時に生成条件にかかわらず視認しにくくするための情報であり、前記ライトフィールドデータを再構成して生成される再構成画像に係る情報である制限情報を出力する。

概要

背景

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布と光の入射方向の情報とを出力データとして記録することで、記録後に該出力データから例えば任意の被写体距離に合焦した再構成画像を生成する技術が提案されている。

非特許文献1では、撮影レンズ撮像素子との間にマイクロレンズアレイを配置し、マイクロレンズアレイを介して撮像素子の各画素光電変換素子)に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。このようにして得られた出力データ(Light Field Data。以下、LFデータ)は、隣り合う画素が異なる方向から入射した光束を記録している。

LFデータからは、各マイクロレンズ対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、「Light Field Photography」と呼ばれる手法を適用することで、任意の被写体距離を設定し、該被写体距離からの光束が収束する焦点面における各点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成(再構成)することができる。

概要

複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定する。画像処理装置は、ライトフィールドデータを取得し、被写体を選択する。そして該装置は選択した被写体を再構成時に生成条件にかかわらず視認しにくくするための情報であり、前記ライトフィールドデータを再構成して生成される再構成画像に係る情報である制限情報を出力する。

目的

本発明は、上述の問題点に鑑みてなされたものであり、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定する画像処理装置、画像処理方法プログラム及び記録媒体を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

ライトフィールドデータを取得するデータ取得手段と、被写体を選択する選択手段と、前記ライトフィールドデータを再構成して生成される再構成画像に係る情報であり、前記選択手段により選択された被写体を、複数の生成条件で再構成される再構成画像にわたって視認しにくくするための情報である制限情報を出力する出力手段と、を有することを特徴とする画像処理装置

請求項2

前記出力手段により出力された前記制限情報を前記ライトフィールドデータに関連付けて記録する記録手段をさらに有する請求項1に記載の画像処理装置。

請求項3

前記選択手段は、前記ライトフィールドデータから生成される再構成画像について所定の被写体を検出する検出手段を有し、前記選択手段は、前記検出手段により検出された前記所定の被写体のうちの少なくとも一部の被写体を選択することを特徴とする請求項1または2に記載の画像処理装置。

請求項4

前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像において、前記選択手段により選択された被写体を視認しにくくするための処理を適用することを規定する情報であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。

請求項5

前記視認しにくくするための処理を適用することを規定する情報は、再構成画像の生成条件ごとに定められることを特徴とする請求項4に記載の画像処理装置。

請求項6

前記視認しにくくするための処理を適用することを規定する情報は、生成される再構成画像の被写界深度に応じて該処理を適用する被写体距離の範囲を規定することを特徴とする請求項4または5に記載の画像処理装置。

請求項7

前記視認しにくくするための処理は、画像内の領域に対するぼかし処理であり、前記制限情報は、前記選択手段により選択された被写体に合焦する被写体距離に近い被写体距離に合焦させた再構成画像ほど、ぼかし処理の強度を強めるように規定されていることを特徴とする請求項4乃至6のいずれか1項に記載の画像処理装置。

請求項8

前記視認しにくくするための処理は、画像内の領域に対するマスク処理であることを特徴とする請求項4乃至7のいずれか1項に記載の画像処理装置。

請求項9

前記視認しにくくするための処理は、前記選択手段により選択された被写体に対応する領域の輝度信号あるいは色信号を当該被写体が視認しにくくなるように変換する処理であることを特徴とする請求項4乃至7のいずれか1項に記載の画像処理装置。

請求項10

ライトフィールドデータを取得するデータ取得手段と、前記ライトフィールドデータから生成可能な再構成画像についての、被写体を再構成画像の複数の生成条件にわたって視認しにくくするための制限情報を取得する情報取得手段と、前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定手段と、前記設定手段により設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定手段と、を有することを特徴とする画像処理装置。

請求項11

前記決定手段により決定された生成条件に基づいて、前記ライトフィールドデータから再構成画像を生成する生成手段をさらに有することを特徴とする請求項10に記載の画像処理装置。

請求項12

前記生成手段は、前記制限情報に基づいて、再構成画像内の指定された被写体に対応する領域に、該被写体を視認しにくくするための処理を適用することを特徴とする請求項11に記載の画像処理装置。

請求項13

前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像において、前記指定された被写体を視認しにくくするための処理を適用することを規定する情報であることを特徴とする請求項12に記載の画像処理装置。

請求項14

前記視認しにくくするための処理を適用することを規定する情報は、再構成画像の生成条件ごとに定められることを特徴とする請求項12または13に記載の画像処理装置。

請求項15

前記視認しにくくするための処理を適用することを規定する情報は、生成される再構成画像の被写界深度に応じて該処理を適用する被写体距離の範囲を規定することを特徴とする請求項12乃至14のいずれか1項に記載の画像処理装置。

請求項16

前記視認しにくくするための処理は、画像内の領域に対するぼかし処理であり、前記制限情報は、前記指定された被写体に合焦する被写体距離に近い被写体距離に合焦させた再構成画像ほど、ぼかし処理の強度を強めるように規定されていることを特徴とする請求項12乃至15のいずれか1項に記載の画像処理装置。

請求項17

前記視認しにくくするための処理は、画像内の領域に対するマスク処理であることを特徴とする請求項12乃至16のいずれか1項に記載の画像処理装置。

請求項18

前記視認しにくくするための処理は、前記指定された被写体に対応する領域の輝度信号あるいは色信号を当該被写体が視認しにくくなるように変換する処理であることを特徴とする請求項12乃至16のいずれか1項に記載の画像処理装置。

請求項19

前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像における主被写体以外の領域の被写体を視認しにくくするための情報であることを特徴とする請求項1乃至18のいずれか1項に記載の画像処理装置。

請求項20

前記ライトフィールドデータは、画素信号の各々が、前記ライトフィールドデータを撮像した際の撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を有することを特徴とする請求項1乃至19のいずれか1項に記載の画像処理装置。

請求項21

前記ライトフィールドデータは、被写体の3次元空間を記述する光線空間情報であり、データを再構成することにより、任意の被写体距離に合焦する再構成画像を生成可能であることを特徴とする請求項1乃至20のいずれか1項に記載の画像処理装置。

請求項22

ライトフィールドデータを取得するデータ取得工程と、被写体を選択する選択工程と、前記ライトフィールドデータを再構成して生成される再構成画像に係る情報であり、前記選択工程において選択された被写体を、複数の生成条件で再構成される再構成画像にわたって視認しにくくするための情報である制限情報を出力する出力工程と、を有することを特徴とする画像処理方法

請求項23

ライトフィールドデータを取得するデータ取得工程と、前記ライトフィールドデータから生成可能な再構成画像についての、被写体を複数の再構成画像の生成条件にわたって視認しにくくするための制限情報を取得する情報取得工程と、前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定工程と、前記設定工程において設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定工程と、を有することを特徴とする画像処理方法。

請求項24

コンピュータに請求項1乃至21のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム

請求項25

請求項24に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体

技術分野

0001

本発明は、画像処理装置画像処理方法プログラム及び記録媒体に関し、特に撮影後に出力データから再構成画像を生成する技術に関する。

背景技術

0002

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布と光の入射方向の情報とを出力データとして記録することで、記録後に該出力データから例えば任意の被写体距離に合焦した再構成画像を生成する技術が提案されている。

0003

非特許文献1では、撮影レンズ撮像素子との間にマイクロレンズアレイを配置し、マイクロレンズアレイを介して撮像素子の各画素光電変換素子)に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。このようにして得られた出力データ(Light Field Data。以下、LFデータ)は、隣り合う画素が異なる方向から入射した光束を記録している。

0004

LFデータからは、各マイクロレンズ対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、「Light Field Photography」と呼ばれる手法を適用することで、任意の被写体距離を設定し、該被写体距離からの光束が収束する焦点面における各点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成(再構成)することができる。

先行技術

0005

Ren.Ng、外7名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech ReportCTSR 2005-02

発明が解決しようとする課題

0006

しかしながら、上述したようなLFデータからは様々な被写体距離に合焦した再構成画像や、深度の深い様々な視点の再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。

0007

本発明は、上述の問題点に鑑みてなされたものであり、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定する画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

課題を解決するための手段

0008

前述の目的を達成するために、本発明の画像処理装置は、ライトフィールドデータを取得するデータ取得手段と、被写体を選択する選択手段と、選択手段により選択された被写体を再構成時に生成条件にかかわらず視認しにくくするための情報であり、ライトフィールドデータを再構成して生成される再構成画像に係る情報である制限情報を出力する出力手段と、を有することを特徴とする。

発明の効果

0009

このような構成により本発明によれば、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定することが可能となる。

図面の簡単な説明

0010

本発明の実施形態に係るデジタルカメラ100の機能構成を示したブロック図
本発明の実施形態に係るマイクロレンズアレイ105と撮像部106の関係を説明するための図
本発明の実施形態に係る射出瞳301の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図
本発明の実施形態に係る射出瞳301の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図
本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図
本発明の実施形態に係るデジタルカメラ100で実行される制限情報付加処理を例示したフローチャート
本発明の実施形態に係る距離情報マップを説明するための図
本発明の実施形態に係る制限情報付加処理において検出された顔領域を示した図
本発明の実施形態に係る相対距離テーブルを例示した図
本発明の実施形態に係るプライバシー情報保護領域を説明する図
本発明の実施形態に係る制限情報テーブルを説明する図
本発明の実施形態1に係るデジタルカメラ100で実行される再生処理を例示したフローチャート
本発明の変形例に係る射出瞳301の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図
本発明の変形例に係るデジタルカメラ100の機能構成を示したブロック図示したフローチャート
本発明の実施形態に係るリフォーカス初期設定値を説明する図
本発明の実施形態に係る画像処理後の再構成画像を説明する図
本発明の実施形態2に係るデジタルカメラ100で実行される再生処理を例示したフローチャート

実施例

0011

[実施形態1]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にLFデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、LFデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

0012

また、本明細書において、以下の用語を定義して説明する。

0013

・「ライトフィールドLF:Light Field)データ」
本実施形態のデジタルカメラ100が有する撮像部106から出力される画像信号のように、3次元被写体空間記述した光線空間情報のことを示す。本実施形態では、画像信号の画素(画素信号)の各々は、通過した撮像光学系104の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。

0014

・「再構成画像」
LFデータを構成する画素を所望の組み合わせで合成するなどして新たに生成する画像であり、本実施形態では、LFデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には生成する被写体距離に対応する焦点j面(再構成面、リフォーカス面)での画素配置に従ってLFデータの画素を並び替え、再構成画像の1画素(単位画素)に対応するLFデータの複数の画素(副画素)の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束の入射方向(入射角度)に基づいて決定される。該画素配置において1つのマイクロレンズに対応する複数の画素の画素値を足し合わせることで、再構成画像の1画素を生成することができる。再構成画像としては他にも、マイクロレンズごとに存在する、マイクロレンズからの入射方向が同じ副画素(同じ視点の副画素)から生成される各視点の画像なども含む。この視点画像の生成の際には、他の視点(マイクロレンズからの入射方向)からの画像を視差分の移動量を踏まえて位置合わせをして加算するなどしてもよい。

0015

《デジタルカメラ100の構成》
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。

0016

制御部101は、例えばCPUであり、デジタルカメラ100が有する各ブロックの動作を制御する。具体的には制御部101は、ROM102に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラム読み出し、RAM103に展開して実行することにより、各ブロックの動作を制御する。

0017

ROM102は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ100が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

0018

RAM103は、揮発性メモリである。RAM103は、デジタルカメラ100が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

0019

撮像部106は、例えばCCDやCMOSセンサ等の撮像素子である。撮像部106は、制御部101の指示により不図示のタイミングジェネレータ(TG)から出力されるタイミング信号を受けて、撮像光学系104により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系104は例えば対物レンズフォーカスレンズ絞り等を含む。また、本実施形態のデジタルカメラ100は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系104と撮像素子との間にマイクロレンズアレイ105を有する。

0020

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ100において、光軸上の撮像光学系104と撮像素子との間に設けられたマイクロレンズアレイ105について、図を用いて説明する。

0021

図2に示すように、本実施形態のマイクロレンズアレイ105は複数のマイクロレンズ201で構成される。図2では、撮像光学系104の光軸をz軸とし、デジタルカメラ100の横位置における水平方向をx軸、鉛直方向をy軸としている。なお、図2の例では簡単のため、マイクロレンズアレイ105は5行5列に並んだマイクロレンズ201で構成されるものとして説明するが、マイクロレンズアレイ105の構成はこれに限られるものではない。

0022

また図2では、撮像部106を構成する撮像素子の光電変換素子202が格子で示されている。各マイクロレンズ201には、所定数の光電変換素子202が対応づけられており、図2の例では1つのマイクロレンズ201に対して5×5=25画素の光電変換素子202が対応づけられている。1つのマイクロレンズ201を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子202に結像される。

0023

図3は、1つのマイクロレンズ201に対応する光電変換素子202p1乃至p5に入射する光束を図示している。図3において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ100が横位置にある状態における、横方向から見た、各光電変換素子202に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子202p1乃至p5には、1つのマイクロレンズ201を介して、撮像光学系104の射出瞳301を垂直方向に5分割した領域a1乃至a5を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子202との対応関係を示している。

0024

なお、図3の例では横方向から見た、各光電変換素子202に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系104の射出瞳301を撮像素子側から見て図4(a)のような領域に分類した場合、各領域を通過した光束は、図4(b)に示されるような光電変換素子202のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系104とマイクロレンズアレイ105の各マイクロレンズのFナンバーF値)は略一致しているものとする。

0025

AFE(アナログフロントエンド)107及びDFE(デジタルフロントエンド)108は、撮像部106により生成された画像信号に対する補正処理等を行う。具体的にはAFE107は、撮像部106から出力されたアナログ画像信号に対して、基準レベルの調整(クランプ処理)やA/D変換処理を行い、LFデータをDFE108に出力する。DFE108は、入力されたLFデータに対して微少な基準レベルのずれ等を補正する。

0026

画像処理部109は、DFE108による補正処理が適用されたLFデータに対して、ホワイトバランス色変換処理等の各種画像処理、形成後の画像を圧縮する圧縮処理、複数の画像を合成する合成処理等を行う。また本実施形態では画像処理部109は、LFデータから任意の被写体距離に合焦する画像(再構成画像)の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献1に示されるような「Light Field Photography」の手法を用いればよい。

0027

〈再構成画像の生成方法
ここで、特定の被写体距離に合焦した再構成画像の生成方法の概要について、図を用いて説明する。

0028

まず、撮影範囲に含まれる特定の被写体に合焦する被写体距離については、以下の方法で取得可能である。まず画像処理部109は、LFデータから異なる分割瞳領域を通過した2つの光束に対応する画像を生成し、該画像間における特定の被写体の像の差異デフォーカス量)を検出する。このように検出されたデフォーカス量に基づき、制御部101は特定の被写体までの被写体距離を算出可能である。

0029

図4(b)の例では各マイクロレンズについて、対応する画素のうち第1列及び第2列の画素の画素値を加算することにより生成される、射出瞳301の左半分の分割瞳領域に対応するA像を生成することができる。また対応する画素のうち第4列及び第5列の画素の画素値を加算することにより生成される、射出瞳301の右半分の分割瞳領域に対応するB像を生成することができる。即ち、これを式で表すと

のようになる。このように得られた2種類の再構成画像は、それぞれ対応する分割瞳領域の重心位置を擬似的に光軸とした画像である。

0030

つまり、2種類の再構成画像は光軸のずれによる像のずれを有しているため、2つの画像について相関演算を行うことで、各被写体について像のずれ量(瞳分割位相差)を検出することができる。このように得られた像のずれ量に対して撮像光学系104の焦点位置と光学系から決まる変換係数を乗じることで、LFデータの撮影範囲に含まれる各被写体についての被写体距離を解析することができ、得られた被写体距離に基づき例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。

0031

次に、特定の被写体距離に合焦する再構成画像の生成について説明する。本実施形態のデジタルカメラ100では、上述したように1つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ105の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

0032

このため以下では、撮影により得られたLFデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標(u,v)と、マイクロレンズアレイ上の対応するマイクロレンズの位置座標(x’,y’)として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する被写体距離から入射した光束が収束する再構成面上の画素(x,y)について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

0033

図5ではデジタルカメラ100の横位置における鉛直方向から見た水平面(xz平面)における光束の光路が示されている。以下ではxz平面における、再構成面の各画素を通過する光束の光路について説明するが、yz平面についても同様である。

0034

瞳領域の座標(u,v)、再構成面上の画素座標を(x,y)とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ105上のマイクロレンズの位置座標(x’,y’)は、

で表される。なお、Fは撮像レンズからマイクロレンズアレイまでの距離、αFは撮影レンズから再構成面までの距離(αはリフォーカス係数:再構成面までの距離を決定するための可変係数)である。

0035

また該光束が受光される光電変換素子の出力をL(x’,y’,u,v)とすると、再構成面上に形成される画像の座標(x,y)の画素出力E(x,y)は、L(x’,y’,u,v)を撮影レンズの瞳領域に関して積分したものであり、

で表される。なお、(u,v)を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

0036

表示部110は、例えば小型LCD等のデジタルカメラ100が有する表示装置である。表示部110は、デジタルカメラ100のユーザインタフェース画面の表示や、電子ビューファインダとしての使用、あるいは撮影した画像の表示に用いられる。また表示部110は、画像処理部109により生成され出力された、任意の被写体距離に合焦した再構成画像を表示する。上述したように、本実施形態の撮像部106から出力されるアナログ画像信号をA/D変換して得られるLFデータは、隣り合う画素において像が連結しない。このため表示部110には、LFデータではなく画像処理部109により生成された画像データが表示される。

0037

記録媒体111は、例えばデジタルカメラ100が有する内蔵メモリや、メモリカードやHDD等のデジタルカメラ100に着脱可能に接続される記録装置である。記録媒体111には、LFデータ、及びこれらのLFデータから生成された任意の被写体距離に合焦する再構成画像が記録される。あるいは生成された画像等は、通信部116を介して、パーソナルコンピュータ等の外部装置(図示せず)に送信(出力)される。

0038

操作入力部112は、例えば電源タンシャッタボタン等の、デジタルカメラ100が有するユーザインタフェースである。操作入力部112は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部101に出力する。例えば操作入力部112は、撮影モードの設定など、撮影に関わる様々な情報を制御部101へ出力する。またレリーズスイッチが出力する信号は、AEやAFの動作開始トリガや、撮影の開始トリガとして利用される。制御部101はこれらの開始トリガを受けて、撮像部106、表示部110をはじめとする、撮像装置の各部の制御を行う。

0039

なお、本実施形態では撮影処理によりLFデータを取得して再構成画像を生成する処理をおこなうものとして説明するが、生成に使用するLFデータは、記録媒体111から、あるいは通信部116を介して取得されるものであってもよい。

0040

《制限情報付加処理》
ここで、本実施形態の特徴的な処理であるリフォーカスの制限に関する処理について説明する。上述したようなLFデータからは様々な被写体距離に合焦した再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。即ち、例えば通常は撮影やコピー許可していない文書等が撮影範囲に含まれていた場合、該文書を読み取り可能な再構成画像が生成される可能性があった。また、近年では撮影により得られた画像がオンライン画像共有サービス等に公開されることも多くなっており、LFデータが任意に再構成可能な状態で公開されることも考えられる。例えば意図せず撮影範囲に写り込んでしまった人物はLFデータからの再構成画像の生成条件によっては、該人物の意思に反して肖像権が侵害される可能性がある。そこで、本実施形態では、斯様な保護対象となる被写体が存在すること、該被写体が合焦されてしまうあるいは視認可能であるリフォーカス範囲を判定し、そのリフォーカス範囲(複数の生成条件)における再構成画像において、当該保護対象の被写体を視認しにくくするための制限情報を生成し、出力する。出力される制限情報は、LFデータ等に付加したり、デジタルカメラ100内での再構成画像生成時に利用されたりする。また、リフォーカスのための再構成画像に限らず、視点変更パース変更など、何らかの目的で再構成画像が生成される場合に、保護対象の被写体を視認しにくくするための制限情報を生成し、LFデータに付加する。

0041

このような構成をもつ本実施形態のデジタルカメラ100で実行される制限情報付加処理について、図6のフローチャートを用いて具体的な処理を説明する。各フローの処理は制御部101あるいは制御部101の指示により図1の各部で行われる。また、本処理は、通常の撮影処理を実施時に常に行われても良いし、例えば外部装置に撮像したLFデータを送信する場合に行われても良い。外部装置に撮像したLFデータを送信する際に制限情報を付加する場合には、外部装置にLFデータを送信する要求が行われた後に、既に撮像されメモリに記憶されているLFデータを読み出してステップS1502以降の処理を行っても良い。

0042

まず、ステップS1501において、操作入力部112の操作により撮像指示が出されると、撮像処理を行い、撮像データ(LFデータ)を取得する。このとき、予め撮像光学系104に含まれるフォーカシングレンズを駆動させることによるフォーカシングによって所望の被写体に合焦した状態で撮像が行われても良い。また、撮像指示の前から撮像部106は撮像信号を取得しておき、画像を解析することによる露出制御や被写体(顔)検出、ホワイトバランス等の制御を行っていても良い。

0043

S1502で、制御部101は、撮像により生成されたLFデータについて、被写体までの距離の情報を各々取得する距離情報取得エリア(以下、Dエリア)を設定する。Dエリアは、マイクロレンズ201に割り当てられた画素群(光電変換素子202)を単位として規定される、対象LFデータを構成する画素配列における2次元の領域を示す。即ち、Dエリアの大きさは、LFデータから生成可能な再構成画像の最小分解能に応じて規定される。例えば図2の例では、1つのマイクロレンズ201に割り当てられた5×5の画素が再構成画像の最小分解能にあたるため、Dエリアは、水平方向に5の倍数の画素、垂直方向に5の倍数の画素を有する領域として規定される。

0044

なお、Dエリアは、対象LFデータから生成可能な最小分解能にあたる画素群を単位として、被写体までの距離について要求する精度や、機器の演算能力、計算量、要求フレームレート等の制限に応じて適切な大きさに設定されてよい。

0045

S1503で、制御部101は、S1502において設定されたDエリアの各々について、エリア内に含まれる被写体までの代表距離の情報を算出する。具体的には制御部101は、対象LFデータの各Dエリアについて、異なる2つの分割瞳領域を通過した光束に対応する、デフォーカス量検出用の2種類の再構成画像(検出用画像)を画像処理部109に生成させる。本ステップで生成される検出用画像は、上述したように射出瞳301の領域を左半分と右半分の分割瞳領域に分け、各分割瞳領域を通過した光束に対応するものであってよい。しかしながら、本発明の実施はこれに限らず、検出用画像は射出瞳301を通過したうち、光軸が異なる2種類の分割瞳領域を通過した光束に対応する画像であればよく、分割瞳領域の選択方法はこれに限られるものではない。ここで、複数のマイクロレンズに対応する画素群を含めて1つのDエリアを構成した場合は、中心のマイクロレンズに対応する画素群のみの結果で代用してもよいし、各マイクロレンズに対応する画素群について得られた距離の平均値を用いてもよい。

0046

そして制御部101は、得られたデフォーカス量の解析結果に従って、各Dエリアの代表距離を算出する。なお、代表距離は、例えば各Dエリアの中央に位置する被写体についての距離であってもよいし、エリア内の被写体について得られた距離の平均値であってもよい。

0047

そして本実施形態では制御部101は、このようにして得られたDエリアごとの代表距離の情報を用いて、LFデータの撮影範囲に対応する距離情報マップを生成する。例えば被写界深度が深くなるように、LFデータの各マイクロレンズ201に対応付けられた画素のうちの中央分割瞳領域に対応する画素を用いて生成した再構成画像が図7(a)のようである場合、距離情報マップは図7(b)のようになる。図7(a)の例では、撮影範囲内に被写体701、702及び703が存在する例を示しており、図7(b)の距離情報マップでは、撮影時にデジタルカメラ100に近い被写体ほどコントラストが高く(ハッチング濃度が濃く)示されている。

0048

S1504で、制御部101は、図7(a)のような被写界深度の深い再構成画像を画像処理部109に生成させ、該再構成画像について人物の顔領域を検出と顔認識を行う。以下、本実施形態では、撮影された被写体のうち、人物の顔を特定の被写体として検出し、顔領域を基準にLFデータからの再構成画像の生成条件の制限を決定するものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、例えば検出する被写体は建物動物文字等、画像内の特定の特徴を有する領域を検出し、該検出結果に従って生成条件の制限が決定されるものであってよい。

0049

図7(a)の検出用画像において図8のように3つの顔が検出できた場合、それぞれについて顔認識を行い、顔IDとデジタルカメラ100からの距離(被写体距離)を取得する。被写体距離は図7(b)の距離マップを用いて取得する。以上のようにして取得した顔IDと被写体距離は図9のように、ナンバリングして検出顔の相対距離テーブルとして記録しておく。

0050

次に、ステップS1505では、ステップS1504で顔が1つ以上検出できたかどうかを判定する。1つ以上の顔が検出できた場合は、ステップS1506へ進む。顔が1つも検出できなかった場合は、ステップS1509へ進み、画像を保存して処理を終了する。

0051

次に、ステップS1506では、ステップS1504で検出した各顔の内の少なくとも1つについて、プライバシー保護対象か否かを判定する。プライバシー保護対象と判定された場合は、S1507に進み、判定されなかった場合はS1508に進む。プライバシー保護対象であるか否かの判定は、例えば次のような基準で行われてよい。

0052

〈プライバシー保護対象の判定基準
(1)顔領域の大きさ基準
例えば、検出された顔領域のうち、サイズが最も大きい顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、最も顔領域が大きくなるように撮影されている顔領域については、撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。

0053

(2)顔領域の位置基準
例えば、検出された顔領域のうち、検出用画像における配置位置が最も中央に近い顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、顔領域が中央に捉えられるように撮影されている顔領域については撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。

0054

(3)認識対象の顔領域基準
例えば、検出された顔領域のうち、認識対象として予め登録されていた人物の顔領域が検出され、それ以外の顔領域が、プライバシー保護対象として判定されてもよい。即ち、予め人物の顔が認識対象として設定される場合、撮影者と該人物との関係性が保証されるものと考えられるため、認識ができなかった顔領域はプライバシー保護対象に設定されてもよい。

0055

(4)主被写体カテゴリ基準
例えば、撮影モード等の設定により主被写体として選択される対象が風景等である場合は、人物の顔領域は全てプライバシー保護対象として判定されてもよい。即ち、人物の顔に限らず、主被写体として選択される対象のカテゴリ(人物、風景、建物等)が予め定められている場合は、それ以外のカテゴリに属する像はプライバシー保護対象に設定されてもよい。

0056

(5)ユーザ選択
上述のように、制御部101は予め定められた基準を参照してプライバシー保護対象を判定するだけでなく、例えばデジタルカメラ100に設けられた不図示の操作ボタン等により選択された被写体をプライバシー保護対象として判定してもよい。あるいは選択された被写体以外の被写体がプライバシー保護対象として判定されてもよい。

0057

(6)文字列基準
例えば車のナンバープレート住所等、再構成画像を生成した場合に画像内に視認可能な状態の文字列が含まれる場合は、このような文字列の領域が全てプライバシー保護対象として判定されてもよい。文字列の判定には公知のOCR(optical character recognition)技術などを用いることができる。

0058

ステップS1507では、画像処理部109が、撮像データに制限情報を付加する。具体的には、図8のB、Cがプライバシー保護対象であると判定された場合、図8のB、Cが顔検出されなくなるぼかし量を算出し付加する。詳細な算出方法は後述するが、図10に示すプライバシー保護領域位置情報図11に示す制限情報テーブルが撮像データに付加される。例えば、プライバシー保護領域にあたる被写体の位置情報として、図8のB、Cの顔枠の座標の始点(x1、y1)(x2、y2)と終点(x1’、y1’)(x2’、y2’)(図11)を記録する。図11の制限情報テーブルでは、絞り値(被写界深度)と焦点位置(被写体距離)毎にプライバシー保護領域にかけるぼかし量を保持する。例えば、図8のB、Cは図7(b)の距離マップにて被写体距離(合焦位置)が10mと判定され、絞り値2の場合は、6m〜14mの被写体距離ではB、Cの顔が識別できてしまうとする。プライバシー保護のため、その範囲に画像処理でぼかしをかけることを考えると、ぼかし量は対象が識別できなくなるまでかけるため、その大きさは被写体距離により異なる。たとえば図11の上側のようにプライバシー保護対象の存在する被写体距離10mでは、対象を大きくぼかさないと識別できてしまうため、ぼかし量を大きくする。一方、被写体距離6m、14mでは、対象の被写体距離から外れており、ぼかしを小さくしても対象を認識できないため、ぼかし量を小さくする。このようにして、プライバシー保護対象が良好に認識できると想定される被写体距離範囲について、ぼかし量を求め、制限情報テーブルに保持しておく。一方、絞り値5.6の場合は、被写界深度が深くなりさらに広い3.5m〜16.5mの被写体距離でB、Cの顔が認識できてしまうため、その範囲にぼかしをかける。その場合のぼかし量は、図11の下側のように被写体距離10mではぼかし量は大きく、被写体距離3.5m、16.5mではぼかし量は小さく、被写体距離6m、14mではぼかし量は中程度になる。

0059

また、上述した例では制限情報を付与する対象の再構成画像の再構成処理としてリフォーカス処理を挙げたが、これに限らない。視点変更など、一部の入射方向(瞳領域)に対応する副画素を主に用いて生成される再構成画像では、被写界深度が深くなるので、ぼかし量の大きいぼかし処理をかけるような情報を設定しておくと良い。尚、ぼかし量を変える方法は、例えばガウスフィルタの特性を変えることで実現できる。具体的には、画像の空間周波数カットオフ周波数を3種類設定して、それぞれに対応するフィルタ係数をメモリに記憶しておけばよい。そして、ぼかし量が小の場合はカットオフ周波数が一番高い特性のフィルタ係数を用いてぼかし処理を行う。ぼかし量が大の場合はカットオフ周波数が一番低い特性のフィルタ係数を用いてぼかし処理を行う。同様にぼかし量が中の場合はカットオフ周波数が中間の帯域をとる特性のフィルタ係数を用いてぼかし処理を行う。このようにして、ぼかし量の調整が可能になる。また、本実施形態では、プライバシー保護対象の領域に掛ける処理としてぼかし処理を挙げて説明している。しかし、これに限らず、所定の画像で置換するマスク処理や、輝度信号色信号の値を変化させて対象を認識できなくするなど、プライバシー保護のための画像処理としては種々の方法が考えられる。

0060

次に、ステップS1508では、図9顔情報テーブルで管理されている顔が、全てプライバシー保護対象かの判定をされたかどうかを判断する。まだ判定されていない顔があればステップS1506に戻り処理を繰り返す。すべての顔が判定されている場合はステップS1509に進む。

0061

最後に、ステップS1509において、撮像データ(LFデータ)と図10プライバシー保護情報図11の制限情報テーブルとを撮関連付けて記録媒体111に記録する。このときさらに、必要に応じて、プライバシー保護の保護情報を用いて撮像データのプライバシー保護領域に対して保護処理を行うことを規定するフラグ情報などを付加しておき、撮像データの再生時にフラグを読み出させるようにしても良い。

0062

<再生処理>
次に、制限情報を利用して、画像再生時にプライバシー情報を保護する処理を行う手順について、図12のフローチャートを参照して説明する。なお、ここでは、制限情報付加手順で説明した、図10のプライバシー保護領域と図11の制限情報テーブルが付加されている撮像データを、再生する手順を例に、説明を行う。

0063

まず、ステップS1801において、操作入力部112の操作により画像再生指示が出されると、撮像データ(LFデータ)を記録媒体111から読み込み、RAM103へ一時的に保持する。

0064

次に、ステップS1802において、撮像データの被写体距離と絞り値の初期設定値をRAM103から読み込む。LFデータは、リフォーカス可能な範囲内で任意の被写体距離に画像を再構成することが可能である。そのため、画像を表示する際に、被写体距離と絞り値の初期値を設定する必要がある。本実施形態では、撮像データと関連付けられているヘッダ情報より、特定の条件を満たす被写体が検出されているか否かと、検出されている被写体が撮像データ内のどの領域に存在するかの情報を読み出す。また、LFデータ取得時に代表的な被写体を検出して、前記被写体が存在する位置に被写体距離を設定することも考えられる。あるいは、撮影時のフォーカスレンズの位置はあらかじめ分かっているため、その位置を被写体距離に設定してもよいが、本アイデアにおいては限定されない。

0065

次に、ステップS1803において、ステップS1802で読み込んだ初期設定値の絞り値における、被写体距離が制限情報テーブルに記載された、画像内の所定範囲プライバシー保護処理を付与すべき被写体距離の範囲内かどうかを判定する。制限情報テーブルの範囲内でない場合は、ステップS704へ進み、設定値にて再構成画像を生成する。制限情報テーブルの範囲内の場合は、ステップS1805へ進む。本実施例では、図15の初期設定値である被写体距離6mが、図11の制限情報テーブルが定めるぼかし対象範囲である「絞り値5.6、被写体距離3.5m〜16.5m」の範囲内であるため、ステップS1805へ進む。

0066

次に、ステップS1805では、画像処理部109(保護画像生成手段)が、制限情報テーブルに含まれる被写体距離の範囲に該当したプライバシー保護対象の顔について、制限情報テーブルに記載のぼかし量にてぼかした画像(保護画像)を生成する。本実施例では、顔B、Cについては図11の制限情報テーブルの範囲内である。そのため、図10に示す顔B、Cの各プライバシー保護領域を、図11の制限情報に記録されているぼかし量に設定にしてぼかし画像を生成する。初期設定値の場合は、絞り値5.6、被写体距離6mのため、図11よりぼかし量「中」のぼかし画像が生成される。

0067

以上の処理により図16に示す再構成画像が生成されたとする。なお、図16において、点線で囲まれた領域は上記ぼかしがかけられた画像で置換される。

0068

以上の処理を行うことで、図16のように、プライバシー保護領域のみを適切なぼかし量にてぼかし、プライバシーが保護された画像を作成することができる。

0069

そして、ステップS1806において、上記ステップS1804またはS1805にて作成した画像を表示部110に表示する。

0070

最後に、ステップS1807では、再生モード継続の有無が判断され、継続の場合は、ステップS1808においてリフォーカス指示を待ち、終了の場合は、画像再生モードの動作が終了する。

0071

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

0072

本実施形態では、図11に例示するデータベースに基づいてステップS1803にて、被写体距離が画像内の所定範囲にぼかし処理を付与すべき被写体距離の範囲内かどうかを判定して、必要に応じてぼかし処理等にてプライバシー領域に保護処理が掛けられている。しかし、これに限らず、プライバシー保護の対象であると判定された画像内の領域(図10のB、Cの領域)には、被写体距離にかかわらず常にプライバシー保護処理としてぼかし処理やマスク処理を行っても良い。

0073

例えば、実施例では被写体として主に顔について説明したが、顔に限定されず、インターネット上に合焦禁止物のデータベース等を作り、そこに登録されている物にはぼかし処理を行うといった実施系も考えられ、様々な変形が可能である。この場合、画像処理部109は、登録されている合焦禁止物を検出するデータベースを有し、予めLFデータを用いて登録されている合焦禁止物が検出される必要がある。

0074

また、主要被写体以外の全範囲に制限情報(ぼかし処理)を付加することで、主要被写体のみを目立たせることができるということは容易に想像でき、その要旨の範囲内で種々の変形及び変更が可能である。

0075

[実施形態2]
本発明の実施形態2では、プライバシー保護領域に対し、制限情報が付加されていない、あるいは、ぼかし処理されていない撮像データ(LFデータ)に対して、画像再生時にプライバシー保護処理を施して画像表示を行う。図17は本実施形態における画像再生時のプライバシー保護処理の手順を示すフローチャート図である。

0076

まず、ステップS2101において、記録媒体111に記録されている撮像データを読み込む。ここで、通信部116を用いて、ライトフィールド画像外部デバイスから取得してもよく、撮像データの読み込み方法は限定されない。ステップS2101のときに撮像部106により撮像がなされ、LFデータが出力されることも考えられる。

0077

次に、ステップS2102は、実施形態1のステップS1802と同様の処理のため説明を省略する。

0078

次に、ステップS2103は、S2102にて読み込んだ被写体距離、絞り値を元に再構成画像を作成する。

0079

次に、ステップS2104〜ステップS2106までの、距離情報マップを作成して顔検出を行う処理は、実施形態1のステップS1502〜ステップS1504と同様なため説明を省略する。

0080

次に、ステップS2107において、ステップS2106で顔が1つ以上検出できたかどうかを判定する。1つ以上の顔が検出できた場合は、ステップS2108へ進む。顔が1つも検出できなかった場合は、ステップS2113へ進み、再構成画像を表示部110に表示する。

0081

次に、ステップS2108は、実施形態1のステップS1506と同様の処理のため説明を省略する。

0082

次に、ステップS2109は、プライバシー保護領域に対し、プライバシー保護のための画像処理(ぼかし処理)を施し、プライバシー保護対象が良好に認識できなくなった画像を作成し、再構成画像の該当領域に上書きする。

0083

次に、ステップS2110は、実施形態1のステップS1508と同様の処理のため説明を省略する。

0084

そして、ステップS2111において、再構成画像を表示部110に表示する。あるいは、ステップS2111において、ユーザーの操作や外部装置からの要求に応じて通信部116を介して再構成画像を送信する。例えば、ユーザーがLFデータを用いてSNSなどに画像をアップロードする際に、プライバシー保護処理を施した再構成画像を生成して、外部装置であるサーバに送信することが考えられる。また、外部装置からデジタルカメラ100内のLFデータから得られる再構成画像データ送信要求を受けて、デジタルカメラ100が本フローチャートの処理を開始することも考えられる。

0085

最後に、ステップS2112では、再生モード継続の有無が判断され、継続の場合は、ステップS2113においてリフォーカス指示を待ち、終了の場合は、画像再生モードの動作が終了する。ステップS2113にてリフォーカス指示がなされた場合は、ステップS2114において、指示された設定値で再構成画像を作成し、ステップS2106に進み、処理を繰り返す。

0086

また、本実施形態では、デジタルカメラ100によって撮像データに対してプライバシー保護情報を関連付けて記憶し、再生時もデジタルカメラ100によってプライバシー保護情報に基づいて保護処理を行っている。しかし、これに限らず、記録された撮像データ及び保護情報を別の画像処理装置が読み取り、撮像データに保護処理を行って再生するような画像処理システム構築しても良い。

0087

また、本実施形態では撮像データとしていわゆるLFデータを撮像するなどして取得し、その再構成画像の生成時に保護処理を施す実施例を示した。しかし、LFデータでない通常の撮像素子で得られた(例えば本実施形態の撮像素子でいうところの同一マイクロレンズ下の画素を加算して単位画素とした)画像データを撮像する撮像装置から得られる画像データに対しても、本発明は適用可能である。

0088

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

0089

例えば、プライバシー保護情報の内、再生装置側にてすでに登録されている情報(たとえば、再生装置の保有者の顔や、住所等)については、プライバシー保護対象から外し、ぼかし処理を行わないで表示してもよい。

0090

[変形例]
上述した実施形態では、図3に示した撮像光学系104、マイクロレンズアレイ105、及び撮像部106の構成により取得されたLFデータを対象としたが、本発明は図13に示すような構成により得られたLFデータが使用されてもよい。図13の構成は、文献「Todor Georgiev and Andrew Lumsdaine, "Superresolution with Plenoptic 2.0 Camera", Signal Recovery and Synthesis, Optical Society of America, 2009"に記載されるプレノプティックカメラに対応する。図13の構成では、撮像光学系104の焦点がマイクロレンズアレイ105の面上ではなく、より撮像光学系104の射出瞳に近い位置に設けられている点が異なる。

0091

また、上述した実施形態では1つの撮像光学系104を通過した光束を、各マイクロレンズ201により分割し、分割瞳領域の各々に対応する画素出力を得るものとして説明した。しかしながら、本発明の実施は図14に示されるように複数の光学系を有する、所謂多眼カメラにより得られた複数の撮像データを本実施形態におけるLFデータと同等に取り扱うことにより実現されてもよい。つまり、複数の光学系の各々により光学像結像される複数の撮像素子の出力が、異なる分割瞳領域を通過した光束に対応する画像、即ち異なる方向から被写体を撮影した画像となるため、多眼カメラの出力は本実施形態におけるLFデータと等価である。なお、このような多眼カメラから再構成画像を生成する方法については、特開2011−022796号公報等に記載されている方法を用いればよい。

0092

[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

0093

100:デジタルカメラ、101:制御部、102:ROM、103:RAM、104:撮像光学系、105:マイクロレンズアレイ、106:撮像部、107:AFE、108:DFE、109:画像処理部、110:表示部、111:記録媒体、112:操作入力部、116:通信部、118:GPS、119:電子コンパス、201:マイクロレンズ、202:光電変換素子、301:射出瞳

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ