図面 (/)

技術 画像処理装置、固体撮像素子、および電子機器

出願人 ソニー株式会社
発明者 中川貴晶土井宏真山崎理央岡本秀男近藤員弘
出願日 2015年9月9日 (4年9ヶ月経過) 出願番号 2015-177294
公開日 2017年3月16日 (3年3ヶ月経過) 公開番号 2017-055231
状態 特許登録済
技術分野 光信号から電気信号への変換 スタジオ装置 画像処理 イメージ分析
主要キーワード ロジック基板 車載用センサ 切り抜き領域 肌測定 演算対象領域 相対距離情報 ウェアラブルカメラ 領域学習
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年3月16日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

より高速画像処理を行う。

解決手段

主被写体特定部は、連続的に画像を撮像して得られる動画像フレームを逐次的に処理対象として、画像においてピントを合わせる対象とする被写体である主被写体を特定し、背景領域学習部は、処理対象となっている画像と、その画像の前に撮像された特定の画像との差分に基づいて、主被写体以外の背景が写されている背景領域を認識する学習を行う。本技術は、例えば、センサ基板およびロジック基板が積層された積層型固体撮像素子に適用できる。

概要

背景

近年、放送事業従事していない一般の撮像者自分自身撮像した動画像を、ストリーミング技術などを用いてリアルタイムに配信するサービス(いわゆるインターネット生放送動画放送など)の利用が増加している。

一般的に、自分撮りやポートレートなどのように人物を中心とした撮像を行う場合、その人物だけにピントを合わせ、背景ぼかして撮像する撮像手法が好まれて用いられる。従来、このような撮像手法は、プロフェッショナル映画撮影ドラマ撮影などで採用されており、高価な機材や一眼レフカメラなどが必要であった。

これに対し、静止画像を中心に、測距情報活用した画像処理を施すことで、撮像後にボケ味ピント位置を変化させる手法が提案されている。例えば、特許文献1には、測距情報に基づいて、撮影された画像に対してユーザの指やタッチペンなどにより指示された位置に対応する部分にピントが合うように合焦した画像を生成する手法が提案されている。

概要

より高速に画像処理を行う。主被写体特定部は、連続的に画像を撮像して得られる動画像のフレームを逐次的に処理対象として、画像においてピントを合わせる対象とする被写体である主被写体を特定し、背景領域学習部は、処理対象となっている画像と、その画像の前に撮像された特定の画像との差分に基づいて、主被写体以外の背景が写されている背景領域を認識する学習を行う。本技術は、例えば、センサ基板およびロジック基板が積層された積層型固体撮像素子に適用できる。

目的

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

動画像撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを備える画像処理装置

請求項2

前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部とをさらに備え、前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う請求項1に記載の画像処理装置。

請求項3

前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像から継続して前記背景領域として認識された継続背景領域について、前記ぼかし量を求める演算を停止するように前記ぼかし量演算部に対する指示を行うとともに、前記ぼかし量保持部が保持している前記ぼかし量を前記ぼかし処理部に供給するように前記ぼかし量保持部に対する指示を行う請求項2に記載の画像処理装置。

請求項4

前記学習部は、処理対象の前記画像の背景領域のうち、処理対象の前記画像で新たに前記背景領域として認識された新規背景領域について、前記ぼかし量演算部が求めた前記ぼかし量を前記ぼかし量保持部に保持させるように前記ぼかし量演算部に対する指示を行う請求項2に記載の画像処理装置。

請求項5

前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像では前記背景領域として認識していたが、処理対象の前記画像では前記背景領域として認識されなくなった除外背景領域について、保持している前記ぼかし量を破棄するように前記ぼかし量保持部に対する指示を行う請求項2に記載の画像処理装置。

請求項6

前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、処理対象の前記画像の前に処理対象とされた複数フレーム分の前記画像における前記背景領域に写されている前記他の被写体までの距離に基づいて、処理対象の前記画像の前記背景領域に写されている前記他の被写体までの距離の変化を予測する距離変化予測部と、前記距離変化予測部により予測された前記距離の変化に応じて、前記背景領域における前記ぼかし量を調整するぼかし量調整部と、処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量調整部により調整されたぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部とをさらに備える請求項1に記載の画像処理装置。

請求項7

前記主被写体特定部は、前記画像に写されている人物の顔を検出する顔検出部を有しており、前記顔認識部により検出された顔の人物を前記主被写体として特定する請求項1に記載の画像処理装置。

請求項8

前記主被写体特定部は、前記顔検出部により前記主被写体として特定された顔の人物の骨格を認識する骨格認識部を有しており、前記画像に写されている前記主被写体の身体が含まれるように前記主被写体領域を特定する請求項7に記載の画像処理装置。

請求項9

前記主被写体特定部は、前記骨格認識部により認識された骨格の人物が手に持っている物体が含まれるように前記主被写体領域を特定する請求項8に記載の画像処理装置。

請求項10

前記主被写体特定部は、ユーザの操作によって指示された、前記画像に写されている任意の物体を主被写体として指定する主被写体指定部と、前記主被写体指定部により指定された前記主被写体の動きに追従する主被写体追従部とを有する請求項1に記載の画像処理装置。

請求項11

前記学習部は、前記特定の領域として、前記画像において固定の位置にある被写体が写されている領域である固定被写体領域を認識し、前記画像に写されている被写体までの距離と、前記学習部により認識された前記固定被写体領域とに基づいて、前記画像から前記主被写体領域を切り抜く画像処理を行う切り抜き処理部をさらに備える請求項1に記載の画像処理装置。

請求項12

画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板とを備える固体撮像素子

請求項13

画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板とを有する固体撮像素子を備える電子機器

技術分野

0001

本開示は、画像処理装置固体撮像素子、および電子機器に関し、特に、より高速画像処理を行うことができるようにした画像処理装置、固体撮像素子、および電子機器に関する。

背景技術

0002

近年、放送事業従事していない一般の撮像者自分自身撮像した動画像を、ストリーミング技術などを用いてリアルタイムに配信するサービス(いわゆるインターネット生放送動画放送など)の利用が増加している。

0003

一般的に、自分撮りやポートレートなどのように人物を中心とした撮像を行う場合、その人物だけにピントを合わせ、背景ぼかして撮像する撮像手法が好まれて用いられる。従来、このような撮像手法は、プロフェッショナル映画撮影ドラマ撮影などで採用されており、高価な機材や一眼レフカメラなどが必要であった。

0004

これに対し、静止画像を中心に、測距情報活用した画像処理を施すことで、撮像後にボケ味ピント位置を変化させる手法が提案されている。例えば、特許文献1には、測距情報に基づいて、撮影された画像に対してユーザの指やタッチペンなどにより指示された位置に対応する部分にピントが合うように合焦した画像を生成する手法が提案されている。

先行技術

0005

特開2015−79519号公報

発明が解決しようとする課題

0006

上述したように、従来より、静止画像に対して撮像後にボケ味やピント位置を変化させる画像処理が行われているが、同様の画像処理を動画像に適用させることは困難であった。例えば、動画像に対して画像処理を行う場合、1フレームごとにピントを合わせたい場所を入力操作により設定する必要があり、ピントを合わせたい被写体以外の部分をリアルタイムにぼかす画像処理を行うための十分な処理速度を確保することは困難であった。また、動画像において1フレームごとにデプスマップ演算を行う後段演算処理は重くなり、そのような演算処理をリアルタイムに行うことは困難であった。

0007

本開示は、このような状況に鑑みてなされたものであり、より高速に画像処理を行うことができるようにするものである。

課題を解決するための手段

0008

本開示の一側面の画像処理装置は、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを備える。

0009

本開示の一側面の固体撮像素子は、画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板とを備える。

0010

本開示の一側面の電子機器は、画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板とを有する固体撮像素子を備える。

0011

本開示の一側面においては、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域が特定され、処理対象の画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、画像に写されている主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習が行われる。

発明の効果

0012

本開示の一側面によれば、より高速に画像処理を行うことができる。

図面の簡単な説明

0013

本技術を適用した固体撮像素子の第1の実施の形態の構成例を示すブロック図である。
画像処理について説明する図である。
画像処理を説明するフローチャートである。
固体撮像素子の第2の実施の形態の構成例を示すブロック図である。
固体撮像素子の第3の実施の形態の構成例を示すブロック図である。
画像処理について説明する図である。
固体撮像素子の第4の実施の形態の構成例を示すブロック図である。
画像処理について説明する図である。
切り抜きの対象とする被写体について説明する図である。
本技術を適用した電子機器の一実施の形態の構成例を示すブロック図である。
イメージセンサを使用する使用例を示す図である。

実施例

0014

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

0015

<固体撮像素子の第1の実施の形態>

0016

図1は、本技術を適用した固体撮像素子の第1の実施の形態の構成例を示すブロック図である。

0017

図1において、固体撮像素子11は、センサ基板12およびロジック基板13が電気的および機械的に積層されて構成される積層型CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。そして、固体撮像素子11は、センサ基板12により撮像された画像に対してロジック基板13において画像処理が施された出力画像を、図示しない後段の信号処理回路に出力する。

0018

センサ基板12は、画素アレイ部21および距離測定部22を備えて構成され、ロジック基板13は、主被写体特定部31、相対距離算出部32、背景領域学習部33、ぼかし量演算部34、ぼかし量保持部35、および、ぼかし処理部36を備えて構成される。

0019

画素アレイ部21には、複数の画素がアレイ状に配置された撮像部であり、図示しない光学系を介して被写体の像が結像される。そして、画素アレイ部21は、所定の露光時間における画素の受光量に基づいて撮像される画像を、ロジック基板13の主被写体特定部31および背景領域学習部33に供給する。また、画素アレイ部21は、所定のフレームレートで画像を撮像することによって動画像を撮像することができ、画素アレイ部21から連続的に出力される画像を逐次的に処理対象として、ロジック基板13における画像処理が行われる。なお、画素アレイ部21で撮像される画像が、手前から奥へと広い範囲で焦点が合うように撮像されるように、固体撮像素子11が実装される撮像装置では、被写界深度が深い(例えば、レンズ絞り値が大きい)光学系が用いられる。

0020

距離測定部22は、画素アレイ部21により撮像される動画像の1フレームごとに、画像に写されている被写体までの距離(以下、適宜、被写体距離と称する)を測定し、画像の全面に亘る被写体距離を、ロジック基板13の相対距離算出部32に供給する。例えば、距離測定部22は、図示しない光学系により集光される光の位相差に基づいて被写体距離を測定する位相差画素が、画素アレイ部21の一部の画素に替えて配置された構成とすることができる。また、距離測定部22は、図示しない発光部から被写体に向かってパルス状に赤外線が出力され、被写体で反射した赤外線を受光する受光器により構成することができ、赤外線を受光するタイミングに基づいて被写体距離を測定することができる。または、距離測定部22として、複数の撮像部を利用したステレオカメラを採用してもよく、距離測定部22による被写体距離の測定方法は、特定の技術に限定されることはない。

0021

主被写体特定部31は、画素アレイ部21から供給される動画像の1フレームごとに、画像に写されている被写体のうち、ピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定し、相対距離算出部32に供給する。

0022

例えば、主被写体特定部31は、顔検出部41および骨格認識部42を有して構成される。顔検出部41は、画像に写されている顔を検出し、画像において最も大きく写されている顔の人物を主被写体として特定し、主被写体領域を設定する。また、骨格認識部42は、顔検出部41により主被写体として特定された人物の骨格を認識し、その人物の身体が写されている領域が含まれるとともに、その人物が手に持っている物体が写されている領域が含まれるように主被写体領域を設定する。

0023

相対距離算出部32は、距離測定部22から供給される画像の全面に亘る被写体距離に基づいて、主被写体特定部31により特定された主被写体領域における被写体距離を基準とし、主被写体以外の被写体に対する相対的な距離を示す相対距離情報を算出する。ここで、以下、画像の被写体領域以外の領域のうち、主被写体よりも遠い位置にある被写体が写されている領域を背景領域と称し、被写体よりも近い位置にある被写体が写されている領域を前景領域と称する。

0024

例えば、相対距離算出部32は、主被写体領域の被写体距離を基準とし、背景領域に写されている被写体までの相対距離情報がプラスの値となるように算出し、前景領域に写されている被写体までの相対距離情報がマイナスの値となるように算出する。そして、相対距離算出部32は、算出した相対距離情報を、ぼかし量演算部34に供給する。

0025

背景領域学習部33は、画素アレイ部21から供給される動画像を用いた学習を行い、例えば、動画像のフレーム間の差分に基づいて背景領域を認識する。即ち、背景領域学習部33は、画素アレイ部21から1フレーム分の画像が供給されると、処理対象となっている画像と、その画像の前に処理対象となっていた特定の画像(例えば、1フレーム前の画像)との差分により被写体の動きを求める。そして、背景領域学習部33は、被写体の動きが所定の大きさ以下(被写体の動きがないものを含む)である領域を背景領域として認識する。

0026

さらに、背景領域学習部33は、前のフレームから継続して今回のフレームでも背景領域として認識された領域を継続背景領域とする。また、背景領域学習部33は、今回のフレームで新たに背景領域として認識された領域を新規背景領域とする。また、背景領域学習部33は、前のフレームでは背景領域として認識していたが、今回のフレームでは背景領域から除外された領域を除外背景領域とする。

0027

そして、背景領域学習部33は、継続背景領域については、ぼかし量の演算を停止するようにぼかし量演算部34に対する指示を行うとともに、保持しているぼかし量をぼかし処理部36に供給するようにぼかし量保持部35に対する指示を行う。また、背景領域学習部33は、新規背景領域については、ぼかし量演算部34が求めたぼかし量をぼかし量保持部35にも供給して保持させるように、ぼかし量演算部34に対する指示を行う。また、背景領域学習部33は、除外背景領域については、保持しているぼかし量を破棄するようにぼかし量保持部35に対する指示を行う。

0028

ぼかし量演算部34は、相対距離算出部32から供給される相対距離情報に基づいて、ぼかし量演算対象領域において、ぼかし処理部36で生成される出力画像におけるぼかしの大きさを表すぼかし量を求める演算を行い、ぼかし処理部36に供給する。ここで、ぼかし量演算対象領域は、画素アレイ部21において撮像された画像のうちの、ぼかし量の演算を行う対象となる領域を示す。

0029

例えば、ぼかし量演算部34は、主被写体領域、主被写体と同等の距離(相対距離情報が規定値以下)にある被写体が写されている領域、および、背景領域学習部33において継続背景領域と認識された領域を除いた領域を、ぼかし量演算対象領域とする。即ち、ぼかし量演算部34は、主被写体領域、主被写体と同等の距離にある被写体が写されている領域、および、背景領域学習部33において継続背景領域と認識された領域については、ぼかし量を求める演算を行わない。また、ぼかし量演算部34は、求めたぼかし量のうち、背景領域学習部33において新規背景領域と認識された領域におけるぼかし量を、ぼかし量保持部35に供給して保持させる。

0030

ぼかし量保持部35は、ぼかし量演算部34から供給されるぼかし量を保持し、背景領域学習部33により継続背景領域と認識された領域のぼかし量を、ぼかし処理部36に供給する。また、ぼかし量保持部35は、背景領域学習部33により除外背景領域と認識された領域のぼかし量を破棄する。

0031

ぼかし処理部36は、ぼかし量演算部34から供給されるぼかし量、および、ぼかし量保持部35から供給されるぼかし量に基づいて、主被写体特定部31を介して供給される画素アレイ部21により撮像された画像の背景領域および前景領域をぼかした出力画像を生成して出力する。例えば、ぼかし処理部36は、ガウシアンフィルタ移動平均フィルタ)を適用することで、主被写体との相対的な距離に応じた大きさで、画像の背景領域および前景領域をぼかす画像処理を行う。

0032

以上のように、固体撮像素子11は、背景領域学習部33により背景領域を認識することで、継続的に背景領域であると認識された領域については、ぼかし量演算部34によるぼかし量の演算が行われないようにすることができる。このように、ぼかし量演算部34による演算を削減することで、固体撮像素子11は、ロジック基板13における画像処理をより高速に行うことができる。これにより、固体撮像素子11は、センサ基板12から連続的に出力される画像に対して、主被写体に対する背景領域および前景領域がぼかされた高級感のある出力画像を生成することができ、そのような出力画像をリアルタイムにプレビューすることが可能となる。

0033

また、固体撮像素子11は、主被写体特定部31により主被写体を特定することで、例えば、1フレームごとにピントを合わせたい被写体を入力操作させることなく、意図した被写体にピントが合わされた出力画像を生成することができる。また、固体撮像素子11は、主被写体だけにピントを合わせるのではなく、主被写体と並んでいる被写体や、主被写体が手に持っている物体なども主被写体と同様にぼかされることのない出力画像を生成することができる。

0034

ここで、図2を参照して、固体撮像素子11のロジック基板13において行われる画像処理について説明する。

0035

図2の上側に示すような画像が画素アレイ部21により撮像されたとき、主被写体特定部31は、顔検出部41により最も大きく写されている顔の人物を主被写体として特定する。例えば、図2の下側の画像では、主被写体特定部31により主被写体として特定された人物の顔が丸印で囲われており、相対距離算出部32は、その主被写体の被写体距離を基準として、画像に写されている被写体の相対距離情報を算出する。

0036

即ち、図2の下側の画像に示すように、主被写体の人物と並んでいる人物の相対距離情報は0と求められる。また、背景領域に写されている建物の相対距離情報は、それらの建物に対する被写体距離に基づいて、5、10、<10(10以上)と求められる。また、画像の右下の前景領域に写されている花の相対距離情報は、その花に対する被写体距離に基づいて、−2と求められる。

0037

ここで、ぼかし量演算部34は、相対距離情報が0(相対距離情報が0に近い規定値以下を含む)と求められた被写体が写されている領域について、ぼかし量演算対象領域に含まれないものとし、ぼかし量を求める演算を行わない。

0038

また、例えば、固体撮像素子11が固定されている場合には、背景領域に写されている被写体までの被写体距離は変化しないと考えられる。従って、ぼかし量演算部34は、背景領域学習部33において継続背景領域と認識された領域について、ぼかし量演算対象領域に含まれないものとし、ぼかし量保持部35に保持されているぼかし量を用いて継続背景領域をぼかした出力画像が生成される。

0039

このように、固体撮像素子11では、背景領域として継続している領域については、ぼかし量保持部35に常にぼかし量を保持させておくことで、各フレームにおける演算処理を削減することができる。

0040

次に、図3は、固体撮像素子11のロジック基板13において行われる画像処理を説明するフローチャートである。

0041

例えば、画素アレイ部21において動画像の撮像が行われ、その動画像の1フレーム分の画像がロジック基板13に供給されると処理が開始される。ステップS11において、主被写体特定部31は、画像に写されている被写体の顔および骨格に基づいて主被写体領域を特定し、その特定した主被写体領域を相対距離算出部32に供給する。

0042

ステップS12において、相対距離算出部32は、距離測定部22から供給される被写体距離に基づいて、ステップS11で主被写体特定部31から供給される主被写体領域における被写体距離を基準とした相対距離情報を算出し、ぼかし量演算部34に供給する。

0043

ステップS13において、背景領域学習部33は、画素アレイ部21から供給される動画像のフレーム間の差分に基づいて背景領域を認識する。さらに、背景領域学習部33は、1フレーム前の画像において認識された背景領域との比較に基づいて、継続背景領域、新規背景領域、および除外背景領域を特定する。

0044

ステップS14において、ぼかし量演算部34は、ステップS12で相対距離算出部32から供給される相対距離情報に従って、ぼかし量演算対象領域のぼかし量を求める演算を行い、求めたぼかし量をぼかし処理部36に供給する。このとき、上述したように、主被写体領域、主被写体と同等の距離にある被写体が写されている領域、および、背景領域学習部33において継続背景領域と認識された領域については、ぼかし量を求める演算は行われない。また、ぼかし量演算部34は、背景領域学習部33において新規背景領域と認識された領域におけるぼかし量を、ぼかし量保持部35に供給する。

0045

ステップS15において、ぼかし量保持部35は、ステップS13で背景領域学習部33により継続背景領域と認識された領域のぼかし量を、ぼかし処理部36に供給する。また、ぼかし量保持部35は、ステップS14でぼかし量演算部34から供給されるぼかし量を保持し、ステップS13で背景領域学習部33により除外背景領域と認識された領域のぼかし量を破棄する。

0046

ステップS16において、ぼかし処理部36は、画素アレイ部21により撮像された画像に対し、ステップS14でぼかし量演算部34から供給されるぼかし量、および、ステップS15でぼかし量保持部35から供給されるぼかし量に基づいた大きさで背景領域および前景領域をぼかした出力画像を生成する。ぼかし処理部36が出力画像を出力すると処理は終了され、次の1フレームの画像が供給されるまで待機した後、同様の処理が繰り返して行われる。

0047

以上のように、固体撮像素子11は、主被写体特定部31により主被写体を特定し、背景領域学習部33により背景領域を認識することで、所望の被写体にピントを合わせて背景および前景がぼかされた出力画像を生成する画像処理をより高速に行うことができる。

0048

<固体撮像素子の第2の実施の形態>

0049

次に、図4は、固体撮像素子の第2の実施の形態の構成例を示すブロック図である。なお、図4では、固体撮像素子11Aを構成するブロックのうち、図1の固体撮像素子11と共通するものについては同一の符号を付し、その詳細な説明は省略する。

0050

即ち、固体撮像素子11Aは、センサ基板12およびロジック基板13Aが積層されて構成され、図1と同様に、センサ基板12は、画素アレイ部21および距離測定部22を備えて構成される。

0051

ロジック基板13Aは、図1のロジック基板13と同様に、主被写体特定部31、相対距離算出部32、背景領域学習部33、ぼかし量演算部34、および、ぼかし処理部36を備えるのに加えて、距離変化予測部37およびぼかし量調整部38を備えて構成される。

0052

距離変化予測部37は、処理対象のフレームよりも前の複数フレーム分の画像における背景領域の相対距離情報に基づいて、固体撮像素子11が固定されずに動いている場合に、背景領域の相対距離情報の変化を予測する。例えば、距離変化予測部37は、複数フレーム分の画像における背景領域の相対距離情報の変化量が一定である場合、その変化量に従って、処理対象のフレームの景領域の相対距離情報を予測する。

0053

ぼかし量調整部38は、図1のぼかし量保持部35と同様に、背景領域のぼかし量を保持するとともに、距離変化予測部37により予測された背景領域の相対距離情報の変化に応じて調整したぼかし量を、ぼかし処理部36に供給する。例えば、ぼかし量調整部38は、距離変化予測部37が背景領域の相対距離情報に変化がないと予測した場合には、図1のぼかし量保持部35と同様に、保持しているぼかし量をそのまま、ぼかし処理部36に供給する。

0054

このように構成される固体撮像素子11Aでは、固体撮像素子11が固定されずに動いている場合に、距離変化予測部37が背景領域の相対距離情報の変化を予測し、その変化に従って、ぼかし量調整部38がぼかし量を調整することができる。これにより、ぼかし量演算部34によるぼかし量の演算を毎フレームに対して行うことを回避することができ、ロジック基板13Aにおける画像処理をより高速に行うことができる。

0055

<固体撮像素子の第3の実施の形態>

0056

次に、図5は、固体撮像素子の第3の実施の形態の構成例を示すブロック図である。なお、図5では、固体撮像素子11Bを構成するブロックのうち、図1の固体撮像素子11と共通するものについては同一の符号を付し、その詳細な説明は省略する。

0057

即ち、固体撮像素子11Bは、センサ基板12およびロジック基板13Bが積層されて構成され、図1と同様に、センサ基板12は、画素アレイ部21および距離測定部22を備えて構成される。

0058

ロジック基板13Bは、図1のロジック基板13と同様に、相対距離算出部32、背景領域学習部33、ぼかし量演算部34、ぼかし量保持部35、および、ぼかし処理部36を備えるのに加えて、主被写体特定部31Bを備えて構成される。即ち、ロジック基板13Bは、図1の主被写体特定部31に替えて主被写体特定部31Bを備える点で、図1のロジック基板13と異なる構成とされており、主被写体特定部31Bは、主被写体指定部51および主被写体追従部52を有して構成される。

0059

主被写体指定部51は、図示しない操作部に対してユーザが操作を行う(例えば、タッチパネルに対してユーザがタッチする)と、その操作により主被写体として指示された被写体を指定する。即ち、図1の主被写体特定部31では、顔検出により主被写体が特定されていたが、主被写体特定部31Bでは、人物以外の被写体(自動車オートバイなど)を主被写体として指定することができる。

0060

主被写体追従部52は、主被写体指定部51により指定された主被写体の色および形に基づいて、主被写体の動きに追従して、主被写体を特定し続ける処理を行う。例えば、主被写体が移動することによって画像上の位置が変わったとしても、主被写体追従部52が主被写体の動きを追従することで、主被写体を基準とした相対距離情報に基づいて、背景領域および前景領域がぼかされた出力画像が生成される。

0061

このように構成される固体撮像素子11Bにおいても、図1の固体撮像素子11と同様に、ぼかし量保持部35に保持されている背景領域のぼかし量を使用して、ぼかし量演算部34による演算を削減することで、より高速に画像処理を行うことができる。

0062

図6を参照して、固体撮像素子11Bのロジック基板13Bにおいて行われる画像処理について説明する。

0063

図6の上側に示すような画像が画素アレイ部21により撮像されたとき、ユーザが任意の花を指示すると、主被写体指定部51は、ユーザにより指示された花を主被写体として特定する。例えば、図6の下側の画像では、主被写体指定部51により主被写体として特定された花が丸印で囲われており、相対距離算出部32は、その主被写体の被写体距離を基準として、画像に写されている被写体の相対距離情報を算出する。

0064

即ち、図6の下側の画像に示すように、主被写体の花と並んで左下にある花の相対距離情報は0と求められる。また、背景領域に写されている草原や山、空などの相対距離情報は、それらに対する被写体距離に基づいて、5、10、<10(10以上)と求められる。また、画像の右下の前景領域に写されている花の相対距離情報は、その花に対する被写体距離に基づいて、−5と求められる。このような相対距離情報に基づいて、固体撮像素子11Bは、背景領域および前景領域がぼかされた出力画像を生成することができる。

0065

その後、固体撮像素子11Bは、撮像する画像の構図が変わったとしても、主被写体追従部52により主被写体として特定された花が追従され、背景領域および前景領域がぼかされた出力画像を生成することができる。

0066

<固体撮像素子の第4の実施の形態>

0067

次に、図7は、固体撮像素子の第4の実施の形態の構成例を示すブロック図である。なお、図7では、固体撮像素子11Cを構成するブロックのうち、図1の固体撮像素子11と共通するものについては同一の符号を付し、その詳細な説明は省略する。

0068

即ち、固体撮像素子11Cは、センサ基板12およびロジック基板13Cが積層されて構成され、図1と同様に、センサ基板12は、画素アレイ部21および距離測定部22を備えて構成される。

0069

ロジック基板13Cは、図1のロジック基板13と同様に主被写体特定部31を備えるのに加えて、固定被写体学習部61、切り抜き領域特定部62、および切り抜き処理部63を備えて構成される。

0070

固定被写体学習部61は、画素アレイ部21から供給される動画像を用いた学習を行い、例えば、動画像のフレーム間の差分に基づいて、画像において固定の位置にある被写体が写されている領域(以下、固定被写体領域と称する)を認識して、切り抜き領域特定部62に供給する。即ち、固定被写体学習部61は、画素アレイ部21から1フレーム分の画像が供給されると、その前のフレームの画像との差分により被写体の動きを求め、固定的な被写体が写されている領域を固定被写体領域として認識する。

0071

切り抜き領域特定部62は、主被写体特定部31により特定された主被写体領域、距離測定部22から供給される画像の全面に亘る被写体距離、固定被写体学習部61により認識された固定被写体領域に基づいて、画像から特定の被写体を切り抜くための切り抜き領域を特定する。例えば、切り抜き領域特定部62は、主被写体領域とともに、被写体距離に基づいて特定される主被写体と並んでいる人物が写されている領域を切り抜き領域に含めることができる。このとき、切り抜き領域特定部62は、主被写体と同等の距離にある物体であっても、固定被写体学習部61により固定被写体領域と認識された領域が、切り抜き領域に含まれないようにすることができる。

0072

切り抜き処理部63は、主被写体特定部31を介して供給される画素アレイ部21により撮像された画像から、切り抜き領域特定部62により特定された切り抜き領域を切り抜く画像処理を行う。これにより、切り抜き処理部63は、主被写体と、主被写体の人物と並んでいる人物とを切り抜いた出力画像を生成して、図示しない後段の信号処理回路に出力する。

0073

このように構成される固体撮像素子11Cは、距離測定部22により測定された被写体距離と、固定被写体学習部61により認識された固定被写体領域との両方に基づいて、切り抜きの対象とする被写体を正確に切り抜くことができる。

0074

ここで、図8を参照して、固体撮像素子11Cのロジック基板13Cにおいて行われる画像処理について説明する。

0075

図8の上側に示すような画像が画素アレイ部21により撮像されたとき、主被写体特定部31は、顔検出部41により最も大きく写されている顔の人物を主被写体として特定し、骨格認識部42により特定される人物の身体が含まれるように主被写体領域が設定される。例えば、図8の中央の画像では、主被写体特定部31により主被写体として特定された人物の全体が丸印で囲われている。ここで、切り抜き領域特定部62は、例えば、最初に主被写体として特定された被写体までの距離を基準距離として、画像に写されている被写体の相対距離情報を算出する。

0076

即ち、図8の中央の画像に示すように、最初に主被写体として特定された被写体と同等の距離にある他の被写体の相対距離情報は0と求められる。また、背景領域に写されている被写体の相対距離情報は、それらの被写体に対する被写体距離に基づいて、10、<10(10以上)と求められる。

0077

ここで、固体撮像素子11Cでは、最初に主被写体として特定された被写体までの距離を基準距離として処理が行われ、図8の下側の画像に示すように、主被写体が移動して、主被写体までの距離が変化(0から2に変化)したとする。このとき、相対距離情報が0であった他の被写体が固定的であれば、その他の被写体の相対距離情報は0のままである。

0078

従って、固定被写体学習部61が、固定被写体領域を認識して切り抜き領域特定部62に供給することで、切り抜き領域特定部62は、主被写体と同等の距離にある他の被写体は切り抜き領域に含まれないように切り抜き領域を特定することができる。つまり、固体撮像素子11Cでは、主被写体と同等の距離にある物体でも、距離情報が一定期間変化しないものは、背景と同様に切り抜きの対象としないものと認識して、その物体の切り抜きが行われないようにすることができる。

0079

図9を参照して、切り抜きの対象とする被写体についてさらに説明する。

0080

図9は、縦軸が被写体距離を示し、横軸が時間を示しており、背景、固定被写体、主被写体、移動被写体についての被写体距離の変化を表す図である。

0081

固体撮像素子11Cでは、図9に示すような被写体距離に基づいて、被写体距離が一定である背景および固定被写体と、被写体距離が変化する主被写体および移動被写体とを分離することができ、主被写体および移動被写体のみを切り抜くことができる。つまり、固体撮像素子11Cでは、被写体距離が主被写体の近傍に在り、かつ、基準距離から所定範囲内で時間経過に対して揺らぎがある画素だけ切り抜くことで、主被写体と、主被写体の近傍に移動したときの移動被写体とを正確に切り抜くことができる。

0082

例えば、背景差分などの画像解析で移動する被写体のみを切り抜く画像処理を行う場合、照明変化や影などの影響を受け易いため、被写体を正確に切り抜くことができなかった。また、被写体距離情報のみに基づいて被写体を切り抜く場合、被写体と同等の距離にあるものも切り抜かれてしまうため、切り抜きの対象とした人物のみを正確に切り抜くことができなかった。

0083

これに対し、固体撮像素子11Cは、上述したように、切り抜き領域特定部62が、被写体距離を用いるとともに、固定被写体学習部61により認識された固定被写体領域が切り抜き領域に含まれないようにすることで、動いている被写体のみを正確に切り抜くことができる。

0084

なお、上述した実施の形態において、固体撮像素子11では、動画像の1フレームごとにぼかし量を求める演算が行われているが、例えば、画像に写されている被写体の動きが少ない場合には、数フレームごとにぼかし量を求める演算を行うようにしてもよい。また、本技術は、固体撮像素子11のようなぼかし処理や、固体撮像素子11Cのような切り抜き処理などの処理以外の画像処理に適用することができる。

0085

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

0086

また、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用パーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

0087

<電子機器の構成例>

0088

なお、上述したような各実施の形態の固体撮像素子11は、例えば、デジタルスチルカメラデジタルビデオカメラなどの撮像システム撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

0089

図10は、電子機器に搭載される撮像装置の構成例を示すブロック図である。

0090

図10に示すように、撮像装置101は、光学系102、撮像素子103、信号処理回路104、モニタ105、およびメモリ106を備えて構成され、静止画像および動画像を撮像可能である。

0091

光学系102は、1枚または複数枚のレンズを有して構成され、被写体からの像光入射光)を撮像素子103に導き、撮像素子103の受光面(センサ部)に結像させる。

0092

撮像素子103としては、上述した各実施の形態の固体撮像素子11が適用される。撮像素子103には、光学系102を介して受光面に結像される像に応じて、一定期間、電子蓄積される。そして、撮像素子103に蓄積された電子に応じた信号が信号処理回路104に供給される。

0093

信号処理回路104は、撮像素子103から出力された画素信号に対して各種の信号処理を施す。信号処理回路104が信号処理を施すことにより得られた画像(画像データ)は、モニタ105に供給されて表示されたり、メモリ106に供給されて記憶(記録)されたりする。

0094

このように構成されている撮像装置101では、上述した各実施の形態の固体撮像素子11を適用することで、例えば、背景および前景が効果的にぼかされた画像をリアルタイムにプレビューすることができる。

0095

<イメージセンサの使用例>

0096

図11は、上述のイメージセンサ(固体撮像素子11)を使用する使用例を示す図である。

0097

上述したイメージセンサは、例えば、以下のように、可視光や、赤外光紫外光X線等の光をセンシングする様々なケースに使用することができる。

0098

ディジタルカメラや、カメラ機能付き携帯機器等の、鑑賞の用に供される画像を撮影する装置
自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ走行車両道路監視する監視カメラ車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫エアーコンディショナ等の家電に供される装置
内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療ヘルスケアの用に供される装置
防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
作物の状態を監視するためのカメラ等の、農業の用に供される装置

0099

なお、本技術は以下のような構成も取ることができる。
(1)
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、
処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部と
を備える画像処理装置。
(2)
前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、
前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、
処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部と
をさらに備え、
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う
上記(1)に記載の画像処理装置。
(3)
前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像から継続して前記背景領域として認識された継続背景領域について、前記ぼかし量を求める演算を停止するように前記ぼかし量演算部に対する指示を行うとともに、前記ぼかし量保持部が保持している前記ぼかし量を前記ぼかし処理部に供給するように前記ぼかし量保持部に対する指示を行う
上記(2)に記載の画像処理装置。
(4)
前記学習部は、処理対象の前記画像の背景領域のうち、処理対象の前記画像で新たに前記背景領域として認識された新規背景領域について、前記ぼかし量演算部が求めた前記ぼかし量を前記ぼかし量保持部に保持させるように前記ぼかし量演算部に対する指示を行う
上記(2)に記載の画像処理装置。
(5)
前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像では前記背景領域として認識していたが、処理対象の前記画像では前記背景領域として認識されなくなった除外背景領域について、保持している前記ぼかし量を破棄するように前記ぼかし量保持部に対する指示を行う
上記(2)に記載の画像処理装置。
(6)
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、
前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、
処理対象の前記画像の前に処理対象とされた複数フレーム分の前記画像における前記背景領域に写されている前記他の被写体までの距離に基づいて、処理対象の前記画像の前記背景領域に写されている前記他の被写体までの距離の変化を予測する距離変化予測部と、
前記距離変化予測部により予測された前記距離の変化に応じて、前記背景領域における前記ぼかし量を調整するぼかし量調整部と、
処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量調整部により調整されたぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部と
をさらに備える上記(1)に記載の画像処理装置。
(7)
前記主被写体特定部は、前記画像に写されている人物の顔を検出する顔検出部を有しており、前記顔認識部により検出された顔の人物を前記主被写体として特定する
上記(1)から(6)までのいずれかに記載の画像処理装置。
(8)
前記主被写体特定部は、前記顔検出部により前記主被写体として特定された顔の人物の骨格を認識する骨格認識部を有しており、前記画像に写されている前記主被写体の身体が含まれるように前記主被写体領域を特定する
上記(7)に記載の画像処理装置。
(9)
前記主被写体特定部は、前記骨格認識部により認識された骨格の人物が手に持っている物体が含まれるように前記主被写体領域を特定する
上記(8)に記載の画像処理装置。
(10)
前記主被写体特定部は、
ユーザの操作によって指示された、前記画像に写されている任意の物体を主被写体として指定する主被写体指定部と、
前記主被写体指定部により指定された前記主被写体の動きに追従する主被写体追従部と
を有する
上記(1)から(6)までのいずれかに記載の画像処理装置。
(11)
前記学習部は、前記特定の領域として、前記画像において固定の位置にある被写体が写されている領域である固定被写体領域を認識し、
前記画像に写されている被写体までの距離と、前記学習部により認識された前記固定被写体領域とに基づいて、前記画像から前記主被写体領域を切り抜く画像処理を行う切り抜き処理部をさらに備える
上記(1)に記載の画像処理装置。
(12)
画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板と
を備える固体撮像素子。
(13)
画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板と
を有する固体撮像素子を備える電子機器。

0100

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

0101

11固体撮像素子, 12センサ基板, 13ロジック基板, 21画素アレイ部, 22距離測定部, 31主被写体特定部, 32相対距離算出部, 33背景領域学習部, 34ぼかし量演算部, 35 ぼかし量保持部, 36 ぼかし処理部, 37距離変化予測部, 38 ぼかし量調整部, 41顔検出部, 42骨格認識部, 51 主被写体指定部, 52 主被写体追従部, 61固定被写体学習部, 62切り抜き領域特定部, 63切り抜き処理部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 株式会社ニコンの「 撮像装置」が 公開されました。( 2020/04/09)

    【課題】筐体の像の映り込みを抑制しつつ、冷却効率の向上を図ること。【解決手段】撮像装置は、吸気口と排気口とを有する筐体と、前記筐体内に配置された第1撮像素子と、前記筐体内に配置された第2撮像素子と、前... 詳細

  • 日本電信電話株式会社の「 情報統合方法、情報統合装置、及び情報統合プログラム」が 公開されました。( 2020/04/09)

    【課題】オブジェクトの位置情報の精度を向上する。【解決手段】情報統合装置1のラベリング部13は、Depthマップに含まれる複数のオブジェクト領域のうち、オブジェクト領域に対してトラッキングデータに含ま... 詳細

  • 日本電信電話株式会社の「 情報統合方法、情報統合装置、及び情報統合プログラム」が 公開されました。( 2020/04/09)

    【課題】伝送先で行うオブジェクト表現に対する影響を軽減する。【解決手段】情報統合装置1の位置情報受信部11は、複数のセンサにより複数の方面からそれぞれ計測され、何れかの方面においてオブジェクト同士が重... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ