図面 (/)

技術 画像処理装置及びプログラム

出願人 カシオ計算機株式会社
発明者 新井秀聡
出願日 2008年9月3日 (11年6ヶ月経過) 出願番号 2008-225829
公開日 2010年3月18日 (10年0ヶ月経過) 公開番号 2010-062814
状態 特許登録済
技術分野 画像処理 スタジオ装置 イメージ分析
主要キーワード アルゴリズム構造 画像関連処理 認識処理ルーチン 個人認識処理 変化度合 レベル指定 画像検索モード 自動撮影処理
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2010年3月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置を提供する。

解決手段

撮像装置100であって、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度感度レベルとが対応付けられた状態テーブルを記憶する内蔵メモリ7と、新規に取得した画像内の人物の顔の笑顔度を特定する特定処理、特定処理にて特定された笑顔度に基づいて、状態テーブルの感度レベルと現笑顔度との対応関係を変更する変更処理とを行うCPU8と、を備える。

概要

背景

従来、対象物撮影を自動的に行うデジタルカメラが知られている(例えば、特許文献1参照)。具体的には、このデジタルカメラにあっては、対象物の表情や目・顔の向きを検出して所定条件を満たしたと判定された場合に、自動的に撮影記録動作を行うようになっている。

また、複数の画像をメモリに記憶する際に、画像内の顔の表情を利用して画像の分類を行うことで、所望の画像に類似する画像の検索を容易に行うことができるようにしたデジタルカメラも知られている(例えば、特許文献2参照)。
特開2001−51338号公報
特開2005−234686号公報

概要

対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置を提供する。撮像装置100であって、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度感度レベルとが対応付けられた状態テーブルを記憶する内蔵メモリ7と、新規に取得した画像内の人物の顔の笑顔度を特定する特定処理、特定処理にて特定された笑顔度に基づいて、状態テーブルの感度レベルと現笑顔度との対応関係を変更する変更処理とを行うCPU8と、を備える。

目的

そこで、本発明の課題は、対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置及びプログラムを提供することである。

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、新規に取得した画像内の対象物の状態を特定する特定手段と、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、を備えることを特徴とする画像処理装置

請求項2

前記特定手段により特定された前記対象物の状態と、前記レベル指定手段により指定された前記感度レベルと前記状態テーブルに対応付けられている対象物の基準状態とを比較判定する判定手段を更に備え、前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記対象物として被写体を撮像する撮像手段と、前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴とする請求項2に記載の画像処理装置。

請求項4

複数の画像を記憶する画像記憶手段と、前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴とする請求項2に記載の画像処理装置。

請求項5

前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴とする請求項2〜4の何れか一項に記載の画像処理装置。

請求項6

前記特定手段によってこれまでに特定された前記対象物の過去状態を複数記憶する過去状態記憶手段を更に備え、前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。

請求項7

前記対象物は、人物であることを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。

請求項8

前記対象物は、人物の顔であることを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。

請求項9

前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴とする請求項8に記載の画像処理装置。

請求項10

前記状態テーブルは、対象物の種類に応じて複数設けられていることを特徴とする請求項1〜9の何れか一項に記載の画像処理装置。

請求項11

画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、を備える画像処理装置のコンピュータを、新規に取得した画像内の対象物の状態を特定する特定手段、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、として機能させることを特徴とするプログラム

技術分野

0001

本発明は、画像処理装置及びプログラムに関する。

背景技術

0002

従来、対象物撮影を自動的に行うデジタルカメラが知られている(例えば、特許文献1参照)。具体的には、このデジタルカメラにあっては、対象物の表情や目・顔の向きを検出して所定条件を満たしたと判定された場合に、自動的に撮影記録動作を行うようになっている。

0003

また、複数の画像をメモリに記憶する際に、画像内の顔の表情を利用して画像の分類を行うことで、所望の画像に類似する画像の検索を容易に行うことができるようにしたデジタルカメラも知られている(例えば、特許文献2参照)。
特開2001−51338号公報
特開2005−234686号公報

発明が解決しようとする課題

0004

ところで、対象物を自動的に撮影する場合には、対象物の顔の表情の判定基準切り換えて設定することができるが、当該レベルの設定は撮影対象によらず一律に決まってしまうため、使い勝手が悪いといった問題がある。
かかる問題は、顔の表情を利用して画像検索処理を行う場合も同様となっている。

0005

そこで、本発明の課題は、対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置及びプログラムを提供することである。

課題を解決するための手段

0006

上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、新規に取得した画像内の対象物の状態を特定する特定手段と、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、を備えることを特徴としている。

0007

請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記特定手段により特定された前記対象物の状態と、前記レベル指定手段により指定された前記感度レベルと前記状態テーブルに対応付けられている対象物の基準状態とを比較判定する判定手段を更に備え、前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。

0008

請求項3に記載の発明は、請求項2に記載の画像処理装置において、
前記対象物として被写体を撮像する撮像手段と、前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴としている。

0009

請求項4に記載の発明は、請求項2に記載の画像処理装置において、
複数の画像を記憶する画像記憶手段と、前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴としている。

0010

請求項5に記載の発明は、請求項2〜4の何れか一項に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴としている。

0011

請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像処理装置において、
前記特定手段によってこれまでに特定された前記対象物の過去状態を複数記憶する過去状態記憶手段を更に備え、前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。

0012

請求項7に記載の発明は、請求項1〜6の何れか一項に記載の画像処理装置において、
前記対象物は、人物であることを特徴としている。

0013

請求項8に記載の発明は、請求項1〜6の何れか一項に記載の画像処理装置において、
前記対象物は、人物の顔であることを特徴としている。

0014

請求項9に記載の発明は、請求項8に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴としている。

0015

請求項10に記載の発明は、請求項1〜9の何れか一項に記載の画像処理装置において、
前記状態テーブルは、対象物の種類に応じて複数設けられていることを特徴としている。

0016

請求項11に記載の発明のプログラムは、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、を備える画像処理装置のコンピュータを、
新規に取得した画像内の対象物の状態を特定する特定手段、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、として機能させることを特徴としている。

発明の効果

0017

本発明によれば、対象物の状態を考慮して画像関連処理を適正に行うことができ、画像処理装置の使い勝手を向上させることができる。

発明を実施するための最良の形態

0018

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。

0019

本実施形態の撮像装置100は、撮像部1により撮像される被写体の状態が所定条件を満たした場合に、当該被写体に係る画像データを記録保存する自動撮影処理後に、処理結果に応じて、当該自動撮影処理の実行判定に係る状態テーブルT1の現笑顔度更新する。
具体的には、図1に示すように、撮像装置100は、撮像部1と、記録媒体制御部2と、記録媒体3と、表示部4と、操作入力部5と、バッファメモリ6と、内蔵メモリ7と、CPU8を備えて構成されている。

0020

撮像部1は、撮像手段として、一のシーンを撮像して画像フレームを生成する。具体的には、図示は省略するが、撮像部1は、例えば、撮像レンズと、撮像レンズを通過した被写体像を二次元画像信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等からなる電子撮像部と、電子撮像部の制御や、AE自動露出処理)、AF自動合焦処理)、AWB(自動ホワイトバランス)の制御などを行う撮像制御部等を備えている。
そして、撮像制御部は、電子撮像部に所定の露出時間で被写体を撮像させ、当該電子撮像部の撮像領域から画像フレームを読み出す。その後、撮像制御部は、読み出した画像フレームをバッファメモリ6に転送して格納する。

0021

記録媒体制御部2は、記録媒体3に対する画像ファイルの格納や、記録媒体3からの画像ファイルの読み出しを制御する。

0022

記録媒体3は、例えば、カード型不揮発性メモリフラッシュメモリ)やハードディスク等により構成されている。

0023

表示部4は、図示は省略するが、例えば、液晶などの画像表示部と、この画像表示部への画像フレームの表示を制御する表示制御部等を備えている。そして、表示部4は、撮像部1により撮像される画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。

0024

操作入力部5は、当該撮像装置100の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部5は、撮像部1による被写体の記録を指示するシャッタータンや、各種動作モードや各種項目の選択を行う上下左右カーソルボタンや、これらカーソルボタンにより選択された動作モードや項目の決定を指示する決定ボタン等を備えている。

0025

動作モードとしては、例えば、静止画像を撮影する静止画撮影モードや、撮像部1により生成された撮影対象と類似する所望の画像データを自動的に記録保存する自動撮影モード等が挙げられる。
そして、ユーザにより所定の動作モード(例えば、自動撮影モード等)が選択されると、当該動作モードの設定指示入力回路(図示略)を介してCPU8に出力する。CPU8は、設定指示が入力されると、各部を制御して当該動作モードに応じた処理を行う。

0026

また、操作入力部5は、自動撮影処理(画像関連処理)を実行するか否かの判定に係る複数の感度レベルのうち、ユーザ所望の何れかの感度レベルを指定する。
感度レベルの指定方法としては、例えば、感度指定画面(図示略)に表示されたレベル1〜3のうち、何れかのレベルを指定するようにしても良いし、所望の感度レベルの数値を入力するようにしても良い。なお、感度レベルは、数値が小さい程、感度が緩くなっており、レベル1が最も感度が低く、レベル3が最も感度が高くなっている。
そして、ユーザにより所定の感度レベル(例えば、レベル1等)が選択されると、当該感度レベルの設定指示を入力回路(図示略)を介してCPU8に出力する。CPU8は、設定指示が入力されると、各部を制御して当該感度レベルに応じた処理を行う。
ここで、操作入力部5は、自動撮影処理の実行に係る感度レベルを指示するレベル指示手段を構成している。

0027

バッファメモリ6は、例えば、フラッシュメモリ等により構成され、CPU8によって処理されるデータ等を一時記憶する。

0028

CPU8は、撮像装置100の各部を制御するものである。具体的には、CPU8は、内蔵メモリ7のプログラムメモリ(後述)に記憶された撮像装置100用の各種処理プログラムに従って各種の制御動作を行うものである。

0029

内蔵メモリ7は、テーブル記憶手段として、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度(基準状態)と感度レベルとが対応付けられた状態テーブルT1を記憶する(図2参照)。
状態テーブルT1は、図2に示すように、Aさん、Bさん、Cさん等の人物を識別するための人物IDと、各人物の顔の顔特徴データと、過去の笑顔度を数値化した笑顔度過去履歴と、現在の笑顔度をレベル毎に数値化した現笑顔度(対象物の基準状態)とを対応付けて登録するものである。現笑顔度は、内蔵メモリ7に記憶されている笑顔度判定テンプレートT2(図3参照)を基準にして数値化したものである。ここで、笑顔度判定用テンプレートT2は、例えば、大笑いを笑顔度100として、笑い量が小さくなるに従って笑顔度が次第に小さくなるように5段階で規定されている。例えば、Aさんの場合には、レベル1が笑顔度50であり、レベル2が笑顔度70であり、レベル3が笑顔度100である。また、Bさんの場合には、レベル1が笑顔度10であり、レベル2が笑顔度30であり、レベル3が笑顔度50である。また、Cさんの場合には、レベル1が笑顔度30であり、レベル2が笑顔度50であり、レベル3が笑顔度70である。
ここで、内蔵メモリ7は、これまでに特定処理(後述)により特定された人物の顔の過去の笑顔度(対象物の過去状態)を複数記憶する過去状態記憶手段を構成している。

0030

また、内蔵メモリ7は、プログラムメモリを備え、CPU8の動作に必要な各種プログラムやデータを記憶している。
このプログラムは、後述する認識処理ルーチン、特定処理ルーチン判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンを含む。
ここでいうルーチンとは、コンピュータのプログラムの部分をなし、ある機能をもった一連命令群のことである。

0031

認識処理ルーチンは、CPU8を認識手段として機能させるためのプログラム部分である。即ち、認識処理ルーチンは、新規に取得した画像内の人物の顔を認識する認識処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この認識処理ルーチンにより、CPU8は、撮像部1により順次生成される複数の画像データの各々を新規に取得した後、当該画像データに係る画像内の人物(例えば、Aさん)の顔を検出して特定する顔認識処理を行う。
ここで、顔認識処理は、例えば、状態テーブルT1の人物IDと対応付けられている顔特徴データを参照して、目、、ロなどに相当する特徴部分の位置関係肌色領域面積などから判定された顔サイズ等から人物を特定する。

0032

特定処理ルーチンは、CPU8を特定手段として機能させるためのプログラム部分である。即ち、特定処理ルーチンは、認識処理にて認識された人物の顔の状態を特定する特定処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この特定処理ルーチンにより、CPU8は、認識処理にて認識された人物の顔の目や口等の座標変化状態から笑顔度判定用テンプレートT2を用いて笑顔度(例えば、大笑いに対応する笑顔度100等)を特定する。

0033

判定処理ルーチンは、CPU8を判定手段として機能させるためのプログラム部分である。即ち、判定処理ルーチンは、特定処理にて特定された人物の顔の笑顔度と、ユーザによる操作入力部5の所定操作に基づいて指定された感度レベル(例えば、レベル2)と状態テーブルT1に対応付けられている人物の顔の現笑顔度(例えば、Aさんの場合、笑顔度70)とを比較判定する判定処理に係る機能をCPU8に実現させるための命令群を含む。

0034

自動撮影制御処理ルーチンは、CPU8を自動撮影制御手段として機能させるためのプログラム部分である。即ち、自動撮影制御処理ルーチンは、撮像部1により対象物を自動的に撮像させる自動撮影処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この自動撮影制御処理ルーチンにより、CPU8は、判定処理による判定結果に応じて、撮像部1により生成された画像データを自動的に記録媒体3に記録保存させるか否かを制御する。例えば、CPU8は、特定処理にて特定された人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルT1に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る画像データを取得して記録媒体3に記録保存させる一方で、特定処理にて特定された人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る画像データの記録保存を実行制御しない。

0035

変更処理ルーチンは、CPU8を変更手段として機能させるためのプログラム部分である。即ち、変更処理ルーチンは、特定処理にて特定された人物の顔の笑顔度、特に、判定処理にて現笑顔度を超えていると判定された当該人物の顔の笑顔度に基づいて、状態テーブルT1の感度レベルと人物の顔の現笑顔度との対応関係を変更するテーブル更新処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この変更処理ルーチンにより、CPU8は、状態テーブルT1の笑顔度過去履歴に登録されている最新の画像データの笑顔度「A」、その一つ前の画像データの笑顔度「B」、さらに一つ前の画像データの笑顔度「C」、さらに一つ前の画像データの笑顔度「D」を取得して、これら「A」〜「D」の値を重み付け平均して(例えば、0.4×A+0.3×B+0.2×C+0.1×D等)、その演算結果をレベル2の現笑顔度として上書き保存する。レベル1及び3の現笑顔度は、笑顔度判定用テンプレートT2を用いて、レベル2の笑顔度を挟む笑顔度を特定して、その特定された値をレベル1及び3の現笑顔度として上書き保存する。つまり、CPU8は、状態テーブルT1の笑顔度過去履歴に登録されている複数の笑顔度のうち、特定処理にて新規に特定された最も新しい人物の顔の笑顔度から所定数の笑顔度に基づいて、状態テーブルT1の感度レベルと現笑顔度との対応関係を変更する。
なお、笑顔度の重み付け平均の方法として上記したものは一例であって、これに限られるものではない。

0036

図4図8は、撮像装置100の全体の動作を説明するためのフローチャートであるとともに、プログラムメモリに記憶されたプログラムのアルゴリズム構造を示すフローチャートである。実際に使用するCPU8に対応した具体的なプログラムコードの記載は省略するが、このフローチャート(アルゴリズム構造)に基づいて適宜設計すればよい。

0037

次に、撮像装置100のメイン動作について図4を参照して説明する。
図4は、撮像装置100によるメイン動作の一例を示すフローチャートである。

0038

図4に示すように、先ず、CPU8は、当該撮像装置100の各部を初期化するイニシャライズ処理を行う(ステップS1)。
その後、CPU8は、ユーザによる操作入力部5の所定操作に基づいて自動撮影処理の実行が指示されると、各部を制御して自動撮影処理を行う(ステップS2;詳細後述)。
そして、自動撮影処理の終了後、CPU8は、ユーザによる操作入力部5の所定操作に基づいてテーブル更新処理の実行が指示されると、各部を制御してテーブル更新処理を行う(ステップS3;詳細後述)。
そして、テーブル更新処理が終了すると、CPU8は、ユーザによる操作入力部5の所定操作に基づいてその他の処理の実行が指示されると、その他の処理を行う(ステップS4)。

0039

次に、自動撮影処理について図5を参照して説明する。
図5は、撮像装置100による自動撮影処理に係る動作の一例を示すフローチャートである。

0040

図5に示すように、CPU8は、自動撮影モードに設定されているか否かを判定する(ステップS21)。
ここで、自動撮影モードに設定されていると判定されると(ステップS21;YES)、CPU8は、自動撮影処理の感度レベルの変更指示が入力されているか否かを判定する(ステップS22)。そして、ステップS22にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル2からレベル1に変更する等の指示が入力されていると判定されると(ステップS22;YES)、CPU8は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う(ステップS23)。

0041

次に、CPU8は、認識処理ルーチンにより、撮像部1により順次生成される複数の画像データの各々を新規に取得して、当該画像データに基づいて表示部4にライブビュー画像を表示させるとともに、当該画像データに係る画像内の人物の顔を検出する(ステップS24)。そして、CPU8は、何れかの画像から人物の顔を検出したと判定すると(ステップS24;YES)、当該顔を認識して個人(例えば、Aさん等)を特定する個人認識処理を行う(ステップS25)。
また、ステップS22にて、感度レベルの変更指示が入力されていないと判定された場合にも(ステップS22;NO)、CPU8は、処理をステップS24に移行させる。

0042

その後、CPU8は、個人認識された顔が状態テーブルT1に登録されているか否かを判定する(ステップS26)。
なお、ステップS25の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ状態テーブルT1に登録されているか否かを判定するようにしても良いし、全ての人物について状態テーブルT1に登録されているか否かを判定するようにしても良い。
そして、状態テーブルT1に登録されていると判定されると(ステップS26;YES)、CPU8は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートT2を用いて笑顔度(例えば、大笑いに対応する笑顔度100等)を判定して特定する(ステップS27)。

0043

続けて、CPU8は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル(例えば、レベル1)と状態テーブルT1に対応付けられている人物の顔の現笑顔度(例えば、Aさんの場合、笑顔度50)とを比較して、笑顔度が現笑顔度を超えたか否かを判定する(ステップS28)。
なお、ステップS25の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ現笑顔度を超えたか否かを判定するようにしても良いし、全ての人物について現笑顔度を超えたか否かを判定するようにしても良い。
そして、笑顔度が現笑顔度を超えたと判定されると(ステップS28;YES)、CPU8は、自動撮影制御処理ルーチンにより、当該判定に係る画像データを取得して記録媒体3に記録保存させる(ステップS29)。

0044

一方、ステップS28にて、笑顔度が現笑顔度を超えていないと判定されると(ステップS28;NO)、CPU8は、自動撮影制御処理ルーチンにより、当該判定に係る画像データの記録保存を実行制御せずに、ユーザにより操作入力部5のシャッターボタンが所定操作されて被写体の撮像が指示されたか否かを判定する(ステップS2A)。
ここで、シャッターボタンが所定操作されて被写体の撮像が指示されると(ステップS2A;YES)、CPU8は、処理をステップS29に移行させて、当該判定に係る画像データを取得して記録媒体3に記録保存させる。

0045

また、ステップS26にて、個人認識された顔が状態テーブルT1に登録されていないと判定されると(ステップS26;NO)、CPU8は、当該個人認識に係る人物が状態テーブルT1に未登録である旨(例えば、「この人物は登録されていません」等)を表示部4に表示させて報知する(ステップS2B)。
その後、CPU8は、処理をステップS2Aに移行させて、シャッターボタンが所定操作されたか否かを判定する。
なお、ステップS2Bにて、状態テーブルT1に未登録である旨の報知後に、当該未登録の人物のIDを新規に登録するようにしても良い。

0046

また、ステップS24にて、人物の顔が検出されていないと判定された場合や(ステップS24;NO)、ステップS21にて、自動撮影モードに設定されていないと判定された場合にも(ステップS21;NO)、CPU8は、処理をステップS2Aに移行させて、シャッターボタンが所定操作されたか否かを判定する。

0047

次に、テーブル更新処理について図6を参照して説明する。
図6は、テーブル更新処理に係る動作の一例を示すフローチャートである。

0048

図6に示すように、CPU8は、画像データを新規に取得したか否かを判定する(ステップS31)。
ここで、新規に取得したと判定されると(ステップS31;YES)、CPU8は、認識処理ルーチンにより、新規に取得した画像データに係る画像内の人物の顔を検出する。そして、CPU8は、何れかの画像から人物の顔を検出したと判定すると(ステップS32;YES)、当該顔を認識して個人(例えば、Aさん等)を特定する個人認識処理を行う(ステップS33)。

0049

次に、CPU8は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートT2を用いて笑顔度(例えば、大笑いに対応する笑顔度100等)を判定して特定する(ステップS34)。その後、CPU8は、特定した笑顔度を状態テーブルT1の笑顔度過去履歴に登録する(ステップS35)。

0050

その後、CPU8は、変更処理ルーチンにより、状態テーブルT1の笑顔度過去履歴に登録されている複数の笑顔度のうち、新しいものから直近4つの笑顔度、即ち、最新の画像データの笑顔度「A」、その一つ前の画像データの笑顔度「B」、さらに一つ前の画像データの笑顔度「C」、さらに一つ前の画像データの笑顔度「D」を取得する(ステップS36)。
続けて、CPU8は、これらの笑顔度「A」〜「D」の値を重み付け平均して、感度レベル2の現笑顔度を算出する(ステップS37)。
そして、CPU8は、笑顔度判定用テンプレートT2を用いて、感度レベル2の現笑顔度から感度レベル1及び3の現笑顔度を特定して、その特定された値を感度レベル1〜3の現笑顔度として上書きすることで、状態テーブルT1を更新する(ステップS38)。

0051

なお、ステップS31にて、画像データを新規に取得していないと判定された場合や(ステップS31;NO)、ステップS32にて、新規に取得した画像データに係る画像内から人物の顔が検出されなかった場合には(ステップS32;NO)、当該テーブル更新処理を終了する。

0052

以上のように、本実施形態の撮像装置100によれば、自動撮影処理を行うものであって、撮像部1により撮像される人物の顔の笑顔度と、ユーザ所望の感度レベルと状態テーブルT1に対応付けられている当該人物の顔の現笑顔度とを比較判定して、現笑顔度を超えていると判定された人物の顔の笑顔度に基づいて、当該自動撮影処理の実行判定に係る状態テーブルT1の現笑顔度と感度レベルの対応関係を更新する。
即ち、撮像装置100は、撮像部1により撮像される人物の顔の笑顔度が、状態テーブルT1の現笑顔度を超えたと判定された場合に、当該判定に係る画像データを記録保存する自動撮影処理を実行する。そして、状態テーブルT1に登録されている、自動撮影処理にて新規に記録保存された画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルT1の現笑顔度と感度レベルとの対応関係を更新するので、その後の自動撮影処理の実行判定において、人物の笑顔の状態を考慮して自動撮影処理を適正に行うことができる。つまり、自動撮影処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で自動撮影条件を判定して、自動撮影処理を適正に行うことができる。
特に、状態テーブルT1の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して自動撮影条件を判定することができる。
このように、自動撮影処理をより適正に行うことができ、撮像装置100の使い勝手を向上させることができる。

0053

また、状態テーブルT1は、複数の感度レベルの各々と複数の人物の現笑顔度の各々とが対応付けられており、複数の感度レベルの中で、ユーザにより指定された何れか一の感度レベルと対応付けられている人物の現笑顔度と、新規に取得した画像内の人物の笑顔度とを比較判定するので、自動撮影を適正に行うことができない場合等に、感度レベルを変更することができ、より使い勝手の良い撮像装置100を提供することができる。

0054

また、ステップS28にて、笑顔度が現笑顔度を超えていないと判定されて(ステップS28;NO)、自動撮影が実行されない場合であっても、ステップS2Aにて、ユーザによるシャッターボタンの所定操作に基づいて被写体を撮像して、画像データを記録媒体3に記録保存することができるので、自動撮影を適正に行うことができない場合等に感度レベルを変更することなく所望の被写体の撮像を適正に行うことができる。
さらに、当該被写体の撮像により新規に取得した当該画像データの笑顔度に基づいて、状態テーブルT1の現笑顔度と感度レベルの対応関係を更新することができる。即ち、自動撮影処理にて取得された画像データだけでなく、ユーザによる手動撮影指示に基づいて取得された画像データの笑顔度も考慮して、状態テーブルT1の現笑顔度と感度レベルの対応関係を更新することができるため、より使い勝手の良い撮像装置100を提供することができる。

0055

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像関連処理として、複数の画像データの中から検索対象と類似する所望の画像データを特定する検索処理を行う場合について、以下の変形例1に説明する。

0056

<変形例1>
以下に、変形例1の撮像装置について、図7及び図8を参照して説明する。
なお、変形例1の撮像装置は、検索処理を行う以外の点で上記実施形態の撮像装置100と略同様の構成をなし、その説明は省略する。

0057

記録媒体3は、画像記憶手段として、複数の画像ファイルを記憶している。ここで、画像ファイルは、例えば、撮像部1による対象物の撮像により生成されたものであっても良いし、外部機器から所定の通信手段を介して転送されたものであっても良い。

0058

プログラムメモリに記憶されるプログラムは、認識処理ルーチン、特定処理ルーチン、判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンに加えて、画像検索処理ルーチンを含んでいる。
画像検索処理ルーチンは、CPU8を画像検索手段として機能させるためのプログラム部分である。即ち、画像検索処理ルーチンは、記録媒体3に記憶されている複数の画像ファイルの中で所望の画像ファイルを特定する検索処理に係る機能をCPU8に実現させるための命令群を含む。
具体的には、この画像検索処理ルーチンにより、CPU8は、判定処理による判定結果に応じて、複数の画像ファイルの中の何れかの画像ファイルを所望の画像ファイルとして特定するか否かを制御する。例えば、CPU8は、特定処理にて特定された検索候補画像内の人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルT1に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定する一方で、検索候補画像の人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定しない。

0059

次に、検索処理について図7及び図8を参照して説明する。
図7及び図8は、撮像装置による検索処理に係る動作の一例を示すフローチャートである。

0060

図7に示すように、CPU8は、画像検索モードに設定されているか否かを判定する(ステップS101)。
ここで、検索モードに設定されていると判定されると(ステップS101;YES)、CPU8は、検索処理の感度レベルの変更指示が入力されているか否かを判定する(ステップS102)。そして、ステップS102にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル2からレベル1に変更する等の指示が入力されていると判定されると(ステップS102;YES)、CPU8は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う(ステップS103)。

0061

次に、CPU8は、検索処理の検索対象の変更指示が入力されているか否かを判定する(ステップS104)。また、ステップS102にて、感度レベルの変更指示が入力されていないと判定された場合にも(ステップS102;NO)、CPU8は、処理をステップS104に移行させる。
そして、ステップS104にて、検索対象の変更指示が入力されていると判定されると(ステップS104;YES)、CPU8は、入力された検索対象の変更指示に応じて検索対象を設定する処理を行う(ステップS105)。

0062

続けて、CPU8は、ユーザによる操作入力部5の所定操作に基づいて検索開始の指示が入力されたか否かを判定する(ステップS106)。また、ステップS104にて、検索対象の変更指示が入力されていないと判定された場合にも(ステップS104;NO)、CPU8は、処理をステップS106に移行させる。
ここで、検索開始の指示が入力されたと判定されると(ステップS106;YES)、CPU8は、認識処理ルーチンにより、記録媒体3に記憶されている複数の画像ファイルの中から何れか一の検索候補の画像ファイルを新規に取得した後、当該画像ファイルに係る検索候補画像内の人物の顔を検出する。そして、CPU8は、検索候補画像から人物の顔を検出したと判定すると(ステップS107;YES)、当該顔を認識して個人(例えば、Aさん等)を特定する個人認識処理を行う(ステップS108)。

0063

図8に示すように、その後、CPU8は、個人認識された顔が状態テーブルT1に登録されているか否かを判定する(ステップS109)。
ここで、状態テーブルT1に登録されていると判定されると(ステップS109;YES)、CPU8は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートT2を用いて笑顔度を判定して特定する(ステップS10A)。

0064

続けて、CPU8は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル(例えば、レベル1)と状態テーブルT1に対応付けられている人物の顔の現笑顔度(例えば、Aさんの場合、笑顔度50)とを比較して、笑顔度が現笑顔度を超えたか否かを判定する(ステップS10B)。
ここで、笑顔度が現笑顔度を超えたと判定されると(ステップS10B;YES)、CPU8は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と一致すると判定して、所望の画像として特定する(ステップS10C)。そして、CPU8は、当該検索結果として所望の画像を表示部4に表示させる(ステップS10D)。

0065

一方、ステップS10Bにて、笑顔度が現笑顔度を超えていないと判定されると(ステップS10B;NO)、CPU8は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と不一致であると判定する(ステップS10E)。

0066

また、ステップS109にて、個人認識された顔が状態テーブルT1に登録されていないと判定された場合や(ステップS109;NO)、ステップS107にて、人物の顔が検出されていないと判定された場合や(ステップS107;NO)、ステップS106にて、検索開始の指示が入力されていないと判定された場合や(ステップS106;NO)、ステップS101にて、画像検索モードに設定されていないと判定された場合にも(ステップS101;NO)、CPU8は、当該検索処理を終了させる。

0067

なお、CPU8は、上記の認識処理、特定処理、判定処理、画像検索処理を、記録媒体3に記憶されている複数の画像ファイルの各々について順次実行する。

0068

テーブル更新処理は、上記実施形態と同様に、新規に画像を取得する毎に実行されるため、その詳細な説明は省略する。

0069

従って、変形例1の撮像装置によれば、自動撮影処理等により画像データを新規に取得した場合に、当該画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルT1の現笑顔度と感度レベルとの対応関係を更新するので、その後の検索処理の実行判定において、人物の笑顔の状態を考慮して検索処理を適正に行うことができる。
つまり、検索処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で検索条件を判定して、検索処理を適正に行うことができる。
特に、状態テーブルT1の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルT1の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して検索条件を判定することができる。
このように、検索処理をより適正に行うことができ、撮像装置の使い勝手をより向上させることができる。

0070

なお、上記変形例1にあっては、画像記憶手段として、記録媒体3を例示したが、これに限られるものではなく、内蔵メモリ7に複数の画像データを記憶するようにしても良い。

0071

また、上記変形例1にあっては、検索処理により特定された所望の画像ファイルに係る画像を表示部4に表示させるようにしたが、これに限られるものではなく、所望の画像ファイルを記録媒体3や内蔵メモリ7の所定のフォルダ(図示略)に格納するようにしても良い。

0072

なお、上記実施形態にあっては、ステップS27、S34、S10Aにて、人物の顔の笑顔度の判定に笑顔度判定用テンプレートT2を用いるようにしたが、笑顔度の判定方法はこれに限られるものではなく、例えば、目や口の変化度合から判定するようにしても良い。
即ち、例えば、当該笑顔度の判定に係る人物の全ての画像をチェックして、目や口の座標の最大変位(差分)を算出して、変化の大きかった人を表情の豊かな人とし、変化の少なかった人を表情の乏しい人として、個別に感度レベル1〜3に対応する笑顔度を設定するようにしても良い。
また、予め各人物の笑った顔を複数撮影しておき、これらの中から基準となる画像を感度レベル1〜3と対応付けて設定するようにしても良い。

0073

また、上記実施形態にあっては、画像関連処理として、自動撮影処理及び検索処理を例示したが、これらに限られるものではなく、撮像装置、画像検索装置等の画像処理装置により行われる画像関連処理であれば如何なるものであっても良い。

0074

さらに、上記実施形態にあっては、画像関連処理に係る対象物の基準状態として人物の顔の表情、特に、笑顔度を例示したが、対象物の基準状態はこれに限られるものではなく、例えば、目や顔の向き、姿勢等に基づいて規定されていても良い。
また、対象物として人物、特に、人物の顔を例示したが、これらに限られるものではない。
なお、上記の場合にあっては、対象物の種類、例えば、目や顔の向き、姿勢等に対応させて状態テーブルを各々設けるようにしても良い。これにより、人物の笑顔度、目や顔の向き、姿勢等の複数の判定条件の中で、ユーザ所望の条件に切り換えて画像関連処理を実行することができる。

0075

さらに、上記実施形態にあっては、自動撮影処理や検索処理における実行判定の感度レベルをユーザ所望のレベルに設定するようにしたが、これに限られるものではなく、所定の感度レベルで一律に固定されていても良い。

0076

また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
さらに、画像処理装置として、撮像装置100を例示したが、これに限られるものではなく、画像関連処理を行うものであれば画像検索装置等の他の画像処理装置であっても良い。

0077

加えて、上記実施形態では、特定手段、判定手段、変更手段、自動撮影制御手段、画像検索手段としての機能を、CPU8によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。

図面の簡単な説明

0078

本発明を適用した実施形態1の撮像装置の概略構成を示すブロック図である。
図1の撮像装置による自動撮影処理に係る状態テーブルT1の一例を模式的に示す図である。
図1の撮像装置による自動撮影処理に係る笑顔度判定用テンプレートT2の一例を模式的に示す図である。
図1の撮像装置によるメイン動作の一例を示すフローチャートである。
図1の撮像装置による自動撮影処理に係る動作の一例を示すフローチャートである。
図1の撮像装置によるテーブル更新処理に係る動作の一例を示すフローチャートである。
変形例1の撮像装置による検索処理に係る動作の一例を示すフローチャートである。
図7の検索処理の続きを示すフローチャートである。

符号の説明

0079

100撮像装置
1撮像部
3記録媒体
5操作入力部
8 CPU

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ