図面 (/)

技術 画像コレクション間の接続の形成

出願人 イーストマンコダックカンパニー
発明者 ギャラガー,アンドリューチャールズ
出願日 2007年4月2日 (12年3ヶ月経過) 出願番号 2009-504261
公開日 2009年9月17日 (9年10ヶ月経過) 公開番号 2009-533725
状態 特許登録済
技術分野 検索装置 イメージ処理・作成 計算機におけるファイル管理
主要キーワード ラベル付け装置 離散分布 成分関数 確率ネットワーク ブロックポート 幾何学的形 ジェニファー 条件付き分布
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2009年9月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題・解決手段

2つの画像コレクションの間の接続を確立する方法であって、この方法は、第1のユーザーからの第1の画像コレクションを用意するステップと;異なる第2のユーザーからの第2の画像コレクションを用意するステップと;第1の画像コレクションと第2の画像コレクションを分析してその第1の画像コレクションと第2の画像コレクションの間の類似度スコアを生成させるステップと;その類似度スコアに基づき、第1のユーザーと第2のユーザーの間で画像またはコレクション・データを共有するためのリンクを確立するステップを含んでいる。

概要

背景

ディジタル写真出現に伴い、消費者ディジタル画像ビデオを大量に抱えるようになっている。1人の人がディジタルカメラ撮影する画像の平均数は、年々増加している。その結果、その典型的な消費者にとって、画像とビデオの整理と検索がすでに問題となっている。現在のところ、典型的な消費者が撮影したディジタル画像の撮影期間はほんの数年である。整理と検索の問題は、ディジタル画像とビデオがたまる期間が長くなるにつれて大きくなり続けるであろう。

画像コレクションユーザーは、自分の画像コレクションを他のユーザーと共有することを望んでいる。しかしユーザーが友人近親者から画像を見たいという要求に対処するのは難しい可能性がある。アメリカ合衆国特許公開2006/0048059A1においてEtkinは、ユーザーが、あるオンラインコミュニティメンバーであるシステムを記載している。一人のユーザーは多数の人との接触があり、それぞれの人は、それに付随する関係リンク強度を有する。関係リンク強度は、一部が画像内のタグから決定される。タグは、例えば人名にすることができる。このシステムは、名前が、興味の対象となる人物を特定するフル・ネームであるときには十分なものであろう。しかしタグがファースト・ネームである場合には、一致する可能性のあるファースト・ネームは多数ある(例えば2004年だけで“エミリー”という名前の新生児が24,000以上誕生した)。したがってEtkinの方法がうまくいくためには、多数のメンバーがいるどのオンライン・コミュニティであれ、画像内の個人を積極的に特定するタグ(例えばフル・ネーム、社会保険の番号、電話番号、e-メールのアドレスなど)に頼る必要があろう。Etkinの方法では、関係リンク強度を決定するのに画像とビデオに含まれる大量の情報を利用していない。

さらに、ユーザーは、唯一物体(例えば興味の対象である人物)を含む画像とビデオを見つけることを望んでいる。ユーザーは、興味の対象である唯一の物体を含む画像とビデオを見つけるために手作業で面倒な検索作業を実施する可能性がある。ユーザーは、あとから検索できるようにするため、利用可能な市販のソフトウエア(例えばアドビー社のアルバム)によって画像にラベルを付けてその画像内の人を示すことが可能だが、最初にラベルを付けるプロセスは非常に退屈で時間を消費する。さらに、そもそも多くのユーザーは自分の画像コレクションにラベルを付けることはなかろう。一人のユーザーが時間を使って自分の画像コレクションにラベルを付けたとしても、友人のラベルなしの画像コレクションから関係する画像を見つけるのは困難である可能性がある。

概要

2つの画像コレクションの間の接続を確立する方法であって、この方法は、第1のユーザーからの第1の画像コレクションを用意するステップと;異なる第2のユーザーからの第2の画像コレクションを用意するステップと;第1の画像コレクションと第2の画像コレクションを分析してその第1の画像コレクションと第2の画像コレクションの間の類似度スコアを生成させるステップと;その類似度スコアに基づき、第1のユーザーと第2のユーザーの間で画像またはコレクション・データを共有するためのリンクを確立するステップを含んでいる。

目的

本発明の1つの目的は、2つの画像コレクションの間に接続を確立する方法を提供することである。

効果

実績

技術文献被引用数
2件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

2つの画像コレクションの間の接続を確立する方法であって、a)第1のユーザーからの第1の画像コレクションを用意するステップと;b)異なる第2のユーザーからの第2の画像コレクションを用意するステップと;c)第1の画像コレクションと第2の画像コレクションを分析してその第1の画像コレクションと第2の画像コレクションの間の類似度スコアを生成させるステップと;d)その類似度スコアに基づき、第1のユーザーと第2のユーザーの間で画像またはコレクション・データを共有するためのリンクを確立するステップを含む方法。

請求項2

ステップd)に、両方の画像コレクションにアクセスする一方のユーザー、または両方の画像コレクションにアクセスする両方のユーザーが含まれる、請求項1に記載の方法。

請求項3

ステップc)に、i)第1の画像コレクションと第2の画像コレクションから唯一物体を検出するステップと;ii)第1の画像コレクションからの唯一の物体が第2の画像コレクションにも現われる確率を決定するステップと;iii)その決定された確率に基づいて上記類似度スコアを生成させるステップが含まれる、請求項1に記載の方法。

請求項4

ステップc)に、検出された唯一の物体のタイプに基づいて重みを発生させ、その重みと上記確率を用いて上記類似度スコアを生成させる操作が含まれる、請求項3に記載の方法。

請求項5

ステップc)に、少なくとも1つの画像コレクションからの少なくとも1つの画像の画像取得時刻または画像取得場所を用いて上記類似度スコアを生成させる操作が含まれる、請求項1に記載の方法。

請求項6

ステップc)に、上記画像コレクションのうちの少なくとも一方からのラベルを用いる操作がさらに含まれる、請求項1に記載の方法。

請求項7

上記ラベルが一人の人物に付けられた名前である、請求項1に記載の方法。

請求項8

ステップc)ii)に、少なくとも1つの画像コレクションからの少なくとも1つの画像の画像取得時刻または画像取得場所を用いる操作が含まれる、請求項3に記載の方法。

請求項9

ステップc)ii)に、第1の画像コレクションからの少なくとも1つの画像と第2の画像コレクションからの1つの画像の間の時間差を計算する操作が含まれる、請求項8に記載の方法。

請求項10

ステップc)ii)に、第1の画像コレクションからの少なくとも1つの画像の画像取得場所と第2の画像コレクションからの1つの画像の画像取得場所の間の距離または推定移動時間を計算する操作が含まれる、請求項8に記載の方法。

請求項11

ステップc)ii)に、上記画像コレクションの少なくとも1つからのラベルを用いて上記類似度スコアを生成させる操作が含まれる、請求項3に記載の方法。

請求項12

上記ラベルが一人の人物に付けられた名前である、請求項11に記載の方法。

請求項13

ステップc)ii)に、個別物体に付随する特徴を生成させ、第1の画像コレクションからの唯一の物体が第2の画像コレクションにも現われる確率をその生成された特徴に基づいて決定する操作が含まれる、請求項3に記載の方法。

請求項14

ステップc)ii)に、上記画像コレクションの少なくとも1つからの唯一の物体に付随するラベルを用いる操作が含まれる、請求項13に記載の方法。

請求項15

上記ラベルが一人の人物に付けられた名前であり、上記唯一の物体が人の顔である、請求項14に記載の方法。

請求項16

生成された上記特徴が顔の幾何学的形状に関係している、請求項15に記載の方法。

請求項17

ステップc)ii)に、第1の画像コレクションからの唯一の物体に付随する少なくとも1つのラベルと、第2の画像コレクションからの唯一の物体に付随する1つのラベルとを使用し、第1の画像コレクションからの唯一の物体が第2の画像コレクションにも現われる確率をそのラベルに基づいて決定する操作が含まれる、請求項13に記載の方法。

請求項18

上記ラベルが一人の人物に付けられた名前であり、上記唯一の物体が人の顔である、請求項17に記載の方法。

請求項19

ステップd)が、1つ以上の共有規則にも基づいている、請求項1に記載の方法。

請求項20

ステップc)に、i)第1の画像コレクションの中で少なくとも1つの唯一の物体を検出するステップと;ii)その個別物体に付随する特徴を生成させるステップと;iii)その特徴と、第2の画像コレクションの分析とに基づいて上記類似度スコアを生成させるステップを含む、請求項1に記載の方法。

請求項21

第1の画像コレクションからの少なくとも1つの唯一の物体のためのラベルを用意し、そのラベルと、上記特徴と、第2の画像コレクションの分析とに基づいて上記類似度スコアを生成させる、請求項20に記載の方法。

請求項22

上記ラベルが一人の人物に付けられた名前であり、上記唯一の物体が人の顔である、請求項21に記載の方法。

請求項23

上記ラベルが一人の人物のファーストネームである、請求項22に記載の方法。

技術分野

0001

本発明は、全体として、画像処理と、画像コレクションユーザー間共有リンク形成の分野に関する。

背景技術

0002

ディジタル写真出現に伴い、消費者ディジタル画像ビデオを大量に抱えるようになっている。1人の人がディジタルカメラ撮影する画像の平均数は、年々増加している。その結果、その典型的な消費者にとって、画像とビデオの整理と検索がすでに問題となっている。現在のところ、典型的な消費者が撮影したディジタル画像の撮影期間はほんの数年である。整理と検索の問題は、ディジタル画像とビデオがたまる期間が長くなるにつれて大きくなり続けるであろう。

0003

画像コレクションのユーザーは、自分の画像コレクションを他のユーザーと共有することを望んでいる。しかしユーザーが友人近親者から画像を見たいという要求に対処するのは難しい可能性がある。アメリカ合衆国特許公開2006/0048059A1においてEtkinは、ユーザーが、あるオンラインコミュニティメンバーであるシステムを記載している。一人のユーザーは多数の人との接触があり、それぞれの人は、それに付随する関係リンク強度を有する。関係リンク強度は、一部が画像内のタグから決定される。タグは、例えば人名にすることができる。このシステムは、名前が、興味の対象となる人物を特定するフル・ネームであるときには十分なものであろう。しかしタグがファースト・ネームである場合には、一致する可能性のあるファースト・ネームは多数ある(例えば2004年だけで“エミリー”という名前の新生児が24,000以上誕生した)。したがってEtkinの方法がうまくいくためには、多数のメンバーがいるどのオンライン・コミュニティであれ、画像内の個人を積極的に特定するタグ(例えばフル・ネーム、社会保険の番号、電話番号、e-メールのアドレスなど)に頼る必要があろう。Etkinの方法では、関係リンク強度を決定するのに画像とビデオに含まれる大量の情報を利用していない。

0004

さらに、ユーザーは、唯一物体(例えば興味の対象である人物)を含む画像とビデオを見つけることを望んでいる。ユーザーは、興味の対象である唯一の物体を含む画像とビデオを見つけるために手作業で面倒な検索作業を実施する可能性がある。ユーザーは、あとから検索できるようにするため、利用可能な市販のソフトウエア(例えばアドビー社のアルバム)によって画像にラベルを付けてその画像内の人を示すことが可能だが、最初にラベルを付けるプロセスは非常に退屈で時間を消費する。さらに、そもそも多くのユーザーは自分の画像コレクションにラベルを付けることはなかろう。一人のユーザーが時間を使って自分の画像コレクションにラベルを付けたとしても、友人のラベルなしの画像コレクションから関係する画像を見つけるのは困難である可能性がある。

発明が解決しようとする課題

0005

本発明の1つの目的は、2つの画像コレクションの間に接続を確立する方法を提供することである。

課題を解決するための手段

0006

この目的は、2つの画像コレクションの間の接続を確立する方法であって、
a)第1のユーザーからの第1の画像コレクションを用意するステップと;
b)異なる第2のユーザーからの第2の画像コレクションを用意するステップと;
c)第1の画像コレクションと第2の画像コレクションを分析してその第1の画像コレクションと第2の画像コレクションの間の類似度スコアを生成させるステップと;
d)その類似度スコアに基づき、第1のユーザーと第2のユーザーの間で画像またはコレクション・データを共有するためのリンクを確立するステップを含む方法によって実現される。

発明の効果

0007

本発明は、ユーザーが、似た内容を含む画像コレクション同士をリンクすることを可能にするという利点を有する。本発明の1つの特徴は、リンクされた画像コレクションの間に存在する唯一の物体を分類することが可能であるため、その画像コレクションを容易に検索できることである。

発明を実施するための最良の形態

0008

本発明の主題を図面を参照して説明する。

0009

以下の説明では、本発明のいくつかの実施態様をソフトウエア・プログラムとして説明する。当業者であれば、このような方法と同等なものを本発明の範囲でハードウエアまたはソフトウエアとしても構成できることが容易にわかるであろう。

0010

画像処理アルゴリズム画像処理システムはよく知られているため、ここでの説明は、特に、本発明の方法の一部を形成するか、本発明の方法とより直接的に協働するアルゴリズムとシステムに向けることにする。このようなアルゴリズムとシステムの他の側面と、それに関係する画像信号を生成させたり処理したりするハードウエアまたはソフトウエアでこの明細書において特に示したり説明したりしないものは、従来技術で知られているそのようなシステム、アルゴリズム、部品、要素の中から選択することができる。以下になされている説明からわかるように、こうしたことを具体化するあらゆるソフトウエアはありふれたものであり、当業者の能力範囲内である。

0011

カメラのユーザーは、ディジタル画像とビデオの大量のコレクションを所有している。一人の撮影者がディジタル・カメラで撮影する画像の平均数は毎年増加し続けている。その結果、画像とビデオの整理と検索は、典型的な消費者にとってすでに問題になっている。この明細書では、“画像コレクション”という用語は、ある一人のユーザーの画像とビデオのコレクションを意味する。便宜上、“画像”という用語は、画像だけ、ビデオだけの両方を意味する。ビデオは、音声と、ときにテキストとを伴った画像のコレクションである。

0012

コレクションの中の画像とビデオはメタデータを含んでいることがしばしばある。画像メタデータは、画像に関する情報(例えばその取得画像画像取得時刻露出時間、焦点距離地理的場所(例えば経度緯度所在地、場所または名称))である。また、メタデータはラベルも含むことができる。これについてはあとでより詳しく説明する。

0013

ユーザーの画像コレクションは多数ある記憶場所のどこに記憶させてもよい(例えばパーソナルコンピュータ(PC)、コンピュータ・サーバ、ディジタル・カメラ、CD-ROMやDCVといった媒体ウェブ上のさまざまなホスト(例えばシャッターフライコダック社のイージーシェアギャラリー))。1つの画像コレクションを多数の記憶場所に分散させることができる。例えばユーザーの画像の半数はディジタル・カメラ付き電話に、残りの半数はコンピュータのハードドライブに存在することができる。画像コレクションの部分ごとに2つの場所に記憶させることができる。例えばユーザーは、自分の全画像を自分のハード・ドライブに所有するとともに、これらの画像のうちの10%をコダック社のイージーシェア・ギャラリーにも持つことができる。図1に示してあるように、N人の異なるユーザーからのN個の画像コレクションの集合は、一般に、通信網100(例えばインターネット)を通じてアクセスすることができる。

0014

画像コレクションを共有することがユーザーに知られている。例えばコダック社のイージーシェア・ギャラリーでは、メンバーが、友人となるように招待した友人にe-メールを送り、そのメンバーの画像コレクションの全体または一部が見られるようにすることができる。画像をこのように共有するには、2人のユーザーの間にリンクを形成する必要がある。

0015

それぞれの画像コレクションは、その画像コレクション全体に関する追加のコレクション情報も含むことができる。このコレクション情報は、そのコレクションを所有するユーザーの名前、個人情報コンタクト情報注文履歴、画像とビデオの表示の好みなどを含むことができる。このコレクション情報は、製品またはサービスを注文するためのクレジットカード情報を含むことができる。

0016

図2では、コレクション制御装置802に画像コレクション102とそれに付随するコレクション情報103が入力される。コレクション制御装置802の目的は、互いに関連した画像コレクション102の間の接続またはリンクを確立することである。この目的のため、コレクション制御装置802は、画像コレクション102相互間にリンクのコレクション105を生成させる。それぞれの画像コレクション102は、他の0個、1個、2個、またはそれ以上の個数の画像コレクション102と“リンク”させることができる。

0017

画像コレクション102間のリンクにより、画像コレクション102内の画像とビデオの共有が容易になる。ユーザーにとって、自分の画像コレクション102からの画像とビデオの一部または全部を他のユーザーと共有することが一般的な願いである。ユーザー(共有者)は、そのユーザーの画像コレクション102とリンクしている画像コレクションのユーザーのリストから、画像を共有する一人以上の人を選択することができる。コレクション情報103は、画像コレクション102からの画像およびビデオと同様、他のユーザーと共有することができる。画像コレクション102間のリンクは、物体と人物を認識するタスクも容易にする。これについてはあとで説明する。画像コレクション102またはコレクション情報103が受取人と共有されているとき、その受取人はそのデータを利用することが許される。したがって“許される”と“共有される”という用語は、この明細書では似た意味を持つ。画像コレクション間のリンクは、互いにリンクされた画像コレクション102間で画像またはコレクション情報を明確にするための接続を確立する。

0018

リンクのコレクション105は、通常は、要素の値が集合{0, 1}の中から選択されたlij(0正方行列L(N×N。ただしNは画像コレクション102の数である)で表わされる。lij = 0である場合には、i番目の画像コレクションはj番目の画像コレクションとリンクされていない。lij = 1である場合には、i番目の画像コレクションはj番目の画像コレクションとリンクされている。言い換えると、i番目の画像コレクションからの画像とビデオは、j番目の画像コレクションのユーザーと共有される(すなわちそのユーザーによってアクセスされる)。この行列の各行nは、i番目の画像コレクションとリンクされている画像コレクションを示す。

0019

リンクのコレクション105の一例は、画像コレクションが4つある場合には、



である。第1の画像コレクションは第2および第3の画像コレクションとリンクされ、第2の画像コレクションは第1および第4の画像コレクションとリンクされ、第3の画像コレクションは第1の画像コレクションとリンクされ、第4の画像コレクション第2の画像コレクションとリンクされている。この行列の対角項は1である。なぜなら各画像コレクション102は本来的に自分自身とリンクされているからである。行列Lは、中心の場所に(例えば図1の通信網100の中に、またはイージーシェア・ギャラリーによって)記憶させることができる。あるいは各画像コレクション102は、行列Lの関連する行と列を付随するコレクション情報103の中に記憶させることができる(例えばk番目の画像コレクション102は、付随するコレクション情報103の中に、行列Lのk番目の行とk番目の列を記憶させることができる)。さらに、多数の画像コレクション102が存在しているイージーシェア・ギャラリーなどのシステムでは、各画像コレクション102は、付随するコレクション情報103の中に、その画像コレクション102にリンクしている画像コレクション102がどれであるかや、その画像コレクション102によってリンクされる画像コレクション102がどれであるかを記憶していることが好ましい。これは、行列Lから1つの行と1つの列を記憶させるのと同じ情報を表わしているが、一般によりコンパクト表現である(すなわち使用されるメモリがより少ない)。

0020

行列Lは対称であることが好ましい。実際には、対称な行列Lとは、lij = ljiであるため、j番目のコレクションがi番目のコレクションとリンクしているとき、i番目のコレクションはやはりj番目のコレクションともリンクしていることを意味する。

0021

画像コレクション102間のリンクは、この明細書では存在しているか存在していないか(すなわち二値存在)として説明しているが、行列は、例えば0以上1.0以下の要素からなるようにすることができよう。これは、画像コレクション102と、付随する強度または確率との間にリンクがあることを示す。2つの画像コレクション102間のリンクの強さは、1つの画像コレクションのユーザーが別の画像コレクションのユーザーよりも優先される程度を意味する。例えば0番目の画像コレクションのユーザーは、i番目の画像コレクションの低解像度(例えば640×480画素バージョンにアクセスすることができる。lijがより大きな値では、j番目の画像コレクションのユーザーは、i番目の画像コレクションのより高解像度のバージョンにアクセスすることができる。

0022

コレクション制御装置802は、リンクのコレクション105を確立するための多数ある方法のうちの任意の方法を利用する。これらの方法は、それぞれのコレクション情報103に記憶されている共有規則組合わさって機能する。共有規則により、画像コレクションの間にリンクを形成する方法が簡単になる。共有規則は、画像コレクションのユーザーがプライバシーを保護する(すなわち許されていない第三者が画像コレクション102にアクセスすることを阻止する)のに利用することもできる。

0023

2つの画像コレクション102の間のリンクを確立する第1の方法を図3に示してある。ステップ107では、画像コレクションのユーザーAが画像コレクションのユーザーBに要求を送る。ステップ109では、画像コレクションのユーザーBがその要求に答える。ステップ111では、ステップ109からの応答に基づいて画像コレクションAとBの間に適切なリンクが形成される。

0024

ステップ107における要求は、多数ある形態のうちの任意の形態を取ることができる。例えば要求としては、以下のようなものが可能である:
「私(画像コレクションのユーザーA)は自分の画像コレクションをあなた(画像コレクションのユーザーB)と共有するつもりですが、それはあなたがあなた自身の画像コレクションを私と共有するときだけです。」
「私(画像コレクションのユーザーA)は自分の画像コレクションをあなたと共有するつもりです。」
「私(画像コレクションのユーザーA)は、あなた(画像コレクションのユーザーB)があなた自身の画像コレクションを私と共有することをお願いします。」

0025

要求は、従来技術で知られている任意の方法で画像コレクションBのユーザーに送信することができる。例えば要求をe-メールを通じて送ること、インターネットを通じて送ること、携帯電話に送ること、カメラに送ること、アメリカ合衆国郵政公社を通じて送ることなどができる。

0026

ステップ109では、Bは、要求を読むか聴くかすることによって手動で応答した後、その要求を受け入れるか拒絶する。応答は、コレクション情報103の一部である供給規則に基づいて自動的に生成させることができる。例えばBは、以下の共有規則のうちの任意のものを持つことができる:
共有要求をすべて拒絶する。
共有要求をすべて受け入れる。
私と共有したがっている人の要求をすべて受け入れる。
以下のリストからの人(ジム、トム、ジェニー愛称ギャラガーという誰か)の要求をすべて受け入れる。

0027

共有規則が具体的な要求に特に当てはまらない場合には、画像コレクションのユーザー(B)が応答を決めることができる。

0028

ステップ111では、ステップ107からの要求とステップ109からの応答とに基づいて適切なリンクが形成される。例えば要求が、
「私(画像コレクションのユーザーA)は自分の画像コレクションをあなた(画像コレクションのユーザーB)と共有するつもりですが、それはあなたがあなた自身の画像コレクションを私と共有するときです。」であり、画像コレクションのユーザーBからの応答がその要求を受け入れるのであれば、行例Lの要素labとlbaが1にされる。

0029

当業者であれば、要求ステップ107と応答ステップ109では、同じ目的を達成するのにさまざまな単語、、ステップを使用できることがわかるであろう。また、すでに説明したように、要求ステップと応答ステップには、簡単にするためコレクションのユーザーが2人だけ関係している。任意の数のコレクションのユーザーが関係する要求を生成させることができる。例えば、
「私(画像コレクションのユーザーA)は自分の画像コレクションをあなた(画像コレクションのユーザーBとC)と共有するつもりですが、それはあなた(画像コレクションのユーザーBとCの両者)があなた自身の画像コレクションを私と共有するとともに全員で共有するときです。」

0030

図4は、コレクション制御装置802の別の一実施態様を示している。この実施態様では、画像コレクション102の画像とビデオがコレクション情報103とともに調べられ、画像コレクション102の間にリンクが確立される。コレクション制御装置802は、画像コレクション102からの画像とビデオを、その画像コレクション102に付随するコレクション情報103とともに分析し、画像コレクション102のリンクに用いる類似度スコアを生成させる。コレクション比較装置113は、画像コレクション102とそれに付随するコレクション情報103のペアを比較し、2つの画像コレクションの間の内容の類似度を示す類似度スコア行列115を生成させる。この類似度スコア行列SはN×N行列(ただしNは画像コレクション102の数である)であり、要素sij(0i番目の画像コレクションのユーザーとj番目の画像コレクションのユーザーが自分たちの画像コレクションを互いに共有することに興味を持つであろう確率を示す。コレクション比較装置113についてはあとでより詳しく説明する。

0031

類似度スコア行列115はリンカー117に送られる。リンカー117はその類似度スコア行列の類似度スコアを調べる。要素sijが閾値T0よりも大きいときには(i番目の画像コレクションのユーザーとj番目の画像コレクションのユーザー自分たちの画像コレクションを互いに共有することに興味を持つであろう公算が大きいことを示す)、いくつかの機能のうちの1つが実行される。好ましい一実施態様では、「あなたの画像コレクションが(コレクションjのユーザー)とリンクされることを望みますか?」という要求がコレクションiのユーザーに送られ、それと同様の要求がコレクションjのユーザーに送られる。両方のユーザーがその要求を受け入れると、リンクがコレクションの間に確立される(すなわちlij = lji = 1)。上に説明したように、コレクション情報103に記憶されている共有規則を利用して要求に対する応答を自動的に供給すること、またはその要求に対する応答を画像コレクションの所有者が手動で決定することができる。要求に対する応答が手動で送られようと自動的に送られようと、その応答によってユーザーは、似た内容または似た唯一の物体が含まれている可能性のある2つの画像コレクション102を特定することができる。一方のユーザーが要求を他方のユーザーに(手動または自動で)送り、そのユーザーがその要求に(手動または自動で)応答するとき、その二人のユーザーは、似た内容または似た唯一の物体が含まれている可能性のある2つの画像コレクション102を特定するのに協力したことになる。

0032

別の一実施態様では、リンカー117は、sijがT0よりも大きいときに画像コレクションiとjの間に自動的にリンクを確立する。T0 = 0.975であることが好ましい。

0033

まとめると、リンカー117は、画像コレクションの間のリンクを要求するステップと、要求に対する応答を許可するステップと、適切なリンクを形成するステップを実施する。

0034

図5は、図4からのコレクション比較装置113のより詳細な図である。この実施態様では、コレクション比較装置113は、画像コレクション102の間の共通性探す仮定は、共通する唯一の物体を含む画像コレクションのユーザーは、自分たちの画像コレクション102の間のリンクを確立することを望む可能性が、共通する唯一の物体なしの画像コレクション102のユーザーよりも大きいというものである。唯一の物体は、1つだけ存在している物体である。例えばそれぞれの人は誰でも唯一の物体である。自動車モデル(例えば1998年型フォードウインドスター)は多数存在しているため唯一の物体ではないが、特定のフォード・ウインドスター(すなわちホリー・ギャラガーのフォード・ウインドスター)は唯一の物体である。唯一の物体が2つ以上の画像コレクション102の中に現われるとき、その画像コレクションのユーザーは自分たちの画像コレクションを共有しようとする可能性が大きくなる。例えば2つの画像コレクションがそれぞれジェニファーアンダーソンの画像を含んでいれば、その画像コレクション102のユーザーは個人的なつながりがあり(例えば両者がジェニファーの友人である、そしておそらく3人とも友人でもある)、自分たちの画像コレクション102の間にリンクを確立しようとするであろう。説明のため、コレクション比較装置113が画像コレクションAと画像コレクションBを比較して類似度スコア行列115の1つの要素sABを生成させる様子を示してある。実際にはコレクション比較装置113は、任意の数の画像コレクション102のペアの間の類似度スコアを生成させることができる。コレクション比較装置113は、画像コレクションからの画像とビデオを分析し、各画像コレクションに付随するコレクション情報113をさらに調べ、類似度スコアを生成させる。

0035

画像コレクション102は、唯一の物体抽出装置119を用いて分析される。唯一の物体抽出装置119の目的は、唯一の物体157を同定し、画像コレクションの画像とビデオの中にあるその唯一の物体を記述する特徴を抽出することである。唯一の物体抽出装置119は例えば顔検出装置であることが好ましく、付随する特徴は、あとで説明するように顔の測定と関係している。唯一の物体抽出装置119は乗り物検出装置であってもよい。こうした物体を同定するための画像処理技術は従来技術でよく知られており、例えばアメリカ合衆国特許第6,829,384号に記載されている。唯一の物体抽出装置119は、画像とビデオから、唯一の物体157の位置を突き止める。しかし唯一の物体抽出装置119は必ずしもその物体が何であるか(例えば唯一の物体抽出装置が顔検出装置である場合には人物の名前)を認識している必要はない。例えば唯一の物体抽出装置119が人の顔検出装置である場合には、唯一の物体は、その唯一の物体が誰であるか(すなわち名前)がわからないにもかかわらず、唯一の物体抽出装置によって位置を突き止められる。

0036

次に唯一の物体比較装置121が、2つの画像コレクションの中で見つかった唯一の物体157を比較し、その2つの画像コレクションのそれぞれに共通する唯一の物体が現われる確率を明らかにし、次いで類似度判定装置123がその2つの画像コレクションの類似度スコアを出力する。

0037

画像コレクションAからのi番目の唯一の物体と画像コレクションBからのj番目の唯一の物体に付随する特徴(fiAとfjB)が与えられたときに両方の物体が同じである確率は、P (iA = jB | fiA, fjB)を見積もることによって決定できる。P (iA = jB | fiA, fjB)を解くことは、パターン認識機械学習の分野で議論されているのと同様の問題である。多くの異なる分類法を利用することができる。実際、利用する分類法は、比較する唯一の物体のタイプに依存する可能性がある(例えば顔、自動車、ペット、国のモニュメント、有名な絵画など)。

0038

P (iA = jB | fiA, fjB)に対する有用かつ計算が容易な近似は、
P (iA = jB | fiA, fjB) ≒ f (D (fiA, fjB)) (1)
である。すなわち確率P (iA = jB | fiA, fjB)は、特徴ベクトルfiAとfjBの間の距離D (fiA, fjB)の関数f ( )として近似することができる。fiAとfjBの間の距離はユークリッド距離であることが好ましい。あるいは距離は、AdaBoostなどの学習アルゴリズムから学習した重み付きで導出することができる。例えば、
f (D (fiA, fjB)) = exp (- D (fiA, fjB)/T1) (2)
である。ただしT1は調節パラメータである。

0039

別の一実施態様では、唯一の物体抽出装置119は、画像コレクションからの画像とビデオのメタデータと、その画像とビデオそのものの内容とを分析することができる。この情報は、唯一の物体比較装置121が、1つの画像コレクションの中で見つかった特定の唯一の物体157が別の画像コレクションの中にもある可能性を判断する能力を大きくする。例えばメタデータは、画像取得の日付と時刻画像取得時の周囲の温度、画像を取得した地理的場所、あらゆるラベルを含むことができる。ラベルは、1つの画像全体に対して付けることができる(例えば「スイカ大食コンテストでのジェニー」といったキャプション)。あるいはラベルは、2つ以上の画像からなる集合に付けることもできる(例えば「レッチワース公園でのキャンピング、2005年」)。あるいはラベルは、画像の特定の領域に付けること、または画像の1つの領域に由来する一群の特徴に付けることもできる。例えば2006年1月27日にAndrew C. Gallagherによって出願されて譲受人に譲渡された「多数の人物または物体を含む画像の発見」という名称のアメリカ合衆国特許出願11/342,053(その開示内容はこの明細書に組み込まれているものとする)には、ラベル付け装置120を用いて画像に含まれる人の顔にラベルを付ける方法が記載されている。ラベル付け装置120により、ユーザーは、唯一の物体抽出装置119によって検出された唯一の物体を記述するラベルを供給することができる。ラベル“ハンナ”は、画像内で、その画像に含まれるハンナの位置を明確にする場所に付けることができる(例えば左目右目座標)。“タグ”、“キャプション”、“注釈”といった用語は、“ラベル”という用語の類義語として使用する。

0040

唯一の物体比較装置121は、両方の画像コレクションからのラベルを付けられた唯一の物体157に注目し、コレクションAからのラベルを付けられた唯一の物体が、コレクションBからのラベルを付けられた唯一の物体と同じであるかどうかを判断する。唯一の物体比較装置121は、多数の画像コレクション102からのラベルを付けられた唯一の物体のリストに注目する。例えば唯一の物体抽出装置119からの唯一の物体のリストの一例は以下のものである。

0041

0042

表1では、画像コレクションAからの唯一の物体が5つ、画像コレクションBからの唯一の物体が7つ存在している。1つの画像コレクションだけに1つのラベルが繰り返して現われるというのは、その唯一の物体の別の画像があることを示している。例えば画像コレクションAからの項目3と4は、同一の人物(すなわち唯一の物体)“マギー”の異なる画像である。画像コレクションAは、4つの異なる唯一の物体(ダンA、ホリーA、マーガレットA、アンディA。下添字は、唯一の物体が由来する画像コレクションを示す)を含んでおり、画像コレクションBは、5つの異なる唯一の物体(マギーB、アンディB、ホリーB、ダンB、ペニーB)を含んでいる。解決すべき問題は、「画像コレクションAに現われる唯一の物体のどれも、画像コレクションBからの唯一の物体と同じ可能性が大きいか?」である。

0043

この問題を解くため、唯一の物体比較装置121は、唯一の物体157に付随する特徴(fiAとfjB)とメタデータ(miAとmjB)が与えられたときに画像コレクションAからのi番目の唯一の物体が画像コレクションBからのj番目の唯一の物体と同じである確率P (iA = jB | fiA, fjB, miA, mjB)を計算する。言い換えるならば、画像分析、特徴、ラベル、他のメタデータを利用し、複数の画像コレクションが1つの唯一の物体を共通に含んでいるかどうかを明らかにする。メタデータは、その唯一の物体に付随するすべての名前ラベルを含んでいることを思い起こそう。メタデータが特徴ベクトルとは独立であると仮定すると、確率は以下のように表わすことができる。
P (iA = jB | fiA, fjB) P (iA = jB | miA, mjB) (3)

0044

Schneidermanらによってアメリカ合衆国特許第6,829,384号に示されているように、確率の積は、統計的な独立性が当てはまらないときでさえ、分類に役立つ。

0045

特定の唯一の物体157が多数回現われる場合には、その唯一の物体157の特徴の分布を学習することができる。例えばP (F |ホリー)は、唯一の物体がホリーである場合の特徴値の分布である。この分布は、ヒストグラムで表わすこと、または適切な分布(例えばガウス分布)を用いてモデル化することができる。P (iA = jB |P ((f | iA), P (f | jB))は本質的に分布P ((f | iA)と分布P (f | jB)の間の統計的な差を測定しているため、P (iA = jB | fiA, fjB)の計算式書き直すことができる。これは、多数の距離計量(例えば、2つの離散分布pとqの距離dBを測定するバタチャルヤ距離)を用いて実現することができる。

0046

0047

次に、確率P (iA = jB | fiA, fjB)を、1- dBとして、または式(2)に従って見積もることができる。

0048

他方、1つの画像コレクションの中に特定の唯一の物体がほんのわずかしか存在していない場合には、特徴値の条件付き分布P (f | iA)を推定することは難しい。その場合、確率P (iA = jB | fiA, fjB)は、画像コレクションAからの物体iと画像コレクションBからの物体jの各ペアに付随する特徴の間の距離D (fiA, fjB)を測定することによって推定される。次に、最小距離Dmin (fiA, fjB)を用いて確率P (iA = jB | fiA, fjB)≒f (Dmin (fiA, fjB))を求める。あるいは画像コレクションAからの物体iと画像コレクションBからの物体jの各ペアの間の距離D (fiA, fjB)の集合の平均または中央値を、P (iA = jB | fiA, fjB)を計算するための距離として用いることができる。

0049

項P (iA = jB | miA, mjB) は、唯一の物体157に付随するメタデータ(ラベルを含む)の間の類似度を計算することによって評価する。このような確率は、パターン認識と機械学習の分野で標準的な方法を利用した、大量のメタデータを用いた訓練を通じて知ることができる。メタデータにテキストによるラベルが含まれている場合には、確率項P (iA = jB | fiA, fjB)は、テキストによる2つのラベルの間の一致度を示す。テキストの一致は文献に丁寧に記載されており、例えばアメリカ合衆国特許第5,630,121号には、自然言語処理を利用してテキストによるラベルの間の類似度を決定する方法が記載されている。著者は、ラベルが“イヌ”と“雑種”などの同義語や、“哺乳類”と“ウサギ”などの上位語-下位語のペアである場合にラベル間の優れた一致を生み出す方法を教示している。この方法は、人に付けられた名前の処理へと拡張することができる。一人の人に付けられる名前としては、ファースト・ネーム(例えば“トム”、“トーマス”)、完全な姓名(例えば“イーサン・エドワード・ギャラガー”)、愛称(例えば“モム”、“ダッド”、“ジミー”、“ザ・バス”)が可能である。例えば一人の人は、2つの異なる画像コレクションAとBに現われる可能性がある。画像コレクションAでは、その人の顔に“ジェニー”というラベルが付けられるが、画像コレクションBでは、同じ人に“ジェニファー”というラベルが付けられる。ラベルの類似度P (iA = jB | miA, mjB) は大きなスコアを持つであろう。なぜならジェニーとジェニファーは名前の同義語だからである。他方、2つの画像コレクションが、たまたま同じ名前とラベルを持つ異なる2人の人物(例えば“ジェニー”)を含んでいる場合には、ラベルの類似度は高いが、第1の画像コレクションと第2の画像コレクションから由来する顔の特徴f1とf2の間の対応する類似度は低い可能性が大きいため、確率P (iA = jB | fiA, fjB, miA, mjB)も小さくなるであろう。名前、一般的な名前の綴り間違い、一般的な愛称は、関連させて名前表127に記憶されていて、メタデータ分析装置125がこの名前表127を評価することによってある唯一の物体(ここでは人物)が両方の画像コレクションに現われる確率が決定される。例えばファースト・ネームとそのバリエーションデータベースが存在しており、インターネット上のwww.incompetech,com/named/multi.plで検索することができる。大きな確率(例えばP (iA = jB | miA, mjB)= 1.0)が、名前の正確な一致に割り当てられる。別の一例は、画像コレクションAの顔には“私”と名付けられ、画像コレクションBの顔には“ジェフ”と名付けられていて、画像コレクションAのユーザーの名前は“ジェフ”である場合である。かなり大きな確率(例えばP (iA = jB | miA, mjB)= 0.9)が、“ジェニー”や“ジェニファー”といった一般的な名前のバリエーションに対して割り当てられる。特定の名前のバリエーションも、ラベル付け装置120を通じてユーザーが入力できることに注意されたい。特定の人物を記述するのに特別な愛称がしばしば用いられることをユーザーが知っているときには、例えば“ジェローム・ベティス”という名前に、愛称である“ザ・バス”を関係付けることができる。中程度の確率(例えばP (iA = jB | miA, mjB)= 0.4)が、確実性はより低いがそれでもありうる名前ラベルから生じる(例えば1つの画像コレクションの中で“サラ”と名付けられ、第2の画像コレクションの中で“モム”と名付けられた顔は、ラベルの性別が一致しているので一致している可能性がかなりある)。小さな確率(例えばP (iA = jB | miA, mjB)= 0.2)が、同一の人物を参照している可能性のある名前ラベルから生じる(例えば1つの画像コレクションの中で“ジェフ”と名付けられた顔と、第2の画像コレクションの中で“トム”と名付けられた顔。これは、一人の人が、異なる社会的状況では異なるファースト・ネームで知られているときに可能である)。非常に小さな確率(例えばP (iA = jB | miA, mjB)= 0.0)が、同一の人物を参照している可能性が小さい名前ラベルから生じる(例えば1つの画像コレクションの中で“ジェニー”と名付けられた顔と、第2の画像コレクションの中で“ダッド”と名付けられた顔、または1つの画像コレクションの中で“トム・ジョンソン”と名付けられた顔と、別の画像コレクションの中で“トム・スミスと名付けられた顔)。

0050

画像取得場所も、P (iA = jB | fiA, fjB)を計算する際に考慮される。唯一の物体が同じである確率は、その物体が同時にほぼ同じ場所にあるときに大きくなる。同様に、唯一の物体は、同時に2つの場所に存在することはできない。ペアになった画像に対応する2つの場所(すなわち1つは唯一の物体iAを含む画像コレクションAからの場所、1つは唯一の物体jBを含む画像コレクションBからの場所)の間を移動する時間tを計算することが好ましい。移動時間tは、あらゆる移動モードを考慮して2点間最短経路を計算するよう設計されたアルゴリズムを用いて見積もることができる。例えば2点間の移動時間には、飛行機地下鉄タクシー徒歩による移動の部分を含むことができる。移動時間が2つの画像の間の画像取得時刻の差よりも大きい場合には、P (iA = jB | miA, mjB)は小さいかゼロである。例えば画像コレクションAの画像が2006年1月1日1:00ESTにモアブ(ユタ州)で取得され、画像コレクションBの画像が2006年1月1日3:00 ESTにブロックポートニューヨーク州)で取得されたとすると、移動時間tは画像取得時刻の差である2時間を越える。したがって第1の画像内のいかなる唯一の物体であれ、第2の画像内にも存在している可能性は小さく、逆も同様である。

0051

説明用の例として、表ににある画像コレクションAからの4つの異なる物体と、画像コレクションBからの5つの異なる物体とを再び考える。行列Uは、以下の要素を持つ構成にすることができる。
uij = P (iA = jB | fiA, fjB)

0052

表1に含まれる情報を利用し、式(1)と(2)でT1 = 1/3とすると、以下の行列Uが生成される。

0053

0054

行は画像コレクションA(ダンA、ホリーA、マーガレットA、アンディA)からの唯一の物体に対応し、列は画像コレクションB(マギーB、アンディB、ホリーB、ダンB、ペニーB)からの唯一の物体に対応している。例えばマーガレットAがマギーBである確率は、ここに与えた例の特徴値に基づくと、0.87である。

0055

行列Vは、以下の要素を持つ構成にすることができる。
vij = P (iA = jB | miA, mjB)

0056

表1に含まれている情報と上記の確率を利用し、以下の行列Vが生成される。

0057

0058

最後に、P (iA = jB | fiA, fjB, miA, mjB)を表わす要素wijを含む行列Wが、wij = vijuijを計算することによって形成される。

0059

したがって表1に含まれる情報に関する行列Wは以下のようになる。

0060

0061

したがってホリーAはホリーBである可能性が大きく(スコア0.81)、マーガレットAはマギーBである可能性が大きく(スコア0.78)、アンディAはアンディBである(スコア0.86)可能性が大きい。

0062

すると類似度判定装置123は、コレクションのユーザーが自分たちの画像コレクションの間にリンクを確立することを望むであろう確率を示す類似度スコアsABを出力する。この類似度スコアは、1つ以上の唯一の物体が両方の画像コレクションに共通する確率を考慮することによって導出される。類似度スコアは、(例えば画像コレクションAからの1つの物体と画像コレクションBからの第2の物体からなる各ペアを考慮することによって)計算されて唯一の物体比較装置121から出力されるすべての値P (iA = jB | fiA, fjB, miA, mjB)の最大値であることが好ましい。あるいは類似度スコアは、値P (iA = jB | fiA, fjB, miA, mjB)を生成させた特徴ベクトルによって記述される物体のタイプも考慮することによって計算できる。例えば2つの画像コレクションがジェニファー・アンダーソンの画像を含んでいる場合には、ユーザーはリンクを確立することを望むであろう可能性が大きい。しかし2つの画像コレクションがそれぞれワシトン記念の画像を含んでいる場合には、ユーザーはそれぞれの画像コレクションの間に必ずしもリンクを確立することを望まないであろう。したがって確率P (iA = jB | fiA, fjB, miA, mjB)は、物体のタイプに依存する重み因子W1でそれぞれ重みを付け、重みが最も大きい確率を見いだすことによって類似度スコアsABを生成させる。物体のタイプに基づく重み因子W1のリストの一例を以下に示す。
人物0.9
有名な銅像建物0.1
ペット0.7
風景0.2
有名人0.2
乗り物0.6
有名ではない建物 0.3

0063

当業者であれば、図3に示したようにある画像コレクションのユーザーが他の画像コレクションのユーザーに要求を送り始めるとき、またはコレクション制御装置802が、画像とメタデータの内容の分析を通じ、画像コレクションのユーザーが自分たちの画像コレクション102をリンクすることを評価するであろう確率が大きいと判断するときには、ユーザー入力804を用いて画像コレクション102間のリンクを形成できることがわかるであろう。

0064

画像コレクション102間のリンクは、図として示すことができる。例えば図6に示したリンク網129を参照のこと。画像コレクション102は大文字で示されており、リンク129は両方向矢印で示してある。相互リンクがある3つ以上の画像コレクションの集合が1つの共有グループを形成する。例えば画像コレクションA、F、Gは1つの共有グループである。なぜなら、各画像コレクションのユーザーは、他の画像コレクションのユーザーの画像コレクション102にアクセスしただろうからである。

0065

ここで図5に戻ると、メタデータ分析装置125は、2人の画像コレクションのユーザーが、コレクション情報103に基づいて自分たちの画像コレクションをリンクすることを望むであろう確率も決定することができる。2つの画像コレクションの類似度の別の指標は、リンク網そのものに基づいている。リンクのコレクション105を通じた2つの画像コレクション(AとB)の間の距離は、画像コレクションAから画像コレクションBに到達するときに両者の間に存在していて移動せねばならないリンクの最小数である。この距離は、Liの(A, B)番目の要素が1となるような整数iの最小値(i>0)を見いだすことによって計算できる。例えば図6では、画像コレクションAとGは距離Ds (A, G) =1だけ離れている。これは、画像コレクションAとGの間にリンクが存在することを意味する。画像コレクションGとDは距離2だけ離れている。この距離が類似度判定装置123によって考慮されて2つの画像コレクションに類似度スコアが割り当てられる。例えば類似度判定装置123は、追加の重み因子W2 = exp (-(Ds (A, B) - T3)/T2)を計算することができる。ただしT2とT3は選択可能なパラメータであり、T3 = 1、T2 = 3であることが好ましい。類似度スコアsABを生成させるとき、類似度判定装置は、この重み因子W2を唯一の物体比較装置121からの確率P (C | f1, f2, m1, m2)と組み合わせる(掛け算する)ことができる。

0066

すでに説明したように、互いにリンクされている画像コレクション102があると、画像コレクションを共有すること、または画像コレクション102の一部を共有することが容易になる。ある画像コレクション102がユーザーとは別の人と共有されていると、その別の人は、共有された画像とコレクション情報にアクセスすることを許される。このアクセスの範囲は用途に応じて変えることができる。例えばユーザーは、そのコレクションからの画像およびビデオのコピーと、付随するメタデータとを共有することができよう。あるいはユーザーは、画像の低解像度バージョンをその別の人と共有することができよう。共有された画像はコンピュータのモニタで見ることや、カメラまたは携帯電話に組み込まれたLCDスクリーンで見ることができる。画像の共有によって許されるアクセスは、永続的なアクセスにすること、または画像コレクションの所有者が設定したある期限の後に切れるように設定することができる。アクセスは、所定のイベントの後に切れるように設定することができる。例えばアクセスは、別の人が画像を一度見た後に切れるようにできる。

0067

1つ以上の画像にラベルが付いている場合、画像コレクション102の間のリンクは、1つの画像コレクション102から別の画像コレクションにラベルと特徴を伝えるのに有用である。画像コレクションのユーザーの中には、画像とビデオにキャプションを付け、その画像とビデオの中にある人物やそれ以外の物体にラベルを付けるのに多大な時間を費やしている人がいる。他の画像コレクションのユーザーは、自分のコレクションの何にもラベルを付けない。画像コレクション間のリンクを利用することにより、自分の画像にラベルを付けていない画像コレクションのユーザーでさえ、自分の画像コレクション102がリンクされている画像コレクションのユーザーが付けたラベルの恩恵を得ることができる。こうすることにより、テキスト付きの画像コレクションを検索し、関連する画像を見つけることが可能になる。例えばホリーは、自分の画像コレクションに現われる人“アンディ”、“ホリー”、“ハンナ”、“ジョウナ”、“エタン”にラベルを付ける。ホリーは自分の画像コレクションを姉妹のペニーと共有するが、彼は自分の画像コレクションにラベルを付けていない。画像コレクション間のリンクにより、“アンディ”、“ホリー”、“ハンナ”、“ジョウナ”、“エタン”の特徴を知ることが可能になる。そのためペニーの画像コレクションにこれらの人物が存在していると自動的に注釈が付けられる。

0068

図7は、互いにリンクされた画像コレクション102を用い、リンクされた各画像コレクションの検索性を向上させる方法を示している。説明を簡単にするため、画像コレクションAと画像コレクションBがリンクされていると仮定する(lab = lba = 1.0)。したがって各画像コレクション102は、画像とビデオ、特徴、メタデータ(その中には場所や撮影時刻などの取得メタデータと、名前ラベルなどのラベルが含まれる)、他のコレクションのコレクション情報にアクセスする。接続が相互的でない(例えばlab = 1.0、lba =0)場合には、当業者であれば、画像コレクションBは、画像コレクションAのユーザーによって提供されるあらゆるラベルの恩恵を得られるが、逆はそうでないことがわかるであろう。

0069

図5を思い起こすと、画像コレクションからの画像とビデオは唯一の物体抽出装置119に送られる。唯一の物体抽出装置119は、前に説明したように唯一の物体(例えば顔、自動車など)を検出するとともに、その物体に付随する特徴も抽出する。物体(とそれに付随する特徴)にはラベルを付けることができる。例えば唯一の物体抽出装置119が、目の位置座票が(100, 100)と(140, 105)である顔を検出し、その顔が“マーガレット”であることをユーザーがユーザー・インターフェイスを通じて知る場合には、その顔は特徴(例えば目の座標位置)によって表わされ、名前ラベル“マーガレット”が付けられる。特徴の抽出について以下により詳しく説明する。

0070

唯一の物体比較装置121は、物体に付随する特徴(fiAとfjB)とメタデータ(miAとmjB)が与えられると、画像コレクションAからのi番目の唯一の物体が画像コレクションBからのj番目の唯一の物体と同じである確率P (iA = jB | fiA, fjB, miA, mjB)を計算することを思い起こそう。この確率は、行列Wの要素である。要するに、唯一の物体比較装置121は、2つ(以上)の画像コレクション102の間の類似度を判断する。

0071

唯一の物体比較装置121は、ラベルの付けられていない物体が何であるかを分類する分類装置135を構成するのに用いられる個別の唯一の物体133の集合を生成させる。唯一の物体比較装置121については図5を参照して説明した。この実施態様では、画像コレクション102のAとBの間にリンクが存在する。そのため唯一の物体比較装置121の機能は、図5で唯一の物体比較装置121について説明したのとはわずかに異なっている可能性がある。例えばP (iA = jB | fiA, fjB, miA, mjB)を計算する際に重要な事前確率は、コレクションのユーザー間に何らかのリンク(例えば社会的つながりであることがしばしばある)が存在することがわかっていると異なる可能性がある。

0072

また、画像コレクションの2人のユーザー間の社会的関係を唯一の物体比較装置121が知っている場合には、その情報を用いて性能が向上する。例えば画像コレクションAと画像コレクションBの両方が“モム”というラベルの唯一の物体157を含んでいると仮定する。その画像コレクションのユーザー同士が兄弟姉妹であることを唯一の物体比較装置121が知っている場合には、項P (iA = jB | miA, mjB)は、モムAがモムBと同じであるかどうかを考慮すると大きくなろう(1.0に近いか等しい)。あるいは唯一の物体比較装置121が、画像コレクションのユーザー同士に関係がないことを知っていると、項P (iA = jB | miA, mjB)は、モムAがモムBと同じであるかどうかを考慮すると小さくなろう(0.0に近いか等しい)。互いにリンクされた画像コレクションのユーザー間の社会的関係に関する情報は、いずれかの画像コレクションのユーザーが標準的な任意のユーザー入力装置を用いてコレクション情報103に入力し、他の画像コレクションの所有者と共有することができる。例えば画像コレクションAとBのユーザーの間にリンクが確立されると、画像コレクションAのユーザーは、“画像コレクションBのユーザーは私の です”という質問受け取り、以下に示す社会的関係の選択肢のリストが提示されて空欄を埋めるよう求められる。
兄弟
姉妹


息子

いとこ
おば
おじ
近親者
友人
画像コレクションAのユーザー入力145のユーザーは、社会的関係を示すのに慣れている。画像コレクションBのユーザーの性別がわかっているときには、社会的関係の選択肢のリストを短くしてより適切な集合にすることができる。例えば画像コレクションBのユーザーが女性であれば、画像コレクションAのユーザーに見せる社会的関係の選択肢のリストは、以下のようになる。
姉妹


いとこ
おば
近親者
友人

0073

同様の質問を画像コレクションBのユーザーにもすることができる。1つの回答が、画像コレクションの2人のユーザーの間の関係を明確にするのに必要なすべてになっている。

0074

個別物体発見装置141は、唯一の物体比較装置121から確率が入力され、個別の唯一の物体133の集合を明確にする。個別物体発見装置141は、1つの画像コレクションからの特定の唯一の物体が第2の画像コレクション102からの特定の唯一の物体と同じであることを明確にする2つの方法を備えている。第1は、確率(すなわち確信)wijの値が閾値T2よりも大きい場合である(T2 = 0.9であることが好ましい)。第2の方法では、個別物体発見装置141がユーザー入力145を用いてiA = jBが同じ唯一の物体であるかどうかを確認する。確率wijの値が閾値T3(T3 = 0.75であることが好ましい)を越えたとき、個別物体発見装置141は2つの画像の一部をディスプレイ143に表示する。ディスプレイとしては、CRT、LCD、カメラ、コンピュータ、携帯電話などが可能である。画像の一部のうちの1つは、画像コレクションAからの唯一の物体iの一例であり、第2の画像の一部は、画像コレクションBからの唯一の物体jの一例である。画像の一部としては、画像をトリミングした領域や、ビデオのフレームまたは断片が可能である。次にユーザー(画像コレクションAまたはBのユーザーであることが好ましい)は、表示された画像の一部が同じ特定の唯一の物体を示しているかどうかを(ボタンクリック音声命令マウスのクリック、他の何らかの入力装置を通じて)示すことができる。

0075

図8は、画像コレクションAからの顔に対応する部分画像251と、画像コレクションBからの顔に対応する部分画像253とを表示した一例を示している。これらの部分画像は、唯一の物体抽出装置119によって検出された顔に対応している。添付のテキスト・ラベルもディスプレイ上で対応する部分画像の隣に表示することができる。部分画像は同じ人物を示しているため、ユーザーは、個別物体発見装置141に、唯一の物体が同じであることを知らせる。「これらは同じ物体ですか?」といったメッセージ255を部分画像とともに表示することができる。このメッセージにより、ユーザーは、選択メニューからイエスまたはノーを選択することができる。あるいはメッセージ255は、唯一の物体のタイプが表示されるようなものにすることもできる。例えば唯一の物体抽出装置119が、顔のある物体、すなわち人物を見いだしたとき、メッセージ255は「これらの人は同じ人物ですか?」となる。図9は、部分画像251と253が異なる人物を示している一例であり、ユーザーは、その唯一の物体が異なることを個別物体発見装置141に知らせる。

0076

図7に戻ると、個別物体発見装置141は、個別の唯一の物体133の集合を出力する。これらの個別の唯一の物体133を用いて分類装置を訓練する。唯一の物体抽出装置119からの唯一の物体157が人の顔である場合、個別の唯一の物体133は個人である(例えば名前付きの特定の人物)。例えば表1からのデータに基づくと、画像コレクションAとBの間の6つの個別の唯一の物体(ユーザー入力145を仮定)は以下のようになる。
ダンA、
ホリーA = ホリーB、
マーガレットA = マギーB、
アンディA = アンディB、
ダンB、
ペニーB

0077

2つの画像コレクションの中には、これら個別の唯一の物体のそれぞれのうちの1つ以上が存在している。当業者であれば、個別の唯一の物体の名前には多くのバリエーションがありうることがわかるであろう(例えば画像コレクションが1回現われるごとに1つのバリエーション)。

0078

パターン認識の分野でよく知られているように、分類装置135は、物体に付随するラベルと特徴値に基づいて訓練される。分類装置は任意のタイプのものが可能である。この構成にはいくつかの利点がある。第1に、一般に分類装置135の性能は、訓練するデータの量が増えるほど向上する。2つ以上の画像コレクションからの唯一の物体のサンプルを用いることにより、性能は向上するはずである。第2に、分類装置135は、その画像コレクションの中にラベルの付いたサンプルがない場合でさえ、リンクされた画像コレクション102の中にサンプルが存在しているのであれば、唯一の物体が何であるか(すなわちその唯一の物体のラベル)を分類することができる。分類装置135は、個別物体発見装置141によって見いだされた名前のあらゆるバリエーションが確実にラベルに含まれるようにすることにより、1つの画像に、画像コレクションのユーザーに関係するとともに、リンクされた画像コレクションのユーザーにも関係する複数のラベルを付けることができる。例えば分類装置135は、1つの唯一の物体に67%の確率で“マーガレットA”と“マギーB”というラベルを付けることができる。

0079

再び図7に戻ると、ユーザーは、物体の照会リスト151を画像選択装置153に提示し、画像検索結果を生成させる。画像選択装置153はその物体の照会リスト151と分類装置135を利用し、画像検索結果155の集合を生成させる。画像検索結果155は、物体の照会リスト151に関係すると考えられる画像の集合である。物体の照会リスト151は、人名の集合にすることができる。画像検索結果155からの画像とビデオはディスプレイ143に送って見ることができる。

0080

画像コレクションのユーザーは、自分の画像コレクションの中からと、自分と共有されていて物体の照会リスト151からの画像を含む画像コレクションの中から画像とビデオを見いだすことを望んでいる。物体の照会リストは、唯一の物体を含むことができる、その唯一の物体は例えば特定の人物である(例えば“ハンナとジョウナを含む画像を発見せよ”)。

0081

画像選択装置153は、物体の照会リスト151を解釈する一方で、照会の出所を考慮する。例えば画像コレクションAのユーザーが“マーガレット”を含む画像を探している場合、画像検索結果155は、画像コレクション102のAの中で“マーガレット”というラベルの付いた画像と、画像コレクション102のBの中で“マギー”というラベルの付いた画像を含むであろう。

0082

画像選択装置153は、画像コレクションを検索するために誰が物体の照会リスト151を提出するかも考慮する。これは、照会の対象である唯一の物体が実際に何であるかを明らかにする上で重要である。例えば表1のデータに関しては、画像コレクションAのユーザーが“ダン”を含む画像を探している場合、そのユーザーは、自分の画像コレクション内でダンA(例えばダン・ギャラガー)というラベルの付いた個人をおそらく意味している。しかし画像コレクションBのユーザーが“ダン”を含む画像を探している場合、そのユーザーは、自分の画像コレクションの中でダンB(例えばダン・ベントン)というラベルの付いた人物をおそらく意味している。したがって画像検索結果155は、誰が物体の照会リスト151を提出するかによって異なる。例えば画像コレクション102のBが、物体の照会リスト151が“ダン”である検索を開始すると、画像選択装置153は、画像検索結果155として、最上位の画像が、画像コレクションB全体の中と、画像コレクションBのユーザーと共有されているすべての画像コレクションの中で見いだされたダンB(例えばダン・ベントン)を含む画像を出力する。画像コレクションBからの、または画像コレクションBのユーザーと共有されている画像コレクションからの他のダン(すなわちダンA=ダン・ギャラガー)は、画像検索結果155でより低い位置にランクされるか、画像検索結果155から完全に排除されるであろう。

0083

図7からの唯一の物体抽出装置119は、検出された物体に付随する特徴を検出する。検出された特徴が利用されて唯一の物体が何であるかが明らかにされる。図10は、検出された唯一の物体に付随する特徴を抽出する方法を示している。ある物体の位置がわかると、局所的特徴検出装置240は、その物体に付随する局所的特徴244を検出することができる。物体が人物である場合、顔の位置がわかると、よく知られた方法(例えばYuille他、「変形可能なテンプレートを用いた顔からの特徴抽出」、Int. Journal of Comp. Vis.、第8巻、第2号、1992年、99〜111ページ)を利用して顔の特徴(例えば目、、口など)が存在する位置を特定することもできる。著者は、口、目、虹彩強膜境界を特定するためにテンプレートの一致によるエネルギー最少化を利用した方法を記載している。顔の特徴は、T.F. CootesとC.J. Taylorが「制約のあるアクティブ外見モデル」(第8回コンピュータ・ビジョンに関する国際会議、第1巻、748〜754ページ、IEEEコンピュータ学会出版、2001年7月)に記載しているアクティブな外見モデルを利用して見いだすこともできる。好ましい一実施態様では、人の顔のアクティブな形状モデルに基づいて顔の特徴点の位置を特定する方法という、BolinとChenがIS&T PICS会議のプロシーディングの「ポートレート画像のための顔の特徴自動発見システム」に記載している方法を利用する。

0084

局所的特徴244は、ある物体の定量的記述である。局所的特徴244の集合と全体的特徴246の集合は、それぞれの唯一の物体について決めることが好ましい。唯一の物体が人物である場合、局所的特徴244は、特定の顔の特徴に関する82個の特徴点の位置に基づいていることが好ましい。その特徴点は、Cootesらの上記のアクティブな外見モデルと同様の方法を用いて見いだされる。ある1つの顔の画像に関する顔の特徴点をイラストとして図11に示してある。局所的特徴は、特定の特徴点の間の距離、または特定の特徴点を接続した線同士がなす角度にすること、または特徴点を、顔の外見の違いを記述する主要成分に射影した係数にすることもできる。これらの特徴は、顔の幾何学的形状の本質を捕えている。特徴に関する優れた集合は、人に関する多数の画像から特徴点の位置を集めて顔の特徴点の主要成分を決定することによって得られる。そのときそれぞれの主要成分は、顔の特徴点の平均集合から取り出した顔の特徴点の1つの集合のバリエーションを記述している。これら主要成分のいくつかは、表情またはポーズの変化と関係しているのに対し、他の主要成分は、個人間の外見の差に関係している。特徴に関する優れた集合は、特徴点の1つの集合を個人間の外見の差に関する主要成分に射影し、他の主要成分は無視することによって得られる。色の情報は、唯一の物体検出装置119によって人物と顔の特徴が特定されると、ディジタル画像またはビデオから容易に取り出される。

0085

あるいはさまざまな局所的特徴を利用することもできる。例えば1つの方法として、M. TurkとA. Pentlandが「認識のための固有顔」(Journal of Cognitive Neuroscience、第3巻、第1号、71〜86ページ、1991年)に記載している顔の類似度計量に基づいたものが可能である。顔記述子は、1つの顔の画像を、顔の外見の変動を記述する一群の主要成分関数に射影することによって得られる。任意の2つの顔の類似度は、それぞれの顔を同じ関数群に射影することによって得られた特徴についてユークリッド距離を計算することによって測定される。

0086

局所的特徴244は、互いに共通性のないいくつかのタイプの特徴(例えば固有顔、顔の測定値、色/肌理の情報、ウエーブレットの特徴など)の組み合わせを含むことができよう。

0087

あるいは局所的特徴244は、定量化可能な記述子(例えば目の色、皮膚の色、顔の形、メガネの存在、衣服の記述、毛髪の記述など)を用いて表わすこともできる。

0088

例えばWiscottは、「顔分析のための仮想的な顔」、Pattern Recognition、第30巻、第6号、837〜846ページ、1997年に、顔にメガネが存在していることを検出する方法を記載している。局所的特徴は、メガネの存在と形状に関する情報を含んでいる。

0089

再び図10を参照すると、全体的特徴246と局所的特徴244は、興味の対象である個人に関するデータベース114に記憶される。1つの画像内のすべての人物に関係する全体的特徴はFGで表わされる。1つの画像内のN人に付随する局所的特徴のN個の集合は、FL0、FL1、...、FLN-1で表わされる。その画像内の人物nの特徴に関する完全な集合はfnで表わされ、その中には全体的特徴FGと局所的特徴FLnが含まれている。その画像に付けるM個のラベルは、L0、L1、...、LM-1で表わされる。

0090

データベース114中のある画像に付随するラベルと特徴の入力の一例を以下に示す。
画像101_346.JPG
ラベルL0:ハンナ
ラベルL1:ジョウナ
特徴f0:
全体的特徴FG:
フラッシュ:なし
シャッター速度:1/724秒
カメラの型:コダックC360ズーム・ディジタル・カメラ
絞り:F/2.7
局所的特徴FL0:
位置:左目:[1400 198]右目:[1548 202]
C0 = [-0.8, -0.01]';
メガネ:なし
付随するラベル:未知
特徴f1:
全体的特徴FG:
フラッシュ:なし
シャッター速度:1/724秒
カメラの型:コダックC360ズーム・ディジタル・カメラ
絞り:F/2.7
局所的特徴FL1:
位置:左目:[810 192] 右目:[956 190]
C1 = [0.06, 0.26]';
メガネ:なし
付随するラベル:未知

0091

再び図7を参照すると、分類装置135は、多数の画像コレクション102からの個別の唯一の物体133に付随する特徴と、付随するラベルとを利用し、ラベルのない検出された唯一の物体157が何であるかを明らかにする。検出された唯一の物体157に関する特徴には、ラベルを有するいくつかの特徴(ラベル付きの特徴として知られる)が含まれる。他の特徴(ラベルなしの特徴として知られる)にはラベルが付いていない(例えばディジタル画像コレクション102内のラベルのないすべての画像とビデオ)。分類装置135は、ラベル付きの特徴を利用してラベルのない特徴を分類する。この問題は、実際には極めて難しいが、パターン認識の分野で研究されている。多数ある分類装置のうちの任意のものを用いてラベルのない特徴を分類することができる。一般に、分類装置は、ラベルのない特徴の特定の集合と、特徴にラベルが付いた集合との間の類似度を考慮し、確率に基づいてラベルをラベルのない特徴に割り当てる。いくつかの分類装置(例えばガウス分布最尤装置)では、個々の唯一の物体に付随する特徴にラベルが付いている特徴の集合を集めて唯一の物体157の外見モデルを形成する。

0092

図12は、好ましい分類装置135の一例を示している。以下の説明では、唯一の物体157は人物であると仮定する。当業者であれば、適切な改変とパラメータの調節により、この分類装置を適用して他のタイプの物体も分類できることがわかるであろう。分類装置135は、2人以上の人物に付随する特徴の集合間の類似度を測定してその人物の類似度を決定し、そのことによってその人物が同じである確率を明らかにすることができる。特徴の集合の類似度を測定することは、特徴の部分集合の類似度を測定することによって実現される。

0093

分類装置135は、確率ネットワーク形成装置640によって生成された確率ネットワーク642を利用する。図13は、299の顔に関して計算した2つの特徴(C1とC2)をプロットしたグラフである。これらの特徴は、すでに説明したように、顔の特徴点を主要成分に射影し、ポーズまたは表情に関する成分を無視することによって求められる。異なるシンボルは(実地調査によってわかる)異なる個人を表わしているが、唯一の物体が何であるかを特定するこの情報は、すべてのケースで分類装置が知っている必要はない。

0094

確率ネットワーク形成装置640は、各点(ノードとも呼ばれる)の間のリンクを確立することによって確率ネットワーク642を形成する。各点は、検出された一人の人物を表わしている(しかし必ずしも異なる人物ではない)。図14は、各点を最も近くにある5つの点とリンクすることによって形成された確立された確率ネットワーク642を示している。暗黙の仮定は、ある人物が別の人物と同じ人物である可能性が大きいのは、その2人が似た特徴を共有しているときであるというものである。各リンクには、確率の重みwij(iとjは、リンクによって結び付けられた第1の人物と第2の人物の目印である)が付随している。それぞれの人(例えばディジタル画像コレクション102に含まれるm番目の画像からのn番目の人)には、リンクによって結び付けられた特徴に関する2つの集合が同じ人物に関するものである確率を示す全体指数が割り当てられる。重みは、ラベル付きの特徴の多数の集合から、2人の人物が彼らの特徴間の距離に基づいて同一人物である確率を学習することに基づいて確立される。確率ネットワーク642は、特徴点の間のリンクと重みからなる。

0095

特徴点のいくつかにはラベルが付けられている。ラベルはプロパゲータ159によって確率ネットワーク642を通じて伝えられ、ラベルなしの特徴点を分類する。プロパゲータ159は以下のように動作する。i番目の人物が確率pで興味の対象である人物qであることがわかっていると、その確率が重みwijに従って確率ネットワーク642を伝播する。j番目の特徴点は、それがqである確率pwijを持つ。逆に、この確率は、適切な重みを掛けて近傍に伝えることができる。個人に付随する複数の確率が単一の点に到着すると、最大の確率値だけが確保される。確率をネットワーク上に伝播させる多くの方法が存在しており、その多くのバリエーションを利用することができる。例えばマルコフランダム場を利用できる。

0096

図14は、確率が確率ネットワーク642を伝播する一例を示している。+印は、ラベルが割り当てられた(すなわちその人物がq1であることが100%の確率である)点を示している。次に確率ネットワーク642は、個人q1が50%超の確率となるすべての点(29個の三角形と1個の正方形)を示す。これらの中で、三角形は、実際に個人q1であるすべての点を示し、正方形は、個人q1ではない点を示す。画像またはビデオから検出された特定の唯一の物体が所定のものである確率を決定するとき、同じ画像またはビデオの中で検出された他の唯一の物体の特徴を考慮すると有用である可能性がある。これが有用なのは、例えば所定の人物(エタン・ギャラガー)が普通の状況(すなわち鏡や、写真の写真などを除く)では特定の画像に一度しか現われない可能性があるからである。譲受人に譲渡された前出のアメリカ合衆国特許出願11/342,053には、この問題を適切に処理するための分類システムが記載されている。分類システムは物体を検出し、次いで検出された物体の特徴を分析し、その特徴を、ラベル付きの検出された物体の集合と比較し、初期確率を確立する。初期確率は、複数物体分析装置によって分析されて最終確率が生成される。この最終確率は、検出された物体が何である可能性があるかと、付随する確率を示している。さらに、最終確率は、特定の物体が1つの画像またはビデオに現われる確率であってもよい(検出されたどの唯一の物体157が特定の物体であると考えられるかを示す必要はない)。

0097

図15は、本発明によるシステムの別の一例を示している。2つの画像コレクション102からの画像が示してある。画像コレクションAからの4つの画像222と、画像コレクションBからの6つの画像224を示してある。画像コレクションAと画像コレクションBは互いにリンクされていると仮定する。図7の唯一の物体抽出装置119が顔検出装置である場合には、ボックス161が、見いだされた顔の位置を示す。いくつかの唯一の物体157がコレクションのユーザーによってラベル163を付けられていると仮定する。画像コレクション102のAの例では、2つの唯一の物体157(顔)に、個人の名前(ハンナとジョウナ)を示すラベル163が付けられている。画像コレクションBでは、1つの顔に、個人の名前(ジョウナG)を示すラベル163が付けられている。図7の唯一の物体比較装置121と個別物体発見装置141は、上に説明したようにして、ジョウナAがジョウナBと同一人物であることを明確にする。個別の唯一の物体133のリストは以下の通りである。
O1:ハンナA
O2:ジョウナA = ジョウナG B

0098

互いにリンクされた画像コレクション102からのラベルの付いたすべての例を利用して分類装置135が形成される。次に、ラベルのない検出された唯一の物体157(すなわちボックス161によって示される検出された顔)が分類装置135によって評価され、ラベルのない検出された唯一の物体157が特定される。

0099

図16は、分類装置135の出力の一例を示している。この例では、分類装置は、検出されたそれぞれの唯一の物体157が何である可能性が最も大きいかを示す。あるいは分類装置は、特定の画像またはビデオが興味の対象である特定の物体(例えば人物)を含んでいる確率を示すこともできる。分類装置135は、検出された物体の多くについて、検出されたその物体のラベル165を決定する。ラベル165は、その唯一の物体157が何である可能性が大きいかと確率を示す。例えば画像コレクション102のAからの第1の画像222に関しては、分類装置135は、左側の唯一の物体が確率0.75でO2であり(ジョウナA = ジョウナGB)、他方の唯一の物体が確率0.7でO1である(ハンナ)であると決定する。

0100

画像コレクションのユーザーの誰かが物体の照会リスト151を用いて画像とビデオを検索するとき、画像選択装置153は、ディスプレイ143で見ることのできる画像検索結果155を戻す。例えば画像コレクション102のBのユーザーがハンナを含む画像を検索しているとする。画像選択装置は、この検索が個別物体O1を含む画像の検索であることを認識する。画像検索結果155は図17に示したものであり、自分のコレクションからの画像224と、リンクされた画像コレクション102のAからの3つの画像とが含まれている。画像検索結果155は、照会に合致する確率によって分類された一群の画像を示すことができる。あるいは画像検索結果155は、その結果がどの画像コレクション102からのものであるかに応じてグループ分けすることができる。この場合、ユーザー自身のコレクションからの照会に合致する画像は、他の画像よりも上位にランクされる。

0101

画像コレクション102のBのユーザーは、ハンナを含む画像を、彼女自身はどの画像にもハンナが含まれているというラベルを付けなかったにもかかわらず検索できたことに注意されたい。分類装置135は、ユーザーの画像コレクションからのラベル付きのすべての例と、リンクされた画像コレクションからのラベル付きのすべての例とを利用し、唯一の物体を特定してラベルを付ける。

0102

画像は、分類装置135によって決定されたラベルとともにディスプレイ143に表示することができる。個別の唯一の物体に付けられたラベルは、いくつかのバリエーションが可能である。多数のバリエーションが存在しているとき、選択されるラベルのバリエーションは、その画像にアクセスするユーザーが誰であるかによって異なる可能性がある。例えば図18と図19に、画像コレクションBからの1つの画像224を示してある。画像コレクションAのユーザーがディスプレイ143でその画像を見るとき、そのユーザーにはラベル171“ジョウナ”が目に入る。画像コレクションBのユーザーがディスプレイ143でその画像を見るとき、そのユーザーにはラベル171“ジョウナG”が目に入る。

0103

ユーザーは、画像検索結果155から画像製品602を作り出すことができる。画像製品602は、作成するときにディジタル画像コレクション102からの少なくとも1つの画像またはビデオを利用する製品である。画像製品602の例としては以下のものがある。
-フレーム付きの写真。フレーム付きの写真は、1枚以上の写真(すなわちプリントされた画像)を見るためのウインドウを含んでいる。また、ディジタル・フレームは、一度に複数の画像を表示すること、または一群の画像を時間をかけて循環させることによって複数の画像を表示できるスクリーンを有する。
- 写真カレンダー。カレンダーは、一般に、そのカレンダーがカバーする期間中の各月または各週に1つの画像を表示する領域を有する。カレンダーは、紙に印刷すること、またはコンピュータのメモリに記憶させてLCDディスプレイなどのディスプレイを通じて見ることができる。
-アルバム。写真アルバムは一般に多数のページを含んでおり、各ページに1つ以上の画像を示すことができる。カレンダーと同様、アルバムは印刷すること、またはディスプレイを通じて見ることができる。
-スライド・ショウ。スライド・ショウ(すなわち順番に表示される一連の画像)は、メモリに記憶させること、またはDVDなどの媒体に記憶させることができる。
-ウェブ・ページ。ウェブ・ページは、ユーザーが選択してマウスその他の手段でクリックしたときにより大きなサイズで表示されるサムネール画像を含む一群の画像を含むことができる。

0104

他の画像製品602として、画像が表面にプリントされるマグカップTシャツ、マウス・パッドパズルなどがある。

図面の簡単な説明

0105

通信網を通じてアクセスできる複数の画像コレクションを示すブロック・ダイヤグラムである。
画像コレクション間のリンクを形成するための本発明の一実施態様のフローチャートである。
図2からのコレクション制御装置のより詳細な図である。
図2からのコレクション制御装置の別の一実施態様を示す。
図4からのコレクション比較装置のより詳細な図である。
一群の画像コレクションと、画像コレクション間のリンク網を示している。
多数の画像コレクションからのラベルを用いて画像コレクションを分類し検索するためのブロック・ダイヤグラムである。
ある画像コレクションのユーザーに対し、2つの異なる画像コレクションからの別々の物体が同じ物体であるかどうかを確認するためになされる質問の一例を示している。
部分画像が異なる人物を示している一例である。
図7からの特徴抽出装置のより詳細な図である。
顔から抽出した特徴点の図である。
図7からの好ましい分類装置のより詳細な図である。
299人の顔に関する局所的特徴と、実際にはそれが誰の顔であるかをプロットしたグラフである。
299人の顔に関する局所的特徴から形成した確率ネットワークを示している。
2つの画像コレクションからの画像と、検出された唯一の物体と、ラベルの例を示している。
図7からの分類装置の出力を画像コレクションの例とともに示してある。
画像コレクションの例から得られた画像検索結果を示している。
画像コレクションから抽出された画像の例を示している。
画像コレクションから抽出された画像の例を示している。

符号の説明

0106

100通信網
102画像コレクション
103コレクション情報
105リンクのコレクション
107 ステップ
109 ステップ
111 ステップ
113 コレクション比較装置
114データベース
115類似度行列
117リンカー
119唯一の物体抽出装置
120ラベル付け装置
121 唯一の物体比較装置
123類似度判定装置
125メタデータ分析装置
127名前表
129 リンク
133 個別の唯一の物体
135分類装置
141 個別物体発見装置
143ディスプレイ
145ユーザー入力
151 物体の照会リスト
153画像選択装置
155画像検索結果
157 唯一の物体
159プロパゲータ
161ボックス
163 ラベル
165 ラベル
171 ラベル
222 画像コレクションAからの画像
224 画像コレクションBからの画像
240局所的特徴検出装置
242 全体的特徴検出装置
244 局所的特徴
246 全体的特徴
251部分画像
253 部分画像
255 部分画像
602画像製品
640確率ネットワーク形成装置
642 確率ネットワーク
802 コレクション制御装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ