技術 クラスタリング装置及び機械学習装置

0001

本発明は、転移学習を導入した機械学習で用いられるクラスタリング装置及び機械学習装置に関する。

0002

画像データから人物を検出する処理や、センサによる計測データの解析処理などに機械学習が用いられている。

0003

例えば、監視カメラにより撮影された画像から人物を検出する場合、人物の特徴を学習することにより生成された識別用特徴データが用いられる。具体的には、機械学習装置は、人物が撮影された複数の画像（複数の学習サンプル）を用いて人物の特徴を学習し、学習結果を反映した識別用特徴データを生成する。人物検出装置は、機械学習装置により生成された識別用特徴データを用いて、監視カメラにより撮影された画像から人物を検出する。

0004

監視カメラの設置環境が学習サンプルを収集する環境と異なる場合、監視カメラにより撮影される人物の見え方は、学習サンプルにおける人物の見え方と異なる。つまり、監視カメラにより撮影される人物の特徴が、学習サンプルに含まれる人物の特徴と異なる。従って、監視カメラにより生成された画像から人物を検出するにあたって学習サンプルから生成された識別用特徴データを用いた場合、人物の検出精度が低下する。人物の検出精度を向上させる場合、カメラの設置環境に合わせて、膨大な数の学習サンプルを準備しなければならず、コストが増大する。

0005

そこで、転移学習を導入した機械学習の手法が提案されている。転移学習は、学習サンプルの収集環境と異なる環境から得られたサンプルを事前に学習し、事前学習により得られた検出対象の特徴を、学習サンプルの学習結果に適用（転移）させる手法である。転移学習は、学習サンプルの数を抑制することができるため、識別用特徴データを生成するためのコストを低減することができる。

0006

転移学習において、事前に学習されるサンプルの集合は、事前ドメインと呼ばれる。事前ドメインの学習結果が転移される対象は、目標ドメインと呼ばれる。監視カメラにより撮影された画像から人物を検出する場合は、目標ドメインは、監視カメラの設置環境に合わせて生成された学習サンプルの集合である。事前ドメインは、監視カメラの設置環境と異なる環境で生成された学習サンプルの集合である。

0007

Xiaoxiao Shi, Wei Fan, Jiangtao Ren, ”Actively Transfer Domain Knowledge”, [online], [平成27年3月1日検索],インターネットPAPERS/ecml08transfer.pdf>

0008

転移学習を用いた場合、負の転移と呼ばれる現象が起こることが知られている。負の転移とは、転移学習のために事前に学習する事前ドメインが目標ドメインに含まれるデータと大きく異なるデータを含んでいた場合に、学習の精度が低下する現象である。このため、転移学習を導入した機械学習を実行する前に、転移学習に有効な事前ドメインを特定し、特定した事前ドメインのみを機械学習に用いることが望ましい。

0009

非特許文献１には、事前ドメインが転移学習に有効であるか否かを判断する方法が開示されている。具体的には、非特許文献１に係る方法は、事前ドメインのみを用いて学習した識別器（事前識別器）と、事前ドメインと目標ドメインとを用いた転移学習を行った識別器（転移識別器）とにサンプルデータをそれぞれ入力する。サンプルデータに対する事前識別器による識別結果が転移識別器による識別結果と同じである場合、この事前ドメインは、転移学習に有効であると判断される。

0010

この結果、非特許文献１に開示されている方法において、転移学習に有効でないと判断された事前ドメインは、転移学習を導入した機械学習に用いられない。転移学習に導入される予定の事前ドメインの数が１つであり、この事前ドメインが転移学習に有効でないと判断された場合、転移学習を導入した機械学習を実行することができない。

0011

従って、事前ドメインが転移学習に有効か否かを判断する場合、複数の事前ドメインを予め準備しておくことが望ましい。しかし、収集されたサンプルを人間が１つずつ確認して、複数の事前ドメインを分類する方法は、現実的でない。また、収集されたデータから複数の事前ドメインを効率的に作成する技術は開発されていない。

0012

本発明は、上記問題点に鑑み、事前ドメインを作成するために収集された複数のデータから、複数の事前ドメインを効率的に作成する技術を提供することを課題とする。

0013

上記課題を解決するため、請求項１に係る発明は、クラスタリング装置であって、転移学習を導入した機械学習に用いられる複数の転移候補データの各々から特徴を抽出して複数の転移候補特徴データを生成するクラスタリング用特徴抽出部と、前記クラスタリング用特徴抽出部により生成された複数の転移候補特徴データの各々が有する特徴に基づいて、各転移候補特徴データを第１グループ及び第２グループを含む複数のグループに分類する分類部と、前記分類部により前記第１グループに分類された転移候補特徴データの数が所定の分類継続基準値以下である場合、前記第１グループを前記機械学習に用いられる事前ドメインに決定し、前記転移候補特徴データの数が前記分類継続基準値よりも大きい場合、前記第１グループに分類された転移候補特徴データをさらに分類することを決定する事前ドメイン決定部と、を備える。

0014

請求項２記載の発明は、請求項１に記載のクラスタリング装置であって、事前ドメイン決定部は、前記第１グループに分類された転移候補特徴データの数が所定の破棄基準値よりも小さい場合、前記第１グループを事前ドメインから除外する。

0015

請求項３記載の発明は、請求項１又は２に記載のクラスタリング装置であって、さらに、前記第１グループに分類された転移候補特徴データの各々が有する特徴量に基づいて、前記第１グループに分類された転移候補特徴データの分散を計算する分散計算部、を備え、前記事前ドメイン決定部は、前記第１グループに分類された転移候補特徴データの数が前記分類継続基準値よりも大きい場合、前記分散計算部により計算された分散を所定の分散基準値と比較し、前記分散計算部により計算された分散が前記分散基準値以下である場合、前記第１グループを事前ドメインに決定する。

0016

請求項４記載の発明は、請求項１ないし３のいずれかに記載のクラスタリング装置であって、前記分類部は、前記第１グループに分類された転移候補特徴データの数が所定の変更基準値よりも大きい場合、前記第１グループに分類された転移候補特徴データを第１の数の下位グループにさらに分類し、前記分類部は、前記第１グループに分類された転移候補特徴データの数が前記変更基準値以下である場合、前記第１グループに分類された転移候補特徴データを前記第１の数よりも小さい第２の数の下位グループに分類する。

0017

請求項５記載の発明は、請求項１ないし５のいずれかに記載のクラスタリング装置であって、前記分類継続基準値が、前記クラスタリング用特徴抽出部により抽出される転移候補特徴データの次元数に基づいて決定される。

0018

請求項６記載の発明は、転移学習を導入した機械学習を実行して検出対象を学習する機械学習装置であって、前記機械学習に用いられる複数の転移候補データを分類して前記機械学習に用いられる事前ドメインを生成するクラスタリング装置と、前記クラスタリング装置により生成された事前ドメインが前記機械学習に有効であるか否かを評価する事前ドメイン評価装置と、を備え、前記クラスタリング装置は、前記複数の転移候補データの各々から特徴を抽出して複数の転移候補特徴データを生成するクラスタリング用特徴抽出部と、前記クラスタリング用特徴抽出部により生成された複数の転移候補特徴データの各々が有する特徴に基づいて、各転移候補特徴データを第１グループ及び第２グループを含む複数のグループに分類する分類部と、前記分類部により前記第１グループに分類された転移候補特徴データの数が所定の分類継続基準値以下である場合、前記第１グループを前記機械学習に用いられる事前ドメインに決定し、前記転移候補特徴データの数が前記分類継続基準値よりも大きい場合、前記第１グループに分類された転移候補特徴データをさらに分類することを決定する事前ドメイン決定部と、を備え、前記事前ドメイン評価装置は、前記事前ドメイン決定部により前記第１グループが前記事前ドメインに決定された場合、前記第１グループに含まれる転移候補特徴データと、各々が所定の条件下における検出対象の特徴を有する学習用データを含む目標ドメインとを用いて前記機械学習を実行して、前記事前ドメインを評価するための評価用識別器を生成する試行転移学習部と、前記試行転移学習部により生成された試行転移識別部に基づいて、前記第１グループが前記機械学習に有効であるか否かを判断する判断部と、を備える。

0019

請求項７記載の発明は、請求項６に記載の機械学習装置であって、前記事前ドメイン評価装置は、さらに、前記目標ドメインに含まれる学習用データの各々が有する特徴を抽出して、学習用特徴データを生成する学習用特徴抽出部、を備え、前記試行転移学習部は、前記学習用特徴データを用いて前記機械学習を実行し、前記学習用特徴抽出部が学習用データから特徴を抽出する条件は、前記クラスタリング用特徴抽出部が前記複数の転移候補データの各々から特徴を抽出する条件と同じである。
請求項８記載の発明は、請求項７に記載の機械学習装置であって、さらに、前記目標ドメインと、前記事前ドメイン評価装置により前記機械学習に有効であると判断された全ての事前ドメインとを用いて前記機械学習を実行して転移識別部を生成する選択学習装置、
を備える。
請求項９記載の発明は、クラスタリング方法であって、転移学習を導入した機械学習に用いられる複数の転移候補データの各々から特徴を抽出して複数の転移候補特徴データを生成するステップと、生成された複数の転移候補特徴データの各々が有する特徴に基づいて、各転移候補特徴データを第１グループ及び第２グループを含む複数のグループに分類するステップと、前記第１グループに分類された転移候補特徴データの数が所定の分類継続基準値以下である場合、前記第１グループを前記機械学習に用いられる事前ドメインに決定するステップと、前記転移候補特徴データの数が前記分類継続基準値よりも大きい場合、前記第１グループに分類された転移候補特徴データをさらに分類することを決定するステップと、を備える。

0020

請求項１０記載の発明は、転移学習を導入した機械学習に用いられる複数の転移候補データの各々を分類するクラスタリング方法をコンピュータに実行させるためのプログラムであって、前記機械学習に用いられる複数の転移候補データの各々から特徴を抽出して複数の転移候補特徴データを生成するステップと、生成された複数の転移候補特徴データの各々が有する特徴に基づいて、各転移候補特徴データを第１グループ及び第２グループを含む複数のグループに分類するステップと、前記第１グループに分類された転移候補特徴データの数が所定の分類継続基準値以下である場合、前記第１グループを前記機械学習に用いられる事前ドメインに決定するステップと、前記転移候補特徴データの数が前記分類継続基準値よりも大きい場合、前記第１グループに分類された転移候補特徴データをさらに分類することを決定するステップと、を備えるクラスタリング方法をコンピュータに実行させるためのプログラムである。

0021

本発明の機械学習装置において、複数の転移候補データから生成された複数の転移候補特徴データは、各々の特徴に基づいて、第１グループ及び第２グループを含む複数のグループに分類される。第１グループに分類された転移候補特徴データの数が分類継続基準値以下である場合、第１グループは、事前ドメインに決定され、転移候補特徴データの数が分類継続基準値よりも大きい場合、第１グループに分類された転移候補特徴データはさらに分類される。これにより、転移学習を導入した機械学習に用いられる事前ドメインを効率的に作成することができる。

0022

本発明の実施の形態に係る機械学習装置の構成を示す機能ブロック図である。
図１に示すクラスタリング装置の構成を示す機能ブロック図である。
図１に示す事前ドメイン評価装置の構成を示す機能ブロック図である。
図１に示す選択学習装置の構成を示す機能ブロック図である。
図１に示す機械学習装置の動作を示すフローチャートである。
図１に示す転移候補データから生成される転移候補特徴データ及び学習用データから生成される学習用特徴データの分布の一例を示す図である。
図６に示す転移候補特徴データを分類することにより生成される事前ドメインの範囲を示す図である。
図５に示す事前ドメイン生成処理のフローチャートである。
図５に示す事前ドメイン生成処理において作成される分類木の初期構造を示す図である。
図９に示す分類木にノードが追加された場合の構造の一例を示す図である。
図５に示す事前ドメイン生成処理が終了したときにおける分類木の構造の一例を示す図である。
図５に示す事前ドメイン評価処理のフローチャートである。
図１１に示す分類木の変形例を示す図である。

0023

以下、図面を参照しつつ、本発明の実施の形態を詳しく説明する。

0024

［１．機械学習装置１００の構成］
［１．１．全体構成］
図１は、本発明の実施の形態に係る機械学習装置１００の構成を示す機能ブロック図である。図１に示す機械学習装置１００は、記憶装置４００に記憶された複数の転移候補データ４１と、記憶装置５００に記憶された目標ドメイン５０Ａとを用いて、転移学習を導入した機械学習を実行する。機械学習装置１００は、上記の機械学習の結果として検出対象を識別するための転移識別データ８０を生成する。

0025

本実施の形態において、検出対象は、人物である。機械学習装置１００により生成される転移識別データ８０は、人物検出装置（図示省略）がカメラにより撮影された画像から人物を検出するために用いられる。機械学習装置１００は、転移識別データ８０を生成するための学習アルゴリズムとして、転移学習を導入したランダムフォレストを用いる。従って、転移識別データ８０は、複数の決定木により構成されるデータ群である。

0026

記憶装置５００は、目標ドメイン５０Ａを記憶する。目標ドメイン５０Ａは、所定の条件下における検出対象（人物）の特徴を有する複数の画像のグループである。目標ドメイン５０Ａは、学習用データ５１，５１，・・・を含む。学習用データ５１は、例えば、俯角０°で人物を撮影した画像である。目標ドメイン５０Ａは、選択学習装置３０が転移学習を導入した機械学習を実行して転移識別データ８０を生成する際に用いられる。

0027

記憶装置４００は、転移候補データ４１，４１，・・・を記憶する。複数の転移候補データ４１は、人物が撮影された画像であり、人物を撮影した画像をインターネット上で検索することにより収集される。転移候補データ４１，４１，・・・の各々の特徴に基づいて転移候補データ４１，４１，・・・を分類することにより、事前ドメイン４５，４５，・・・が生成される。事前ドメイン４５，４５，・・・のうち、転移学習に有効と判断された事前ドメイン４５が、転移識別データ８０の生成に用いられる。

0028

機械学習装置１００は、クラスタリング装置１０と、事前ドメイン評価装置２０と、選択学習装置３０とを備える。

0029

クラスタリング装置１０は、転移候補データ４１の各々の特徴に基づいて転移候補データ４１を分類して、事前ドメイン４５を生成する。

0030

事前ドメイン評価装置２０は、クラスタリング装置１０により生成された事前ドメイン４５の各々が転移学習に有効であるか否かを評価する。事前ドメイン評価装置２０は、各事前ドメイン４５の評価結果を示す評価結果データ２５３Ａを選択学習装置３０に出力する。

0031

選択学習装置３０は、評価結果データ２５３Ａに基づいて、事前ドメイン４５のうち、事前ドメイン評価装置２０により転移学習に有効と判断された事前ドメイン４５を選択する。選択学習装置３０は、選択した事前ドメイン４５と、記憶装置５００に記憶された目標ドメイン５０Ａとを用いて、転移学習を導入した機械学習を実行する。その結果、転移識別データ８０が生成される。

0032

［１．２．クラスタリング装置１０の構成］
図２は、図１に示すクラスタリング装置１０の構成を示す機能ブロック図である。図２に示すように、クラスタリング装置１０は、特徴抽出部１１と、分類部１２と、分散計算部１３と、事前ドメイン決定部１４とを備える。

0033

クラスタリング装置１０は、記憶装置４００から複数の転移候補データ４１を入力する。特徴抽出部１１は、クラスタリング装置１０に入力された複数の転移候補データ４１の各々からＨＯＧ（Histograms of Oriented Gradients）特徴量を抽出して、転移候補データ４１の各々に対応する複数の転移候補特徴データ４２を生成する。以下、特に説明のない限り、ＨＯＧ特徴量を単に「特徴量」と記載する。

0034

分類部１２は、特徴抽出部１１から複数の転移候補特徴データ４２を入力する。分類部１２は、入力した複数の転移候補特徴データ４２の各々に含まれる特徴量に基づいて、転移候補特徴データ４２を複数のグループに分類する。転移候補特徴データ４２の分類には、デンシティフォレスト（Density Forest）と呼ばれるアルゴリズムが用いられる。分類部１２は、１本の分類木を作成しながら、複数の転移候補特徴データ４２を分類する。分類木を構成するノードの各々が、各グループに対応する。

0035

分散計算部１３は、各ノードの共分散を計算する。各ノードの共分散は、各ノードに属する転移候補特徴データ４２が有する特徴量から計算される。各ノードの共分散は、各ノードに属する転移候補特徴データ４２を分類する際に用いられる。また、共分散は、分類木を構成するノードを事前ドメインに決定するか否かを判断するために用いられる。

0036

事前ドメイン決定部１４は、分類木を構成するノードが事前ドメインとしての条件を満たしているか否かを判断する。判断対象のノードに属する転移候補特徴データ４２の数が、予め設定された分類継続基準値以下である場合、事前ドメイン決定部１４は、判断対象のノードを事前ドメインに決定する。

0037

判断対象のノードに属する転移候補特徴データ４２の数が、分類継続基準値より大きい場合、事前ドメイン決定部１４は、判断対象のノードの共分散を予め設定された分散基準値と比較する。判断対象のノードの共分散が分散基準値以下である場合、事前ドメイン決定部１４は、判断対象のノードを事前ドメインに決定する。一方、判断対象のノードの分散が分散基準値より大きい場合、事前ドメイン決定部１４は、判断対象のノードに属する転移候補特徴データ４２をさらに分類することを決定する。

0038

［１．３．事前ドメイン評価装置２０の構成］
図３は、図１に示す事前ドメイン評価装置２０の構成を示す機能ブロック図である。図３に示すように、事前ドメイン評価装置２０は、一時記憶部２１と、特徴抽出部２２と、試行転移学習部２３と、比較学習部２４と、評価部２５とを備える。

0039

事前ドメイン評価装置２０は、記憶装置４００に記憶された目標ドメイン５０Ａを入力し、クラスタリング装置１０により生成された事前ドメイン４５を入力する。

0040

一時記憶部２１は、クラスタリング装置１０から入力した事前ドメイン４５を一時的に記憶する。

0041

特徴抽出部２２は、事前ドメイン評価装置２０に入力された目標ドメイン５０Ａに含まれる学習用データ５１，５１，・・・の各々から特徴量を抽出して、各学習用データ５１に対応する複数の学習用特徴データ５２を生成する。特徴抽出部２２により生成された学習用特徴データ５２は、目標ドメイン５０Ｂを構成する。

0042

試行転移学習部２３は、目標ドメイン５０Ｂを特徴抽出部２２から取得する。試行転移学習部２３は、事前ドメイン４５のうちいずれか１つの事前ドメイン（注目事前ドメイン）を評価対象として一時記憶部２１から取得する。試行転移学習部２３は、取得した目標ドメイン５０Ａ及び注目事前ドメインを用いて、注目事前ドメインの転移学習の有効性を評価するための機械学習（試行転移学習）を実行する。転移学習を導入したランダムフォレストが、試行転移学習のアルゴリズムとして用いられる。試行転移学習の結果、注目事前ドメインに対応する試行転移識別部６３が生成される。試行転移識別部６３の実体は、複数の決定木により構成されるデータ群である。試行転移識別部６３は、事前ドメイン４５ごとに生成される。

0043

比較学習部２４は、注目事前ドメインのみを利用して、比較用の機械学習（比較学習）を実行する。転移学習が導入されないランダムフォレストが、比較学習のアルゴリズムとして用いられる。比較学習の結果、注目事前ドメインに対応する比較識別部６４を生成する。比較識別部６４の実体は、複数の決定木を構成するデータ群である。比較識別部６４は、事前ドメイン４５ごとに生成される。

0044

評価部２５は、試行転移識別部６３及び比較識別部６４による各々の識別結果を用いて、注目事前ドメインが転移学習に有効であるか否かを判断する。評価部２５は、競合値計算部２５１と、信頼度計算部２５２と、転移評価部２５３とを備える。

0045

競合値計算部２５１は、比較識別部６４によるサンプルデータの識別結果を試行転移識別部６３によるサンプルデータの識別結果と比較する。サンプルデータは、目標ドメイン５０Ｂに含まれる学習用特徴データ５２及び注目事前ドメインに含まれる転移候補特徴データ４２のうちいずれかである。競合値計算部２５１は、比較結果に基づいて、競合値２５１Ａを計算する。競合値２５１Ａは、比較識別部６４による識別結果と、試行転移識別部６３による識別結果とが一致しない度合いを示す。

0046

信頼度計算部２５２は、試行転移識別部６３によるサンプルデータの識別結果を用いて、信頼度２５２Ａを計算する。信頼度２５２Ａは、試行転移識別部６３による識別結果の信頼性を示す。

0047

転移評価部２５３は、競合値２５１Ａ及び信頼度２５２Ａに基づいて、注目事前ドメインが転移学習に有効であるか否かを評価する。転移評価部２５３は、事前ドメイン４５の各々の評価を示す評価結果データ２５３Ａを選択学習装置３０へ出力する。

0048

［１．４．選択学習装置３０の構成］
図４は、図１に示す選択学習装置３０の構成を示す機能ブロック図である。図４に示すように、選択学習装置３０は、事前ドメイン選択部３１と、特徴抽出部３２と、転移学習部３３とを備える。

0049

事前ドメイン選択部３１は、クラスタリング装置１０から事前ドメイン４５を入力し、評価結果データ２５３Ａを事前ドメイン評価装置２０から入力する。事前ドメイン選択部３１は、入力した評価結果データ２５３Ａに基づいて、クラスタリング装置１０により生成された事前ドメイン４５のうち、転移学習に有効と評価された事前ドメイン４５を選択する。

0050

特徴抽出部３２は、記憶装置５００に記憶された目標ドメイン５０Ａを取得する。特徴抽出部３２は、特徴抽出部２２と同様に、取得した目標ドメイン５０Ａに含まれる学習用データ５１，５１，・・・の各々から特徴量を抽出して目標ドメイン５０Ｂを生成する。

0051

転移学習部３３は、目標ドメイン５０Ｂと、事前ドメイン選択部３１により選択された事前ドメイン４５とを用いて、転移学習を導入した機械学習を実行する。転移学習部３３が用いる学習アルゴリズムは、試行転移学習部２３が用いる学習アルゴリズムと同じである。転移学習部３３は、転移学習を導入した機械学習の結果として、転移識別データ８０を生成する。

0052

［２．動作概略］
図５は、機械学習装置１００の動作の概略を示すフローチャートである。図５に示すように、機械学習装置１００において、クラスタリング装置１０は、記憶装置４００に記憶された転移候補データ４１，４１，・・・から事前ドメイン４５を生成する事前ドメイン生成処理を実行する（ステップＳ１）。

0053

クラスタリング装置１０により生成される事前ドメイン４５の数は、特に限定されない。事前ドメイン４５の各々は、転移候補データ４１から特徴量を抽出することにより生成された転移候補特徴データ４２を有する。

0054

事前ドメイン評価装置２０は、クラスタリング装置１０により生成された事前ドメイン４５の各々が転移学習に有効であるか否かを判断する事前ドメイン評価処理を実行する（ステップＳ２）。事前ドメイン評価装置２０は、ステップＳ２の結果として、評価結果データ２５３Ａを生成する。評価結果データ２５３Ａは、クラスタリング装置１０により生成された事前ドメイン４５のうち、転移学習に有効と判断された事前ドメイン４５を特定したデータである。

0055

選択学習装置３０において、事前ドメイン選択部３１は、評価結果データ２５３Ａに基づいて、クラスタリング装置１０により生成された事前ドメイン４５の中から、転移学習に有効と判断された事前ドメイン４５を選択する（ステップＳ３）。

0056

特徴抽出部３２（図４参照）は、記憶装置５００から目標ドメイン５０Ａを取得する。特徴抽出部３２は、取得した目標ドメイン５０Ａに含まれる学習用データ５１の各々から特徴量を抽出して、複数の学習用特徴データ５２を生成する（ステップＳ４）。特徴抽出部３２により実行される処理は、図３に示す特徴抽出部２２により実行される処理と同じである。つまり、特徴抽出部３２は、複数の学習用特徴データ５２により構成される目標ドメイン５０Ｂを生成する。

0057

転移学習部３３は、事前ドメイン選択部３１により選択された事前ドメイン４５と、特徴抽出部３２により生成された目標ドメイン５０Ｂとを用いて、転移学習を導入した機械学習を実行する（ステップＳ５）。転移学習部３３は、試行転移学習部２３が用いる学習アルゴリズムと同じ学習アルゴリズム（転移学習を導入したランダムフォレスト）を用いる。これにより、複数の決定木を示すデータ群である転移識別データ８０が生成される。

0058

以下、事前ドメイン生成処理（ステップＳ１）及び事前ドメイン評価処理（ステップＳ２）が実行される理由を説明する。

0059

図６は、目標ドメイン５０Ｂ及び転移候補特徴データ４２の分布の一例を示す図である。図６は、転移候補特徴データ４２及び学習用特徴データ５２の特徴量の次元数が２である場合を例にして、転移候補特徴データ４２の分布と、目標ドメイン５０Ｂを構成する学習用特徴データ５２の分布とを示している。

0060

目標ドメイン５０Ｂは、学習用データ５１から特徴量を抽出することにより生成された学習用特徴データ５２を含む。複数の学習用データ５１は、上述のように、俯角０°で撮影した人物を含む画像であるため、互いに類似する特徴を有する。従って、図６に示す２次元空間において、学習用特徴データ５２のばらつきは小さく、目標ドメイン５０Ｂは、比較的狭い領域に限定される。

0061

一方、転移候補特徴データ４２の分布は、学習用特徴データ５２に比べてばらつきが大きい。転移候補データ４１は、インターネット上で検出対象（人物）を検索することにより収集されるため、転移候補データ４１の人物の撮影条件は、様々である。転移候補特徴データ４２は、転移候補データ４１から特徴量を抽出することにより生成される。従って、転移候補特徴データ４２は、図６に示す２次元空間全体に広がり、その位置はランダムである。

0062

ここで、転移学習を導入した機械学習について、画像から人物を検出する場合を例に説明する。転移学習を導入した機械学習では、目標ドメインと、事前ドメインとが予め準備される。目標ドメインは、所定の条件下における検出対象の特徴を有する画像のグループである。本実施の形態において、検出対象は人物であり、所定の条件は、検出対象（人物）が俯角０°で撮影された画像に含まれていることである。

0063

事前ドメインは、上記の所定の条件と異なる条件下における検出対象の特徴を有する画像のグループである。事前ドメインは、収集された画像を所定の規則により分類することにより生成される。例えば、収集された各画像の撮影条件がわかっている場合、収集された画像を撮影条件に応じて分類することができる。これにより、事前ドメインは、互いに共通する、又は類似する特徴を有する画像の集合となる。

0064

機械学習装置が転移学習を導入した機械学習を実行する場合、最初に事前ドメインの学習が行われ、次に目標ドメインの学習が行われる。そして、機械学習装置は、俯角０°で撮影された人物の特徴と共通又は類似する特徴を有する画像を特定し、特定した画像が有する特徴を、目標ドメイン５０Ｂに含まれる画像の学習結果に転移させる。これにより、目標ドメインを構成する画像の数を削減することができるとともに、人物の識別精度を向上させることができる。

0065

しかし、ある事前ドメインにおける画像の特徴が、目標ドメインにおける画像の特徴と大きく異なる場合、負の転移が発生する。この理由は、この事前ドメインにおける画像の特徴が、転移学習により、目標ドメインにおける画像の学習結果に反映されるためである。この結果、転移学習を導入した機械学習の結果として生成される識別器の精度が低下する。

0066

図６に示すように、２次元空間全体に広がる全ての転移候補特徴データ４２を１つの事前ドメインとした場合、目標ドメイン５０Ｂの領域から離れた転移候補特徴データ４２が、転移学習に用いられることになる。この場合、負の転移が発生する可能性が非常に高い。負の転移の発生を防ぐためには、互いに共通する、又は類似する特徴を有する転移候補特徴データ４２同士をまとめることにより、事前ドメイン４５を生成し、生成した事前ドメイン４５が、転移学習を導入した機械学習に有効であるか否かを判断すればよい。事前ドメイン生成処理（ステップＳ１）は、互いに共通する、又は類似する特徴を有する転移候補特徴データ４２の集合である事前ドメイン４５を生成するために実行される。

0067

図７は、図６に示す転移候補特徴データ４２を分類した一例を示す図である。クラスタリング装置１０は、図７に示す転移候補特徴データ４２を分類することにより、事前ドメイン４５Ａ〜４５Ｇを生成する。

0068

事前ドメイン４５Ａ〜４５Ｇの中で、事前ドメイン４５Ａ及び４５Ｆは、目標ドメイン５０Ｂと重複していない。従って、事前ドメイン４５Ａ及び４５Ｆは、転移学習を導入した機械学習に有効でない。また、事前ドメイン４５Ｄは、目標ドメイン５０Ｂと重複しているが、重複している範囲が他の事前ドメインに比べて少ない。従って、事前ドメイン４５Ｄは、負の転移を発生させる可能性があり、転移学習に有効でない。

0069

このように、事前ドメイン生成処理（ステップＳ１）により、負の転移を発生させる可能性がある（転移学習に有効でない）事前ドメインが生成される可能性がある。転移学習を導入した機械学習の結果として生成される転移識別器の精度を向上させるためには、転移学習に有効でない事前ドメインを予め除外しておくことが望ましい。このため、事前ドメイン評価処理（ステップＳ２）は、事前ドメイン生成処理（ステップＳ１）により生成された事前ドメイン４５Ａ〜４５Ｇの中で、転移学習に有効な事前ドメインを特定するために行われる。

0070

［３．事前ドメイン生成処理（ステップＳ１）］
図８は、事前ドメイン生成処理（ステップＳ１）のフローチャートである。図８を参照しながら、記憶装置４００に記憶された転移候補データ４１，４１，・・・から事前ドメイン４５を生成するクラスタリング装置１０の動作を詳しく説明する。

0071

［３．１．ＨＯＧ特徴量の抽出］
クラスタリング装置１０は、記憶装置４００に記憶された全ての転移候補データ４１を取得する。クラスタリング装置１０において、特徴抽出部１１（図２参照）は、取得した全ての転移候補データ４１の各々からＨＯＧ特徴量を抽出する（ステップＳ１０１）。これにより、全ての転移候補データ４１の各々に対応する複数の転移候補特徴データ４２が生成される。

0072

特徴抽出部１１は、転移候補データ４１からＨＯＧ特徴量を抽出する条件を、例えば、以下のように設定する。転移候補データ４１の色チャンネルは、グレースケールに設定される。転移候補データ４１のサイズは、縦６０ピクセル、横３０ピクセルに設定される。

0073

ＨＯＧ特徴量の抽出時のパラメータとして、セル、ブロック、勾配方向数が設定される。セルは、輝度の勾配方向を計算する単位領域である。ブロックは、輝度の勾配方向のヒストグラムを作成する単位領域である。勾配方向数は、０°以上１８０°以下の範囲における分割数である。

0074

例えば、１セルの大きさは、縦５ピクセル、横５ピクセルに設定される。１ブロックの大きさは、縦３ピクセル、横３ピクセルに設定される。勾配方向数は、９に設定される。勾配方向数が９である場合、各セルの勾配方向は、２０°おきに９方向に分割され、９方向のうちいずれかの方向に設定される。この場合、転移候補特徴データ４２の次元数は、３２４０となる。

0075

［３．２．ルートノード３５Ｒにおける分類可否の判断］
図９は、分類部１２により生成される分類木３５の初期構造を示す図である。分類部１２は、転移候補特徴データ４２を分類するためのアルゴリズムとしてデンシティフォレストを用いる。デンシティフォレストを用いる場合、通常であれば、複数の分類木が生成されるが、分類部１２は、１本の分類木のみを生成する。

0076

分類木３５は、転移候補特徴データ４２が分類部１２により分類される過程で形成される。分類木３５を構成するノードのうち、所定の条件を満たすノードが、事前ドメインに決定される。

0077

分類部１２は、分類木３５のルートノード３５Ｒを作成する（ステップＳ１０２）。図９に示すノード３５Ａ及び３５Ｂは、ステップＳ１０２が実行される時点では生成されない。分類部１２は、特徴抽出部１１により生成された全ての転移候補特徴データ４２を、ルートノード３５Ｒに入力する（ステップＳ１０３）。ルートノード３５Ｒに入力される転移候補特徴データ４２の数は、３００００である。

0078

次に、事前ドメイン決定部１４は、分類木３５において、全てのノードを分類対象ノードとして選択したか否かを判断する（ステップＳ１０４）。ルートノード３５Ｒが分類対象として選択されていないため（ステップＳ１０４においてＮｏ）、事前ドメイン決定部１４は、ルートノード３５Ｒを分類対象に選択する（ステップＳ１０５）。

0079

事前ドメイン決定部１４は、ステップＳ１０６を実行して、ルートノード３５Ｒが事前ドメインとしての条件を満たしているか否かを判断する。具体的には、事前ドメイン決定部１４は、ルートノード３５Ｒに属する転移候補特徴データ４２の数を取得する。事前ドメイン決定部１４は、取得した転移候補特徴データ４２の数が予め設定された分類継続基準値より大きいか否かを判断する（ステップＳ１０６）。分類継続基準値は、例えば、９２７０に設定される。

0080

ルートノード３５Ｒに属する転移候補特徴データ４２の数（３００００）は、分類継続基準値（９２７０）より大きい（ステップＳ１０６においてＹｅｓ）。この場合、ルートノード３５Ｒに属する転移候補特徴データ４２の数が多すぎるため、ルートノード３５Ｒを事前ドメイン４５として用いることができない。

0081

上述のように、１つの事前ドメインが全ての転移候補特徴データ４２を含む場合、転移学習を導入した機械学習により生成される転移識別データ８０の精度が低下する。ルートノード３５Ｒは、分類継続基準値よりも多い転移候補特徴データ４２を含むため、上記１つの事前ドメインと同様に、目標ドメイン５０Ｂの領域から大きく離れた転移候補特徴データ４２を数多く含む。この場合、事前ドメイン決定部１４は、ルートノード３５Ｒに属する転移候補特徴データ４２を分類する条件の１つが満たされていると判断する。

0082

分類継続基準値は、特徴抽出部１１により抽出される特徴量の次元数より大きい。例えば、本実施の形態では、分類継続基準値は、転移候補特徴データ４２の次元数（３２４０）の３倍である９７２０に設定される。

0083

次に、クラスタリング装置１０は、ステップＳ１０７及びＳ１０８を実行して、ルートノード３５Ｒの共分散に基づいて、ルートノード３５Ｒに属する転移候補特徴データ４２を分類する条件が満たされているか否かを判断する。

0084

事前ドメイン決定部１４は、分類対象のノード（ルートノード３５Ｒ）の共分散４４（図３参照）の計算を分類部１２に指示する。分類部１２は、事前ドメイン決定部１４の指示に応じて、分類対象のノード（ルートノード３５Ｒ）に属する転移候補特徴データ４２を分散計算部１３に出力する。分散計算部１３は、分類部１２から出力された転移候補特徴データ４２を用いて、分類対象のノードに属する転移候補特徴データ４２の特徴量の共分散１３Ａを計算する。分散計算部１３は、計算した共分散１３Ａを事前ドメイン決定部１４に出力する。

0085

事前ドメイン決定部１４は、分散計算部１３により計算された共分散１３Ａ（ルートノード３５Ｒの共分散）が予め設定された分散基準値よりも大きいか否かを判断する（ステップＳ１０８）。共分散１３Ａは、分散基準値よりも大きいと仮定する（ステップＳ１０８においてＹｅｓ）。

0086

上述のように、ルートノード３５Ｒは全ての転移候補特徴データ４２を含んでおり、全ての転移候補特徴データ４２のばらつきは非常に大きい。この場合、共分散４４は非常に大きいため、事前ドメイン決定部１４は、ルートノード３５Ｒに属する転移候補特徴データ４２をさらに分類することができると判断する。事前ドメイン決定部１４は、ルートノード３５Ｒに属する転移候補特徴データ４２の分類を分類部１２に指示する。

0087

［３．３．転移候補特徴データ４２の分類］
分類部１２は、事前ドメイン決定部１４の指示に応じて、ルートノード３５Ｒに属する転移候補特徴データ４２を分類するために、ルートノード３５Ｒの子ノードとして、ノード３５Ａ及び３５Ｂを生成する（ステップＳ１０９）。

0088

分類部１２は、ルートノード３５Ｒに属する転移候補特徴データ４２を、ステップＳ１０９で生成したノード３５Ａ及び３５Ｂのいずれかに分類する（ステップＳ１１０）。具体的には、下記式（１）に示す目的関数Ｉに基づいて、転移候補特徴データ４２の分類先のノードが決定される。

0089

0090

式（１）において、Ｓは、親ノード（ルートノード３５Ｒ）である。ＳＬは、２つの子ノードのうち左側のノード（ノード３５Ａ）であり、ＳＲは、２つの子ノードのうち右側のノード（ノード３５Ｂ）である。Λ（Ｓ）は、親ノードの共分散であり、Λ（ＳＬ）は、左側の子ノードの共分散であり、Λ（ＳＲ）は、右側の子ノードの共分散である。

0091

分類部１２は、式（１）に示す目的関数Ｉを計算するために、ルートノード３５Ｒに属する転移候補特徴データ４２を暫定的に分類する。具体的には、分類部１２は、以下のようにして、転移候補特徴データ４２の暫定的な分岐条件を設定する。

0092

転移候補特徴データ４２の次元数は、３２４０である。つまり、転移候補特徴データ４２は、３２４０個の特徴量を有する。分類部１２は、３２４０個の特徴量のうち、ｋ番目（０≦ｋ≦３２３９）の特徴量をランダムに選択し、ｋ番目の特徴量のしきい値をランダムに設定する。これにより、暫定的な分岐条件が設定される。

0093

分類部１２は、設定した分岐条件に基づいて、ルートノード３５Ｒに属する転移候補特徴データ４２を、ノード３５Ａ又は３５Ｂに暫定的に分類する。分散計算部１３は、ノード３５Ａに分類された転移候補特徴データ４２の共分散と、ノード３５Ｂに暫定的に分類された転移候補特徴データ４２の共分散とを計算する。ルートノード３５Ｒの共分散は、ステップＳ１０５において既に計算されている。分類部１２は、これら３つの共分散を用いて、ルートノード３５Ｒの目的関数Ｉを計算する。

0094

分類部１２は、ルートノード３５Ｒにおいて複数の分岐条件を設定する。分類部１２は、各分岐条件に対応する目的関数Ｉを計算するために、各分岐条件に基づいて転移候補特徴データ４２を暫定的に分類する。暫定的に分類された転移候補特徴データ４２に基づいて、各分岐条件における目的関数Ｉを計算する。分類部１２は、計算した複数の目的関数Ｉの中で最大の目的関数Ｉを特定する。分類部１２は、最大の目的関数Ｉに対応する分岐条件で、ルートノード３５Ｒに属する転移候補特徴データ４２を分類することを決定する。これにより、ルートノード３５Ｒに属する転移候補特徴データ４２は、ノード３５Ａ及び３５Ｂのいずれかに分類される。

0095

図１０は、ルートノード３５Ｒに属する転移候補特徴データ４２が分類された後における分類木３５を示す図である。なお、転移候補特徴データ４２のノード３５Ａ及び３５Ｂへの分類が終了した時点では、ノード３５Ｂの子ノード（ノード３５Ｃ及び３５Ｄ）は、生成されていない。

0096

ルートノード３５Ｒに属する３００００個の転移候補特徴データ４２を分類した結果、７０００個の転移候補特徴データ４２が、ノード３５Ａに分類される。２３０００個の転移候補特徴データ４２が、ノード３５Ｂに分類される。これにより、ルートノード３５Ｒに属する転移候補特徴データ４２を２つの子ノードに分類するステップＳ１１０が終了する。

0097

［３．４．ノード３５Ａにおける判断］
ルートノード３５Ｒに属する転移候補特徴データ４２の分類が終了した後に、事前ドメイン決定部１４は、分類対象として全てのノードが選択されたか否かを判断する（ステップＳ１０４）。事前ドメイン決定部１４は、選択されていないノード３５Ａ及び３５Ｂが存在するため（ステップＳ１０４において、Ｎｏ）、次の判断対象となるノードを前順で選択する（ステップＳ１０５）。具体的には、分類部１２は、ノード３５Ａを選択する。

0098

図１０に示すように、ノード３５Ａに属する転移候補特徴データ４２の数は、７０００である。ノード３５Ａに属する転移候補特徴データ４２の数が、分類継続基準値（９２７０）以下であるため（ステップＳ１０６においてＮｏ）、事前ドメイン決定部１４は、ノード３５Ａを事前ドメイン４５に決定する（ステップＳ１１１）。つまり、事前ドメイン決定部１４は、ノード３５Ａに属する転移候補特徴データ４２をさらに分類しないことを決定し、ノード３５Ａをリーフノードに設定する。

0099

［３．５．ノード３５Ｂにおける判断］
次に、事前ドメイン決定部１４は、ノード３５Ｂを判断対象として選択する（ステップＳ１０５）。ノード３５Ｂに属する転移候補特徴データ４２の数は、２３０００であり、分類継続基準値（９２７０）よりも大きい（ステップＳ１０６においてＹｅｓ）。また、ノード３５Ｂの共分散は、分散基準値よりも大きいと仮定する（ステップＳ１０８においてＹｅｓ）。この場合、事前ドメイン決定部１４は、ノード３５Ｂに属する転移候補特徴データ４２をさらに分類することを決定する。

0100

分類部１２は、ノード３５Ｂに対する事前ドメイン決定部１４の決定に応じて、ノード３５Ｂの子ノード（ノード３５Ｃ及び３５Ｄ）を生成する（ステップＳ１０９）。分類部１２は、ルートノード３５Ｒにおける転移候補特徴データ４２の分類と同様に、ノード３５Ｂに属する転移候補特徴データ４２を、ノード３５Ｃ及び３５Ｄのいずれかに分類する（ステップＳ１１０）。

0101

図１１は、事前ドメイン生成処理（ステップＳ１）が終了した後の分類木３５を示す図である。図１１に示すように、ノード３５Ｂに属する転移候補特徴データ４２を、ノード３５Ｃ及び３５Ｄに分類した結果、１５０００個の転移候補特徴データ４２が、ノード３５Ｃに分類され、８０００個の転移候補特徴データ４２が、ノード３５Ｄに分類される。

0102

ノード３５Ｃに属する転移候補特徴データ４２の数は、分類継続基準値（９２７０）よりも大きい（ステップＳ１０６においてＹｅｓ）。また、ノード３５Ｃの共分散が分散基準値よりも大きいと仮定する（ステップＳ１０８においてＹｅｓ）。この場合、事前ドメイン決定部１４は、ノード３５Ｃに属する転移候補特徴データ４２をさらに分類することを決定する。ノード３５Ｃに属する転移候補特徴データ４２の分類については、後述する。

0103

一方、ノード３５Ｄに属する転移候補特徴データ４２の数が分類継続基準値以下であるため（ステップＳ１０６においてＮｏ）、事前ドメイン決定部１４は、ノード３５Ｄを事前ドメインに決定する。

0104

［３．６．転移候補特徴データ４２の分類の終了］
分類部１２は、ノード３５Ｃの子ノードとしてノード３５Ｅ及び３５Ｆを生成し（ステップＳ１０９）、ノード３５Ｃに属する転移候補特徴データ４２をノード３５Ｅ及び３５Ｆに分類する（ステップＳ１１０）。

0105

ノード３５Ｅに属する転移候補特徴データ４２の数は、５００であり、分類継続基準値以下である（ステップＳ１０６においてＮｏ）。このため、事前ドメイン決定部１４は、ノード３５Ｅを事前ドメインに決定する（ステップＳ１１１）。

0106

ノード３５Ｆに属する転移候補特徴データ４２の数は、１４５００であり、分類継続基準値よりも大きい（ステップＳ１０６においてＹｅｓ）。一方、ノード３５Ｆの共分散が、分散基準値よりも小さいと仮定する（ステップＳ１０８においてＮｏ）。この場合、事前ドメイン決定部１４は、ノード３５Ｆに属する転移候補特徴データ４２の特徴量の分布のばらつきが非常に小さいと判断する。例えば、ノード３５Ｆに属する転移候補特徴データ４２の大半が、同一の画像から生成される場合が考えられる。この場合、事前ドメイン決定部１４は、ノード３５Ｆに含まれる転移候補特徴データ４２をさらに分類することができないと判断し、ノード３５Ｆを事前ドメインに決定する（ステップＳ１１１）。これにより、分類木３５を構成する全てのノードを判断対象として選択したため（ステップＳ１０４においてＹｅｓ）、クラスタリング装置１０は、ステップＳ１１２に進む。

0107

［３．７．事前ドメインの除外］
事前ドメイン決定部１４は、事前ドメインに決定された各ノードが有する転移候補特徴データ４２の数を確認する。事前ドメイン決定部１４は、予め設定された破棄基準値以下の数の転移候補特徴データ４２を有するノードがある場合、このノードを事前ドメインから除外する（ステップＳ１１２）。破棄基準値は、例えば、転移候補特徴データ４２の次元数（３２４０）に設定される。具体的には、事前ドメインに決定されたノード３５Ｅは、転移候補特徴データ４２の数が５００であるため、事前ドメインから除外される。

0108

上述のように、学習に用いられる数のデータが次元数よりも少ない場合、生成される識別装置の精度が低下する可能性がある。

0109

分類継続基準値は、特徴抽出部１１により抽出される特徴量の次元数より大きい。機械学習において、学習に用いられるデータの数が学習に用いられるデータの次元数よりも少ない場合、学習に用いられるデータの特徴の学習結果が過大に評価され、転移識別データ８０の精度が低下する。このため、本実施の形態では、破棄基準値が、転移候補特徴データ４２の次元数である３２４０に設定される。これにより、事前ドメイン４５に属する転移候補特徴データ４２の数が、転移候補特徴データ４２の次元数より少なくなることを防ぐことができる。

0110

また、ある事前ドメインに含まれる転移候補特徴データ４２の数が、破棄基準値よりも少ない場合、この事前ドメインに含まれる転移候補特徴データ４２は、検出対象の特徴を有していない可能性が高い。

0111

例えば、インターネット上で人物の画像を収集する際に、人物以外の物が撮影された画像が転移候補データ４１として誤って取得される場合がある。誤って収集された転移候補データ４１から生成された転移候補特徴データ４２は、人物の特徴を有する転移候補特徴データ４２と異なる特徴を有し、転移学習に有効でない。また、検索条件が人物を撮影した画像であるため、人物以外の物が撮影された画像が転移候補データ４１の集合において占める割合は、非常に小さいと想定される。

0112

従って、あるノードに属する転移候補特徴データ４２の数が破棄基準値よりも少ない場合、このノードは、誤って収集された転移候補データ４１から生成された転移候補特徴データ４２により構成されると考えられる。事前ドメイン決定部１４は、破棄基準値以下の数の転移候補特徴データ４２を有するノードを、事前ドメインから除外する。

0113

この結果、図１１に示す分類木３５において、ノード３５Ａ、３５Ｄ及び３５Ｆが事前ドメイン４５に決定される。クラスタリング装置１０は、決定された３つの事前ドメイン４５を事前ドメイン評価装置２０及び選択学習装置３０に出力する。

0114

以上説明したように、クラスタリング装置１０は、転移候補データ４１の各々から特徴を抽出して複数の転移候補特徴データ４２を生成し、分類木３５を作成する過程で、複数の転移候補特徴データ４２を分類木３５のノードに分類する。クラスタリング装置１０は、ノードに属する転移候補特徴データ４２の数が分類継続基準値以下であるか、ノードに属する転移候補特徴データ４２の共分散が分散基準値以下である場合、このノードを事前ドメインに決定する。これにより、互いに類似する、又は共通する特徴を有する転移候補特徴データ４２により構成される事前ドメインを生成することができる。

0115

［４．事前ドメイン評価処理（ステップＳ２）］
図１２は、図５に示す事前ドメイン評価処理（ステップＳ２）のフローチャートである。事前ドメイン評価装置２０が、ステップＳ２に示す処理を開始する際に、試行転移識別部６３が試行転移学習部２３内に生成されておらず、比較識別部６４が比較学習部２４内に生成されていない。

0116

［４．１．目標ドメイン５０Ｂの生成］
事前ドメイン評価装置２０は、クラスタリング装置１０により生成された事前ドメイン４５を取得する。具体的には、事前ドメイン評価装置２０は、図１１に示す分類木３５を作成する過程で生成された３つの事前ドメイン４５（図１１に示すノード３５Ａ、３５Ｄ、３５Ｆ）を取得する。事前ドメイン評価装置２０は、取得した事前ドメイン４５を一時記憶部２１に記憶する（ステップＳ２０１）。

0117

以下、ノード３５Ａ、３５Ｄ及び３５Ｆを、それぞれ「事前ドメイン３５Ａ」、「事前ドメイン３５Ｄ」、「事前ドメイン３５Ｆ」と記載する。

0118

特徴抽出部２２（図３参照）が、記憶装置５００に記憶された目標ドメイン５０Ａを取得する。特徴抽出部２２は、取得した目標ドメイン５０Ａに含まれる学習用データ５１の各々から特徴量を抽出することにより、学習用データ５１の各々に対応する複数の学習用特徴データ５２を生成する（ステップＳ２０２）。これにより、複数の学習用特徴データ５２により構成される目標ドメイン５０Ｂが生成される。特徴抽出部２２は、生成した目標ドメイン５０Ｂを試行転移学習部２３に出力する。

0119

特徴抽出部２２は、特徴抽出部１１（図２参照）が転移候補データ４１から転移候補特徴データ４２を生成する時と同じ条件で、特徴量の抽出を行う。従って、学習用特徴データ５２の次元数は、転移候補特徴データ４２の次元数と同じ３２４０である。この理由については後述する。

0120

事前ドメイン評価装置２０は、一時記憶部２１に記憶された事前ドメイン４５のうち、転移学習に有効か否かを評価する対象となる事前ドメインを１つ選択する（ステップＳ２０３）。具体的には、一時記憶部２１に記憶されている事前ドメイン３５Ａ、３５Ｄ及び３５Ｆのうち、最初に事前ドメイン３５Ａが選択される。

0121

［４．２．比較学習及び試行転移学習］
比較学習部２４は、ステップＳ２０３において選択された事前ドメイン３５Ａを入力する。比較学習部２４は、入力した事前ドメイン３５Ａを学習する（ステップＳ２０４）。比較学習部２４の学習アルゴリズムは、転移学習が導入されていないランダムフォレストである。比較学習部２４は、ステップＳ２０４を実行することにより、事前ドメイン３５Ａの学習結果を反映した比較識別部６４を生成する。比較識別部６４は、複数の決定木の構造を示すデータ群である。

0122

試行転移学習部２３は、特徴抽出部２２から目標ドメイン５０Ｂを取得し、一時記憶部２１から事前ドメイン３５Ａを取得する。試行転移学習部２３は、入力した目標ドメイン５０Ｂ及び事前ドメイン３５Ａを用いて、転移学習を導入した機械学習を行う（ステップＳ２０５）。試行転移学習部２３の学習アルゴリズムは、転移学習を導入したランダムフォレストである。試行転移学習部２３は、ステップＳ２０５を実行することにより、目標ドメイン５０Ａ及び事前ドメイン３５Ａの学習結果を反映した試行転移識別部６３を生成する。試行転移識別部６３は、複数の決定木の構成を示すデータ群である。試行転移学習部２３において用いられる学習アルゴリズム及びドメインが比較学習部２４のものと異なるため、試行転移識別部６３の構造は、比較識別部６４の構造と異なる。

0123

［４．３．事前ドメインの評価（ステップＳ２０６）］
評価部２５は、試行転移学習部２３により生成された試行転移識別部６３と比較学習部２４により生成された比較識別部６４とを用いて、評価対象の事前ドメイン３５Ａが転移学習に有効であるか否かを判断する（ステップＳ２０６）。

0124

評価部２５は、転移学習の有効性を判断するために、競合値２５１Ａ及び信頼度２５２Ａの２種類のパラメータを計算する。評価部２５は、信頼度２５２Ａを計算する場合、サンプルグループに含まれるデータの試行転移識別部６３による識別結果を利用する。ここで、サンプルグループとは、目標ドメイン５０Ｂに含まれる学習用特徴データ５２と、評価対象である事前ドメイン３５Ａに含まれる転移候補特徴データ４２とを合わせた集合である。以下、サンプルグループに含まれるデータを、「サンプルデータ」と記載する。評価部２５は、競合値２５１Ａを計算する場合、試行転移識別部６３による識別結果に加えて、比較識別部６４による識別結果を利用する。

0125

［４．３．１．競合値２５１Ａの計算］
競合値計算部２５１は、試行転移識別部６３により生成される各画像のラベルと、比較識別部６４により生成される各画像のラベルとの比較結果に基づいて、競合値２５１Ａを計算する。

0126

試行転移識別部６３は、サンプルグループに含まれるサンプルデータのうち、いずれか１つを入力する。試行転移識別部６３は、サンプルデータに対して人物の識別処理を行い、識別結果を示すラベル７３を生成する。ラベル７３の値は、例えば、０又は１である。ラベル７３が０である場合、ラベル７３は、サンプルデータが人物の特徴を含まないことを示す。ラベル７３が１である場合、ラベル７３は、サンプルデータが人物の特徴を含むことを示す。試行転移識別部６３は、生成したラベル７３を競合値計算部２５１に出力する。

0127

なお、試行転移識別部６３は、サンプルデータの識別結果として、ラベル７３だけでなく、ラベル７３の確からしさを示す確度８３を計算する。確度８３は、後述する信頼度２５２Ａの計算に用いられる。

0128

比較識別部６４は、試行転移識別部６３に入力されたサンプルデータと同じデータを入力する。比較識別部６４は、サンプルデータに対して人物の識別処理を行い、識別結果を示すラベル７４を生成する。ラベル７４の値は、ラベル７３と同様に、０又は１である。ラベル７４が０である場合、ラベル７４は、サンプルデータが人物の特徴を含まないことを示す。ラベル７４が１である場合、ラベル７４は、サンプルデータが人物の特徴を含むことを示す。比較識別部６４は、生成したラベル７４を競合値計算部２５１に出力する。

0129

競合値計算部２５１は、サンプルデータから生成されるラベル７３及び７４を用いて、競合値２５１Ａを計算する。競合値２５１Ａは、下記式（２）により計算される。

0130

0131

式（２）において、Ｅｃ１は、競合値２５１Ａを示す。Ｘは、サンプルグループを示す。ｘは、サンプルグループを構成する要素（サンプルデータ）を示す。Ｍ（ｘ）は、要素ｘから生成されたラベル７４を示す。Ｔ（ｘ）は、要素ｘから生成されたラベル７３を示す。［Ｍ（ｘ）≠Ｔ（ｘ）］は、ラベル７４とラベル７３とが一致しなかったサンプルデータの数を示す。｜Ｘ｜は、サンプルグループＸを構成する要素の数である。

0132

式（２）により計算される競合値２５１Ａは、同一のサンプルデータから生成されるラベル７３及びラベル７４が一致しない確率を示す。競合値２５１Ａは、０以上１以下の数値である。競合値２５１Ａが０に近づくほど、競合値２５１Ａは、転移学習における事前ドメイン３５Ａの有効性が高いことを示す。一方、競合値２５１Ａが１に近づくほど。転移学習における事前ドメイン３５Ａの有効性が低いことを示す。

0133

目標ドメイン５０Ｂに含まれる学習用特徴データ５２と、評価対象の事前ドメイン３５Ａに含まれる転移候補特徴データ４２との相違点が多い場合、事前ドメイン３５Ａは、転移学習に有効ではない。この場合、競合値２５１Ａは、１に近づく。以下、その理由を説明する。

0134

上述のように、比較学習部２４は、事前ドメイン３５Ａのみを学習する。このため、事前ドメイン３５Ａの学習結果のみが、比較識別部６４に反映される。

0135

一方、試行転移識別部６３が、目標ドメイン５０Ａ及び事前ドメイン３５Ａとを用いて転移学習を導入した機械学習を実行している。しかし、目標ドメイン５０Ｂに含まれる学習用特徴データ５２と、評価対象の事前ドメイン３５Ａに含まれる転移候補特徴データ４２との相違点が多い場合、事前ドメイン３５Ａに含まれる転移候補特徴データ４２の学習結果が、学習用特徴データ５２の学習結果に反映されない。つまり、試行転移識別部６３と、比較識別部６４とは、互いに異なるドメインを学習することにより生成されたと考えることができる。この場合、試行転移識別部６３と、比較識別部６４との識別結果が一致しない場合が増加し、競合値２５１Ａが増加する。従って、競合値２５１Ａに基づいて、事前ドメイン３５Ａが転移学習に有効であるか否かを判断することが可能となる。

0136

［４．３．２．信頼度の計算］
信頼度計算部２５２は、試行転移識別部６３により生成される各画像のラベル７３及び確度８３に基づいて、信頼度２５２Ａを計算する。信頼度２５２Ａの計算に当たり、比較識別部６４によるサンプルデータの識別結果は使用されない。

0137

試行転移識別部６３は、上述のように、サンプルデータに対する人物の識別結果を示すラベル７３と、ラベル７３の確からしさを示す確度８３を生成する。確度８３は、０以上１以下の値であり、確度８３が１に近づくほど、ラベル７３が誤りである可能性が小さくなる。

0138

信頼度計算部２５２は、試行転移識別部６３から各サンプルデータのラベル７３及び確度８３を入力する。信頼度計算部２５２は、入力した各サンプルデータのラベル７３及び確度８３を用いて、下記式（３）を計算することにより信頼度２５２Ａを計算する。

0139

0140

上記式（３）において、Ｅｃ２は、信頼度２５２Ａを示す。ｘは、上記式（２）と同様に、サンプルグループＸを構成する要素（サンプルデータ）を示す。｜Ｘ｜は、サンプルグループＸの要素数である。ＰＴ（ｘ）は、要素ｘの確度８３を示す。ＰＴ（ｘ）は、サンプルデータが試行転移識別部６３を構成する各決定木に入力された場合において、サンプルデータが各決定木において到達したリーフノードに設定されたクラスの確率の平均である。Ｔ（ｘ）は、要素ｘのラベル７３を示す。ｙは、人物の存在を示すラベル（ｙ＝１）である。つまり、信頼度２５２Ａは、ラベル７３がラベルｙと一致する場合に算出された確度８３の合計値を、サンプルグループＸの要素数で除算した値である。信頼度２５２Ａは、０以上１以下の値であり、１に近いほど、転移学習における事前ドメイン３５Ａの有効性が高いことを示す。

0141

事前ドメイン３５Ａの転移候補特徴データ４２が、学習用特徴データ５２の特徴量と類似する特徴量を有している場合、試行転移学習部２３は、試行転移学習により、転移候補特徴データ４２の学習結果を学習用特徴データ５２の学習結果に転移させる。試行転移識別部６３には、学習用特徴データ５２と、事前ドメイン３５Ａの転移候補特徴データ４２との学習結果が反映されている。試行転移識別部６３は、試行転移学習に用られたサンプルグループの各データに対して識別処理を行った場合、ラベル７３は１となり、その確度８３も１に近づくと考えられる。従って、学習用特徴データ５２と事前ドメイン３５Ａの転移候補特徴データ４２とが類似している場合（事前ドメイン３５Ａが転移学習において有効である場合）、信頼度２５２Ａは、１に近づく。

0142

［４．３．３．転移評価部２５３による事前ドメインの評価｝
転移評価部２５３は、競合値２５１Ａ及び信頼度２５２Ａを入力する。転移評価部２５３は、入力した競合値２５１Ａ及び信頼度２５２Ａに基づいて、転移学習における事前ドメイン３５Ａの有効性を評価する。

0143

転移評価部２５３は、下記の式（４）を用いて、総合評価値を計算する。

0144

0145

式（４）において、Ｅは、競合値２５１Ａ及び信頼度２５２Ａから得られる総合評価値である。事前ドメイン３５Ａの転移学習における有効性が低下するにつれて、競合値２５１Ａは増加する。一方、信頼度２５２Ａは、逆に低下する。信頼度２５２Ａの傾向を競合値２５１Ａの傾向に合わせるために、１から信頼度２５２Ａを減算した値を、総合評価値の計算に使用している。

0146

上記式（４）により計算された総合評価値は、０以上１以下の値であり、転移学習の有効性が高くなるにつれて０に近づく。転移評価部２５３は、計算された総合評価値が予め設定されたしきい値よりも小さい場合、事前ドメイン３５Ａが転移学習において有効であると判断する。

0147

［４．４．次の事前ドメインの指定］
事前ドメイン３５Ａの転移学習における有効性の評価（ステップＳ２０６）が終了した後に、事前ドメイン３５Ａの有効性の評価に用いられた試行転移識別部６３及び比較識別部６４が削除される（ステップＳ２０７）。事前ドメイン３５Ａに対応する試行転移識別部６３及び比較識別部６４は、転移学習における他の事前ドメインの有効性の評価で使用されないためである。

0148

事前ドメイン評価装置２０は、一時記憶部２１に記憶されている全ての事前ドメインを選択したか否かを判断する（ステップＳ２０８）。全ての事前ドメインを選択していない場合（ステップＳ２０８においてＮｏ）、事前ドメイン評価装置２０は、選択されていない事前ドメインの転移学習における有効性を評価するために、ステップＳ２０３に戻る。これにより、転移学習における事前ドメイン３５Ｄ及び３５Ｆの有効性が評価される。

0149

［４．５．評価結果データ２５３Ａの生成］
全ての事前ドメインが選択された場合（ステップＳ２０８においてＹｅｓ）、転移評価部２５３は、事前ドメイン３５Ａ、３５Ｄ及び３５Ｆの各々の評価結果を示す評価結果データ２５３Ａを作成する。転移学習に有効と判断される事前ドメインの数は、特に限定されない。転移評価部２５３は、作成した評価結果データ２５３Ａを選択学習装置３０に出力する。

0150

再び、図５を参照する。選択学習装置３０において、事前ドメイン選択部３１は、評価結果データ２５３Ａに基づいて、クラスタリング装置１０により生成された事前ドメイン４５の中から、転移学習に有効と判断された事前ドメイン３５Ａ、３５Ｄ及び３５Ｆを選択する（ステップＳ３）。特徴抽出部３２（図４参照）は、記憶装置５００から目標ドメイン５０Ａを取得し、取得した目標ドメイン５０Ａに含まれる学習用データ５１の各々から特徴量を抽出する（ステップＳ４）。これにより、学習用特徴データ５２を含む目標ドメイン５０Ｂが生成される。特徴抽出部３２は、特徴抽出部２２（図２参照）が学習用データ５１から特徴量を抽出する時と同じ条件で、特徴量の抽出を行う。

0151

転移学習部３３は、選択された事前ドメイン３５Ａ、３５Ｄ及び３５Ｆと、特徴抽出部３２により生成された目標ドメイン５０Ｂとを用いて、転移学習を導入した機械学習を実行する（ステップＳ５）。これにより、複数の決定木を示すデータ群である転移識別データ８０が生成される。

0152

以上説明したように、機械学習装置１００は、記憶装置４００に記憶された転移候補データ４１，４１，・・・から特徴を抽出して転移候補特徴データ４２，４２，・・・を生成する。機械学習装置１００は、抽出した特徴量に基づいて転移候補特徴データ４２，４２，・・・を複数のグループに分類する。機械学習装置１００は、分類されたグループにおける転移候補特徴データ４２の数又は共分散に基づいて、分類されたグループを事前ドメインに決定するか否かを判断する。これにより、転移学習に用いられる事前ドメインを、転移候補データ４１から効率的に生成することができる。

0153

［変形例］
上記実施の形態において、クラスタリング装置１０が、転移候補特徴データ４２を分類する際に、デンシティフォレストを用いて分類木３５として２分木を生成する場合を例に説明したが、これに限られない。クラスタリング装置１０は、ｋ−ｍｅａｎｓ法などの他の分類アルゴリズムを用いて、転移候補特徴データ４２を分類してもよい。この場合、ステップＳ１０９（図８参照）において作成される子ノードの数は、３つ以上であってもよい。

0154

また、クラスタリング装置１０は、２つ以上の分類アルゴリズムを用いて、転移候補特徴データ４２を分類してもよい。例えば、クラスタリング装置１０は、分類対象のノードに属する転移候補特徴データ４２の数が、分類アルゴリズムの変更を判断するための基準値（アルゴリズム変更基準値）より大きいか否かに基づいて、分類アルゴリズムを決定する。

0155

図１３は、ｋ−ｍｅａｎｓ法と、デンシティフォレストとを用いて生成された分類木３５の一例を示す図である。例えば、アルゴリズム変更基準値が、２５０００に設定されていると仮定する。

0156

ルートノード３５Ｒに属する転移候補特徴データ４２の数は、３００００であり、アルゴリズム変更基準値よりも大きい。この場合、クラスタリング装置１０は、ルートノード３５Ｒの子ノードとして、ノード３６Ａ、３６Ｂ及び３６Ｃを生成する。そして、クラスタリング装置１０は、ｋ−ｍｅａｎｓ法を用いて、ルートノード３５Ｒに属する転移候補特徴データ４２を、ノード３６Ａ、３６Ｂ及び３６Ｃを生成する。

0157

そして、ノード３６Ａ及び３６Ｃに属する転移候補特徴データ４２の数は、５０００及び８０００であり、分類継続基準値（９２７０）以下である。クラスタリング装置１０は、ノード３６Ａ及び３６Ｃをそれぞれ事前ドメインに決定する。一方、ノード３６Ｂに属する転移候補特徴データ４２の数は、１７０００であり、分類継続基準値よりも大きい。この場合、クラスタリング装置１０は、ノード３６Ｂに属する転移候補特徴データ４２をさらに分類する。

0158

ノード３６Ｂに属する転移候補特徴データ４２の数（１７０００）は、アルゴリズム変更基準値（２５０００）以下であるため、クラスタリング装置１０は、ノード３６Ｂに属する転移候補特徴データ４２の分類にデンシティフォレストを用いることを決定する。クラスタリング装置１０は、ノード３６Ｂの子ノードとして、ノード３６Ｄ及び３６Ｅを生成し、ノード３６Ｂに属する転移候補特徴データ４２を分類する。

0159

このように、分類対象のノードに属する転移候補特徴データ４２の数に応じて分類アルゴリズムを切り替えることにより、転移候補特徴データ４２の分類を高速に実行することができる。

0160

また、上記実施の形態において、選択学習装置３０（図４参照）が、特徴抽出部３２を備える例を説明したが、これに限られない。選択学習装置３０は、事前ドメイン評価装置２０（図３参照）が備える特徴抽出部２２により生成された目標ドメイン５０Ｂを用いて、転移識別データ８０を生成してもよい。また、事前ドメイン評価装置２０が、各事前ドメイン４５に対応する転移候補データ４１から特徴量を抽出して転移候補特徴データ４２を生成してもよい。あるいは、選択学習装置３０が、転移学習に有効と判断された事前ドメインに対応する転移候補データ４１から特徴量を抽出して転移候補特徴データ４２を生成してもよい。

0161

いずれの場合においても、クラスタリング装置１０、事前ドメイン評価装置２０、選択学習装置３０の各々において用いられる転移候補特徴データ４２は、全て同じ条件で転移候補データ４１から特徴量を抽出することにより生成されることが望ましい。同様に、学習用特徴データ５２は、全て同じ条件で学習用データ５１から特徴量を抽出することにより生成されることが望ましい。以下、その理由について説明する。

0162

例えば、クラスタリング装置１０と事前ドメイン評価装置２０とで特徴量の抽出条件が異なる場合、クラスタリング装置１０において生成される転移候補特徴データ４２は、事前ドメイン評価装置２０において転移候補特徴データ４２における分布と異なる分布を有する。目標ドメインと事前ドメインとの位置関係が、クラスタリング装置１０において生成される転移候補特徴データ４２と、事前ドメイン評価装置２０において転移候補特徴データ４２とで異なる。この結果、事前ドメイン評価装置２０において、クラスタリング装置１０で生成された事前ドメインが転移学習で有効であるか否かを判定する精度が低下する。

0163

事前ドメイン評価装置２０と、選択学習装置３０とで特徴量の抽出条件が異なる場合も同様に、事前ドメイン評価装置２０で有効と判断された事前ドメイン４５における転移候補特徴データ４２の分布が変化する。この結果、選択学習装置３０における転移学習を導入した機械学習の学習精度が低下し、転移識別データ８０を用いた人物の識別精度が低下する可能性がある。

0164

これに対して、クラスタリング装置１０、事前ドメイン評価装置２０、及び選択学習装置３０における特徴量の抽出条件を揃えることにより、事前ドメインの有効性を評価するときの精度、転移識別データ８０を生成するときの学習の精度が低下することを防ぐことができる。

0165

上記実施の形態において、試行転移学習部２３、比較学習部２４及び転移学習部３３が、学習アルゴリズムとしてランダムフォレストを用いる場合を例に説明したが、これに限られない。例えば、試行転移学習部２３、比較学習部２４及び転移学習部３３は、ＩＤ３（Iterative Dichotomiser 3）や、ブースティング、ニューラルネットワークなどの各種アルゴリズムを用いてもよい。いずれの学習アルゴズムを用いる場合であっても、試行転移学習部２３及び転移学習部３３は、転移学習を導入した機械学習を実行し、比較学習部２４は、転移学習を導入しない機械学習を実行すればよい。

0166

上記実施の形態において、転移評価部２５３は、競合値２５１Ａ及び信頼度２５２Ａを乗算することにより、総合評価値を計算する例を説明したが、これに限られない。たとえば、転移評価部２５３は、競合値２５１Ａ及び信頼度２５２Ａの合計を総合評価値として計算してもよい。つまり、転移評価部２５３は、競合値２５１Ａ及び信頼度２５２Ａを用いて、総合評価値を計算すればよい。

0167

上記実施の形態において、機械学習装置１００が、転移候補データ４１及び学習用データ５１の各々からＨＯＧ特徴量を抽出する場合を例にして説明したが、これに限られない。例えば、機械学習装置１００は、人物の顔を学習する場合、Ｈａａｒ−ｌｉｋｅ特徴量を抽出してもよい。機械学習装置１００は、学習対象に応じて、転移候補データ４１及び学習用データ５１から抽出する特徴量を適宜変更すればよい。

0168

上記実施の形態において、機械学習装置１００が、人物を検出するための転移識別データ８０を生成する例を説明したが、これに限られない。学習の対象は、センサにより計測された測定データであってもよい。センサの種類は、特に限定されず、加速度センサ、光センサなどの様々な測定データを使用することができる。例えば、自動車の自動運転を行うために、これらのセンサの測定データを用いるために機械学習を実行してもよい。

0169

上記実施の形態の機械学習装置１００の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

0170

上記実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

0171

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施の形態に係る機械学習装置１００をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

0172

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

0173

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

0174

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

0175

１００機械学習装置
１０クラスタリング装置
１１、２２、３２特徴抽出部
１２分類部
１３分散計算部
１４事前ドメイン決定部
２０ 事前ドメイン評価装置
２１一時記憶部
２３試行転移学習部
２４比較学習部
２５ 評価部
２５１競合値計算部
２５２信頼度計算部
２５３ 転移評価部
３０選択学習装置
３１ 事前ドメイン選択部
３３ 転移学習部