図面 (/)

技術 評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラム

出願人 日本電気株式会社
発明者 山本康高
出願日 2011年6月23日 (8年2ヶ月経過) 出願番号 2011-139537
公開日 2013年1月10日 (6年8ヶ月経過) 公開番号 2013-008141
状態 未査定
技術分野 特定用途計算機
主要キーワード 評価対象データ 評価回数 特徴的事項 総合評価結果 各評価対象 既存製品 補正態様 特許分類
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2013年1月10日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる評価者決定支援装置を提供する。

解決手段

総合評価結果判定手段91は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データ集合部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を判定する。類似データ判定手段92は、未評価の評価対象データ毎に、評価済みの類似する評価対象データを判定する。総合評価結果導出度算出手段93は、未評価の評価対象データ毎に、各評価者に関して、未評価の評価対象データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、総合評価結果導出度を算出する。

概要

背景

人による評価によって、データの属性クラスを決めたい場面がある。そのような場面として、例えば、機械学習における学習データの構築や、ある評価対象集合への評価を求めるアンケート調査や、動画に対する複数の視聴者によるタグ付け等が挙げられる。多くの評価済みデータがあると、機械学習ではモデルの精度を向上させることができ、アンケート調査では有意なアンケート結果を得ることができる。また、動画に対するタグ付けにおいても、多くの評価済みデータがあることにより、関連動画検索容易性を高めることができる。

このように評価済みデータは様々なアプリケーション活用される。アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。そのためデータを評価する評価者選抜することが非常に重要な作業となる。

特許文献1には、Web画面を通じた評価対象に対するアンケート収集を行う場合に、信頼性の高い評価を行える評価者を選択する評価者選択システムが記載されている。特許文献1に記載された評価者選択システムは、評価データ収集する前に、ブログの記載内容に基づいて評価者候補の関心や知識を評価し、評価対象に対して質の高い評価を行える人物を特定する。

特許文献2には、新製品意匠評価に適した評価採用者選定する評価者選定装置が記載されている。特許文献2に記載された評価者選定装置は、既存製品に関係する複数の調査関係者から、予め定めた基準に従って意匠を重視する意匠重視者を選定する。そして、意匠重視者毎の既存製品に対する観察行動と、意匠重視者毎の既存製品に対する購買行動とから、関心度の高さと観察行動との相関関係を決定する。そして、評価者毎の新製品に対する観察行動と、決定した相関関係とに基づいて、評価者の新製品に対する関心度の高さを推定し、その関心度の高さが閾値以上である評価採用者を選定する。

概要

多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる評価者決定支援装置を提供する。総合評価結果判定手段91は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を判定する。類似データ判定手段92は、未評価の評価対象データ毎に、評価済みの類似する評価対象データを判定する。総合評価結果導出度算出手段93は、未評価の評価対象データ毎に、各評価者に関して、未評価の評価対象データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、総合評価結果導出度を算出する。

目的

本発明は、多くの評価者が評価対象の評価を行った場合における総合的な評価結果と同様の評価を行える評価者の決定をしやすくすることを目的とする

効果

実績

技術文献被引用数
1件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データ集合部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備えることを特徴とする評価者決定支援装置

請求項2

総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する請求項1に記載の評価者決定支援装置。

請求項3

特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段と、未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段とを備える請求項1または請求項2に記載の評価者決定支援装置。

請求項4

未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段を備える請求項1から請求項3のうちのいずれか1項に記載の評価者決定支援装置。

請求項5

評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する請求項4に記載の評価者決定支援装置。

請求項6

評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する請求項4または請求項5に記載の評価者決定支援装置。

請求項7

類似データ判定手段は、未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する請求項1から請求項6のうちのいずれか1項に記載の評価者決定支援装置。

請求項8

総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する請求項1から請求項7のうちのいずれか1項に記載の評価者決定支援装置。

請求項9

評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする評価者決定支援方法

請求項10

コンピュータに、評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させるための評価者決定支援プログラム

技術分野

0001

本発明は、評価対象に対する複数の評価者の評価結果をもとに、未評価の評価対象に対して各評価者がどれだけ適切な評価を行うかを表す指標を求めることにより、未評価の評価対象に対する適切な評価者を決定することを支援する評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラムに関する。

背景技術

0002

人による評価によって、データの属性クラスを決めたい場面がある。そのような場面として、例えば、機械学習における学習データの構築や、ある評価対象の集合への評価を求めるアンケート調査や、動画に対する複数の視聴者によるタグ付け等が挙げられる。多くの評価済みデータがあると、機械学習ではモデルの精度を向上させることができ、アンケート調査では有意なアンケート結果を得ることができる。また、動画に対するタグ付けにおいても、多くの評価済みデータがあることにより、関連動画検索容易性を高めることができる。

0003

このように評価済みデータは様々なアプリケーション活用される。アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。そのためデータを評価する評価者を選抜することが非常に重要な作業となる。

0004

特許文献1には、Web画面を通じた評価対象に対するアンケート収集を行う場合に、信頼性の高い評価を行える評価者を選択する評価者選択システムが記載されている。特許文献1に記載された評価者選択システムは、評価データ収集する前に、ブログの記載内容に基づいて評価者候補の関心や知識を評価し、評価対象に対して質の高い評価を行える人物を特定する。

0005

特許文献2には、新製品意匠評価に適した評価採用者選定する評価者選定装置が記載されている。特許文献2に記載された評価者選定装置は、既存製品に関係する複数の調査関係者から、予め定めた基準に従って意匠を重視する意匠重視者を選定する。そして、意匠重視者毎の既存製品に対する観察行動と、意匠重視者毎の既存製品に対する購買行動とから、関心度の高さと観察行動との相関関係を決定する。そして、評価者毎の新製品に対する観察行動と、決定した相関関係とに基づいて、評価者の新製品に対する関心度の高さを推定し、その関心度の高さが閾値以上である評価採用者を選定する。

先行技術

0006

特開2010−262345号公報
特開2009−157487号公報

発明が解決しようとする課題

0007

前述のように、アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。よって、データを評価する評価者を選抜することが非常に重要な作業となる。このとき、評価対象に関心がない評価者や、評価対象に関する知識の少ない評価者を選抜してしまう可能性もあり、そのような評価者を選抜した場合、そのような者に評価を依頼すること自体が無駄となる可能性がある。

0008

特許文献1や特許文献2に記載された技術によれば、評価対象に関心がない者や、評価対象に関する知識が少ない者を評価者として選択してしまうことを防止することができる。

0009

しかし、特許文献1や特許文献2に記載された技術では、総合的な評価を行える評価者を特定できるわけではない。

0010

ここで、複数の評価者が同一の評価対象を評価した場合に、その評者者の集合に属する多くの評価者によって不同意とされなかった評価結果を、「総合的な評価結果」と記す。なお、省略して、総合評価結果と記す場合もある。そして、総合的な評価結果を導くことを、「総合的な評価を行う」等と記す。総合的な評価結果(すなわち、多くの評価者によって不同意とされなかった評価結果)の一態様として、例えば、「多くの評価者の間で共通している評価結果」が挙げられる。「多くの評価者の間で共通している評価結果」の具体例として、例えば、多数決を基準として定めた評価結果が挙げられる。ただし、これは、総合的な評価結果の一例であり、総合的な評価結果の態様は上記の態様に限定されない。一般に、評価基準は人それぞれの暗黙値であるが、ある複数の評価者の間で、同一の評価対象に対する評価結果が一致する場合、その複数の評価者は、その評価対象に対する評価基準を共有していると捉えることができる。

0011

複数の人に評価を求めるシーンの例として、評価対象に対する評価基準が曖昧である場合が挙げられる。例えば、顧客との対話履歴から顧客の要望を抽出するのに用いるモデルを機械学習するための学習データを構築することを考える。この場合、何を顧客の要望とみなすかについて客観的な基準を定義することは困難である。そのため、複数人で総合的な評価を行うことが望ましい。また、例えば、動画投稿サイトにおける動画へのタグ付けに関しても、適切なタグを定義することが困難な場合が多い。そのため、一般的には、複数のユーザによるタグの付与および削除を可能とすることで、動画の評価を総合的な評価に収束させるようにしている。

0012

同一の評価対象に対する評価者が増えれば、総合的な評価を行えるので、評価精度が高まると期待できる。しかし、総合的な評価結果とは異なる評価結果を導いた人の評価作業は、総合的な評価を求める観点からは、結果的に無駄になっていることになる。また、全ての人が同じ評価をするような評価対象に関して、多数の人に評価を依頼すると、少人数の人に聞けば分かる評価を、多人数から得ることになる。この場合、統計上有意な新しい情報が得られることはなく、多くの評価者の労力を無駄にしていることになる。

0013

また、各評価者が個々の基準で別々の未評価データを評価してしまうと、それらの未評価データについては、総合的な評価結果が得られていない可能性が高い。

0014

特許文献1,2に記載された技術は、評価対象を評価する評価者を割り当てる技術である。しかし、特許文献1,2に記載された技術は、評価者に、過去に評価した評価対象に近いものを評価させることを重視しており、特許文献1,2に記載された方法で選択された評価者が、必ずしも総合的な評価を行えるわけではない。特許文献1に記載された方法では、ブログ中に含まれる評価に関する文言の多さを評価者の選定基準取り入れているが、このような選定基準は、総合的な評価を行える評価者を選定できるという保証にはならない。また、特許文献2に記載された方法では、評価対象にどの程度関心を持っているかを重視して評価者を選定するが、このような基準も、総合的な評価を行える評価者を選定できるという保証にはならない。このように、特許文献1,2に記載された方法では、評価対象に対する関心の高い評価者を選定することはできるが、その評価者が、他の評価者と共通する基準で、他の評価者と共通する総合的な評価結果を導けるわけではない。

0015

そこで、本発明は、多くの評価者が評価対象の評価を行った場合における総合的な評価結果と同様の評価を行える評価者の決定をしやすくすることを目的とする。換言すれば、本発明は、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラムを提供することを目的とする。

課題を解決するための手段

0016

本発明による評価者決定支援装置は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備えることを特徴とする。

0017

また、本発明による評価者決定支援方法は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする。

0018

また、本発明による評価者決定支援プログラムは、コンピュータに、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させることを特徴とする。

発明の効果

0019

本発明によれば、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。

図面の簡単な説明

0020

本発明の第1の実施形態の評価者決定支援装置の例を示すブロック図である。
データ集合52の一例を示す説明図である。
各自評価結果50の一例を示す説明図である。
総合評価結果の一例を示す説明図である。
動画投稿サイトにおける各動画を評価対象とした場合における、各動画の特徴データおよび各自評価結果の例を示す説明図である。
図5に示す各自評価結果に対する総合評価結果の例を示す説明図である。
評価者重要度算出部16による処理の例を示す説明図である。
評価者重要度算出部16による処理の例を示す説明図である。
算出された評価者重要度の例を示す説明図である。
第1の実施形態の処理経過の例を示すフローチャートである。
類似度を用いた評価者重要度の算出例を示すための説明図である。
本発明の第2の実施形態の評価者決定支援装置の例を示すブロック図である。
評価意義度の導出を模式的に示す説明図である。
未評価データ毎に1つの評価意義度を導出した場合の評価意義度の例を示す説明図である。
未評価データ毎に評価者の人数分の評価意義度を導出した場合の評価意義度の例を示す説明図である。
補正後重要評価者情報56の例を示す説明図である。
補正後重要評価者情報56の例を示す説明図である。
第2の実施形態の処理経過の例を示すフローチャートである。
本発明の評価者決定支援装置の最小構成の例を示すブロック図である。

実施例

0021

以下、本発明の実施形態を図面を参照して説明する。
本発明では、「ある特徴を有する評価対象に関して、総合的な評価結果と一致する評価を行いやすい評価者が存在する。」という前提に基づく。評価が行われていない各評価対象に関して、総合的な評価結果を導出した者と同様の評価基準を有する評価者を特定できれば、例えば、そのような評価者に未評価の評価対象の評価を一任する等して、評価作業に必要な作業コストを抑えながら、総合的な評価結果に近い評価結果を得ることができる。

0022

実施形態1.
図1は、本発明の第1の実施形態の評価者決定支援装置の例を示すブロック図である。本実施形態の評価者決定支援装置10は、総合評価部12と、類似データ特定部14と、評価者重要度算出部16とを備える。評価者決定支援装置10は、各自評価結果50と、データ集合52とを入力情報として、評価者毎に、評価に適している度合を示した評価者重要度をまとめた重要評価者情報54を出力する。評価者毎の評価者重要度は、未評価の評価対象毎に算出される。また、ある未評価の評価対象に着目すると、評価者重要度が高い評価者ほど、その評価対象を評価するのに適しており、評価者重要度が低い評価者ほど、その評価対象を評価するのに適していない。評価者重要度は、評価者が未評価の評価対象について、総合的な評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度であると言うことができる。

0023

まず、データ集合52について説明する。データ集合52は、個々の評価対象における、その評価対象の特徴を表す特徴データと、その評価対象のID(識別情報)との組の集合である。データ集合52は、例えば、記憶装置に記憶される。特徴データとIDとが対応付けられていれば、データ集合52の記憶態様は特に限定されない。特徴データとIDとをフィールドとするデータベースをデータ集合52として記憶していてもよい。データ集合52を記憶する記憶装置(データ集合記憶部。図示略。)を評価者決定支援装置10が備えていてもよい。以下、データ集合52に含まれる特徴データとIDの組をレコードと記す。また、IDの値がx番であるレコードをIDx番のレコードと記す場合がある。なお、データ集合52に含まれる特徴データとIDの組は、評価対象に関する評価対象データと称することもできる。

0024

図2は、データ集合52の一例を示す説明図である。図2は、自然言語処理に関わる特許の特許文献を要素技術別に分類するタスクを想定した場合のデータ集合の一例を表している。図2に示す各レコードは、それぞれ1つの特許文献に対応している。特許文献には、その文献を識別するためのIDが付与されている。ここでは、説明を簡単にするために、IDを1,2,3,・・・という番号で表している。また、図2に示す例では、データ集合は、評価対象(特許文献)の特徴を表す特徴データとして、個々の特許文献に含まれている特徴語を含んでいる。

0025

次に、各自評価結果50について説明する。各自評価結果50は、データ集合52のサブセット(部分集合)に対する複数の評価者の評価結果である。例えば、この複数の評価者によって評価されるデータ集合52のサブセットは予め定められ、そのサブセットに対して、複数の評価者が評価を行うことにより各自評価結果50を作成すればよい。各自評価結果50を作成するために複数の評価者によって評価されるデータ集合52のサブセットを共同評価用データと記す。各自評価結果50は、例えば、記憶装置に記憶される。各自評価結果50を記憶する記憶装置(各自評価結果記憶部。図示略。)を評価者決定支援装置10が備えていてもよい。ここでは、事前に複数の評価者に共同評価用データを評価させ、各評価者の評価結果を各自評価結果50として各自評価結果記憶部(図示略)に記憶させているものとする。各自評価結果50に含まれる評価結果は、どの評価者がどの共同評価用データを評価した結果であるのかが分かるように、データのIDおよび評価者のIDに対応付けて記憶されているものとする。

0026

図3は、各自評価結果50の一例を示す説明図である。データ集合52のサブセットである共同評価用データに対する3人の評価者A,B,Cの特許分類結果を表している。この特許分類結果は、特徴語(特徴データ)に基づいて特許文献がどの分野に分類されるかを評価した評価結果である。図3において、“ID”として示した値は特許文献のIDであり、図2に示すIDの値に対応する。図3に示すA,B,Cはそれぞれ評価者のIDである。図3に示す例では、評価者のIDの列と、特許文献のIDの行とが交差するセルに、その特許文献に対する評価者の分類結果(すなわち、評価結果)を示している。また、図3に示す例では、各特許文献が、自然言語処理の分野のうち、「文書分類技術」、「文書検索技術」、「文脈解析技術」、「辞書構築技術」のどの分野に属するかを評価した結果を示している。また、本例では、図2に示すデータ集合52のうち、IDの値が1〜10に該当するレコードを共同評価用データとしている。従って、図2に示すID11番以降のレコードに対する評価結果は、図3に示す各自評価結果50に含まれていない。

0027

総合評価部12は、各自評価結果50を入力として、個々の共同評価用データに関する総合的な評価結果を決定する。以下、総合的な評価結果を単に総合評価結果と記す。総合評価部12は、個々の共同評価用データについて総合評価結果を決定すると、共同評価用データ毎に、共同評価用データに対応するIDと総合評価結果とを対応付けたデータを、類似データ特定部14に入力する。

0028

図4は、総合評価結果の一例を示す説明図である。図4では、図3に示す各自評価結50に対して、「最も多くの評価者によって導かれた評価結果を総合評価結果とする。」という基準を用いて(すなわち、多数決を基準として)、総合評価結果を決定した場合の例を示している。図4において、“ID”として示した値は特許文献のIDであり、図3に示すIDの値に対応する。例えば、ID2番に対する評価者A〜Cの評価結果は、それぞれ、「文書分離」、「辞書構築」、「文書分類」であり、総合評価部12は、「文書分類」をID2番の総合評価結果と決定する(図3および図4参照)。

0029

なお、多数決を基準とした場合に、複数の評価結果が同点で多数派となっているならば、総合評価部12は、その複数の評価結果を全て総合評価結果としてよい。

0030

また、総合評価結果を決定する基準は、多数決以外の基準であってもよい。例えば、動画投稿サイトにおいて、投稿された動画に対してタグ(キーワード)を付与する場合を例にする。動画の場合には、投稿者が投稿時に動画に付与したコメントタイトル等の文字列情報、動画の視聴者が書き込んだメッセージの文字列情報、および動画の音声や画像の特徴を数値化した特徴量等が特徴データとなる。そして、動画投稿サイトに投稿された動画を評価対象とする場合、その動画投稿サイトの視聴者が主たる評価者であり、その評価者が動画に付与するタグが、動画に対する評価結果に該当する。

0031

タグは動画を検索するために利用されることが多い。そのため、タグは、動画の内容や種類を適切に表していることが好ましい。また、多くの動画投稿サイトでは、タグの付与だけでなくタグの削除も視聴者が自由にできるインタフェースが実現されている。視聴者が自由にタグを付与できることから、最初は、でたらめなタグも多く付与され得るが、タグの削除も可能としていることにより、時間経過とともに適切なタグが残るようになる。ある動画において、時間経過とともにタグが追加されたり、あるいは削除されたりすることにより、タグの更新が行われる。このような更新が収束した時に残っているタグは、削除しようとする者が少ないタグであるということが言えるため、その動画に対する総合評価結果とみなすことができる。更新が収束した時のタグを総合評価結果として判定するときの基準を以下に例示する。

0032

図5は、動画投稿サイトにおける各動画を評価対象とした場合における、各動画の特徴データおよび各自評価結果を1つの表にまとめた図である。図5に示すIDは、動画の識別情報である。また、評価者A,B,Cは、動画の評価を行う評価者である。図5では、特徴データを「映像特徴量作者ID、コメント情報」と簡略化して記載している。評価者のIDの列と、動画のIDの行とが交差するセルに、その評価者がその動画に対して行った評価(すなわち、動画に対して付与したタグ)を示している。図5では、図を単純にするため、ID1番から8番の動画に対して、評価者A,B,Cが全てタグを付与した状態を示している。換言すれば、タグが密に定められている状態を示している。実際には、ある動画に対しては一部の評価者がタグを付与しない状態、すなわちタグがスパース(sparse)に定められた状態となっていてもよい。なお、本例において、評価の際に評価者は、一般的ではないがインターネット上で用いられることがある特殊な用語または記号を用いて評価を行ってもよい。例えば、「期待していたものが登場した」という文言の代わりに、「ktkr」等の記号で評価を行ってもよい。「ktkr」は、動画投稿サイト等で、「期待していたものが登場した」という意味で用いられることがある記号である。

0033

図6は、図5に示す各自評価結果(すなわち、評価者A〜Cの評価結果)に対する総合評価結果の例を示す。本例では、タグの付与および削除によるタグの更新が収束した時に残っているタグを、総合評価結果とする。例えば、総合評価部12は、画像毎に、1日単位あるいは1時間単位等でタグの付与および削除の回数集計し、その回数が所定期間以上閾値を上回ることがなければ、その時点で、タグの更新が収束したと判定し、その時点で残っているタグを総合評価結果であると決定すればよい。上記の閾値は予め設定しておけばよい。

0034

また、動画に付与されたタグを総合評価結果として決定する基準として他の基準を採用してもよい。例えば、総合評価部12は、動画にタグが付与されてからの経過時間を計測し、所定期間以上、削除されずに残ったタグを、その動画に対する総合評価結果であると決定してもよい。また、総合評価部12は、動画にタグが付与されてから、その動画の閲覧回数所定回数を上回った時点で、そのタグが削除されずに残っている場合に、そのタグを、その動画に対する総合評価結果であると決定してもよい。また、例えば、総合評価部12は、ある動画に対してタグを付与した評価者のうち、所定の割合以上の評価者によって付与された共通のタグを、その動画に対する総合評価結果であると決定してもよい。

0035

なお、タグの更新が収束した時のタグを総合評価結果として決定した結果、前述のような「一般的ではないがインターネット上で用いられることがある特殊な用語または記号」が総合評価結果とされてもよい。

0036

類似データ特定部14は、データ集合52内の未評価データの特徴データ、および、共同評価用データの特徴データを用いて、個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似の程度を表す値(以下、類似度と記す。)を算出する。類似度の値が大きいほど、2つのデータの特徴データ同士の類似性が高く、類似度の値が小さいほど、2つのデータの特徴データ同士の類似性は低い。そして、類似データ特定部14は、類似度に基づいて、その未評価データと類似している共同評価用データを判定する。そして、類似データ特定部14は、その判定結果を評価者重要度算出部16に入力する。

0037

なお、未評価データであるか共同評価用データであるかは、各自評価結果50が得られているか否かにより判別すればよい。すなわち、データ集合52に含まれる各レコードのうち、各自評価結果50が得られていないレコードは未評価データであり、各自評価結果50が得られているレコードは共同評価用データである。

0038

類似データ特定部14が、未評価データの特徴データと、共同評価用データの特徴データとを用いて、未評価データと共同評価用データの類似度を算出し、その類似度に基づいて、未評価データに類似する共同評価用データを判定する処理の一例を以下に示す。以下に示す例では、未評価データの特徴データおよび共同評価用データの特徴データを数値化し、数値化した特徴データにより類似度を算出する場合を示す。

0039

図2に示すように、データ集合52内の各レコードにおいて、評価対象となる文献内の特徴語が特徴データになっているとする。また、1つのレコードに含まれる特徴語は1つとは限らない(図2参照)。さらに、本例では、1つのレコード内で、同一の特徴語が重複して複数個含まれていてもよいものとする。例えば、ID1番のレコードで、「ドメイン」という特徴語が複数含まれていてもよい。

0040

類似データ特定部14は、データ集合52内の各レコードを参照して、データ集合52に含まれる全種類の特徴語を重複無く抽出する。そして、類似データ特定部14は、その特徴語に対応する要素を含むベクトル(以下、特徴ベクトルと記す。)を、それぞれの未評価データおよび共同評価用データに関して定める。データ集合52に含まれる特徴語の種類がn種類あるとすると、特徴ベクトルとしてn個の要素を含むベクトルを定めればよい。特量ベクトルを(要素1,要素2,・・・,要素n)とする。例えば、要素1は、図2に示す特徴語「固有表現」に対応し、要素2は、図2に示す特徴語「辞書」に対応するものとする。また、他の要素も各特徴語に対応している。

0041

類似データ特定部14は、データ集合52内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データとして何個存在するかをカウントし、そのカウント結果を要素の値とすればよい。例えば、図2に示すID1番の特徴データ内に、「固有表現」という特徴語が2個含まれているとする。この場合、類似データ特定部14は、ID1番の特徴ベクトルの要素1の値を“2”にする。同様に、類似データ特定部14は、ID1番の特徴データ内に含まれる「辞書」という特徴語の数をカウントし、そのカウント結果を、ID1番の特徴ベクトルの要素2の値とする。類似データ特定部14は、他の要素の値に関しても同様に定める。ある要素に対応する特徴語のカウント結果が0であれば、その要素の値を“0”とすればよい。この結果、ID1番の特徴データを数値化した特徴ベクトルが得られる。ここでは、ID1番に関する特徴ベクトルを求める場合を示した。本例では、ID1番から10番までを共同評価用データとする。従って、類似データ特定部14は、ID1番から10番までの共同評価用データに関してそれぞれ、上記と同様の方法で特徴ベクトルを定めればよい。また、類似データ特定部14は、ID11番以降の未評価データに関しても、上記と同様の方法で特徴ベクトルを定めればよい。特徴ベクトルを定める方法は、未評価データと共同評価用データとで共通である。

0042

類似データ特定部14は、2つのデータの類似度として、例えば、上記のように算出した特徴ベクトルのコサイン類似度を算出すればよい。例えば、ある未評価データと共同評価用データの類似度として、その未評価データの特徴ベクトルと、その共同評価用データの特徴ベクトルのコサイン類似度を算出すればよい。そして、類似データ特定部14は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。この閾値は予め定めておけばよい。なお、類似度が閾値以上になっている共同評価用データが存在しない場合、類似データ特定部14は、着目している未評価データに類似する共同評価用データは存在しないと判定すればよい。ここでは、閾値を用いる場合を例示したが、類似データ特定部14は、1つの未評価データに着目して、各共同評価用データとの類似度を求めた後、類似度の大きい順に所定個(ここではk個とする。)の共同評価用データを選択し、そのk個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。

0043

類似データ特定部14は、上記のように、データ集合52内の未評価データ毎に、類似している共同評価用データを判定する。

0044

なお、類似度と比較する閾値、あるいは、上記のkの値は、評価者決定支援装置を運用する前に事前にテストを行い、適切な値を設定しておけばよい。

0045

また、特徴ベクトルを定める方法は、上記の例に限定されない。例えば、類似データ特定部14は、データ集合52内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データに含まれているかを判定し、含まれている場合にはその要素の値を“1”とし、含まれていない場合にはその要素の値を“0”としてもよい。例えば、図2に示すID1番の特徴データ内に「固有表現」という特徴語が含まれているので、類似データ特定部14は、ID1番の特徴ベクトルの要素1の値を“1”にする。また、特徴ベクトルの要素mに対応する特徴語がID1番の特徴データに含まれていなければ、要素mの値を“0”にすればよい。類似データ特定部14は、各要素について同様に“1”または“0”の値を定めることで、特徴ベクトルを定めてもよい。

0046

上記の例では、データ集合52に含まれる個々の未評価データおよび共同評価用データの特徴データを特徴ベクトルとして表すことにより数値化し、特徴ベクトルの演算(例えば、コサイン類似度の算出)により類似度を求める場合を示した。個々の未評価データおよび共同評価用データの特徴データを数値化する際に、類似データ特定部14は、特徴ベクトル以外のデータにしてもよい。

0047

また、類似データ特定部14は、個々の未評価データおよび共同評価用データの特徴データを数値化せずに類似度を算出してもよい。以下、この場合の類似度算出方法の例を示す。本例では、説明を簡単にするため、1つのレコード内で、同一の特徴語が含まれていないものとする。ただし、互いに異なるレコードは、共通の特徴語を含んでもよい。ここでは、IDi番の未評価データとIDj番の共同評価用データの類似度を算出する場合を例にする。IDi番の未評価データの特徴語の集合をWiとする。また、IDj番の共同評価用データの特徴語の集合をWjとする。類似データ特定部14は、集合Wi,Wjの和集合Wi∪Wjの要素数に対する、集合Wi,Wjの積集合Wi∩Wjの要素数の割合を算出し、その割合をIDi番の未評価データとIDj番の共同評価用データの類似度としてもよい。

0048

あるいは、類似データ特定部14は、データ集合52内の全ての未評価データおよび共同評価用データの和集合の要素数に対する、集合Wi,Wjの積集合Wi∩Wjの要素数の割合を算出し、その割合をIDi番の未評価データとIDj番の共同評価用データの類似度としてもよい。

0049

上記のように類似度を算出する場合においても、類似データ特定部14は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。あるいは、類似度の大きい順に所定個(ここではk個とする。)の共同評価用データを選択し、そのk個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。

0050

評価者重要度算出部16は、各自評価結果50、総合評価部12の処理結果(すなわち、共同評価用データと総合評価結果とを対応付けた情報。図4参照。)、および類似データ特定部14の処理結果(すなわち、未評価データに類似すると判定された共同評価用データ)とを用いて、未評価データ毎に、各評価者の評価者重要度を算出する。

0051

なお、評価者重要度算出部16は、各自評価結果50を直接読み込んでもよい。あるいは、総合評価部12から入力されてもよく、また、総合評価部12から類似データ特定部14を介して入力されてもよい。また、評価者重要度算出部16は、総合評価部12の処理結果を、総合評価部12から直接入力されてもよく、あるいは、総合評価部12から類似データ特定部14を介して入力されてもよい。

0052

評価者重要度算出部16は、類似データ特定部14の処理結果と、図4に例示する情報(総合評価部12の処理結果)とを参照して、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。さらに、評価者重要度算出部16は、各自評価結果50を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部16は、未評価データ毎に、評価者の評価結果が、未評価データに類似する各共同評価用データの総合評価結果と一致している割合を算出する。この割合は、総合評価結果と評価者の評価結果との一致の度合であるということができる。本例では、この割合の算出結果を評価者重要度とする場合を例にして説明する。1つの未評価データに着目した場合、評価者重要度算出部16は、その未評価データに類似する各共同評価用データの数に対する、総合評価結果に一致している評価者の評価結果の数の割合を、評価者毎に算出する。この結果、1つの未評価データに関して、各評価者の評価者重要度が得られる。評価者重要度算出部16は、他の未評価データに関しても、同様に各評価者の評価者重要度を算出する。

0053

評価者重要度算出部16は、上記のように未評価データ毎に、各評価者の評価者重要度を算出する。

0054

ここで、評価者重要度の意味を説明する。未評価データに類似している共同評価用データの特徴データは、未評価データの特徴データに近い。そして、未評価データに類似している共同評価用データに対する評価者の評価は、評価者の評価事例となる。このとき、評価者がその共同評価用データに対して、総合評価結果と同一の評価を下していれば、その評価者は、共同評価用データと特徴データが類似している未評価データに関しても、総合評価結果と同様の評価を下せることが期待できる。評価者重要度は、未評価データに類似する各共同評価用データに対して、評価者がどの程度総合評価と一致する評価を行っていたかを定量化した値である。従って、評価者重要度の値が大きいほど、評価者が未評価データに対して、総合評価結果と同様の評価を下せる可能性が高いと言える。

0055

図7および図8は、上記の処理の結果の例を示す説明図である。図7は、図2に示すID11番の未評価データに類似する共同評価用データとしてID2番、ID3番、ID4番、ID5番およびID8番の5個の共同評価用データが選択された場合を示している。また、図8は、図2に示すID12番の未評価データに類似する共同評価用データとしてID1番、ID5番、ID6番、ID9番およびID10番の5個の共同評価用データが選択された場合を示している。

0056

図7を例に説明する。評価者重要度算出部16は、ID11番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ID2番の共同評価用データの総合評価結果は、「文書分類」である(図4参照)。また、ID2番の共同評価用データに対する各評価者A,B,Cの評価結果はそれぞれ「文書分類」、「辞書構築」、「文書分類」である(図3参照)。従って、評価者重要度算出部16は、ID2番の共同評価用データの総合評価結果は、評価者A,Cの評価結果と一致し、評価者Bの評価結果とは一致しないと判定する(図7参照)。図7および図8において、“○”は、総合評価結果と評価者の評価結果が一致していることを意味し、“×”は、総合評価結果と評価者の評価結果が一致していないことを意味する。評価者重要度算出部16は、ID11番の未評価データに類似する他の共同評価用データ(ID3番、ID4番、ID5番、ID8番)に関しても、同様の判定を行う。

0057

ID11番の未評価データに類似する共同評価用データの数は5個である。また、共同評価用データの総合評価結果と一致する評価者Aの評価結果の数は5個である(図7参照)。従って、評価者重要度算出部16は、ID11番の未評価データに関する評価者Aの評価者重要度を、5/5=1.0と算出する。また、共同評価用データの総合評価結果と一致する評価者Bの評価結果の数は2個である。従って、評価者重要度算出部16は、ID11番の未評価データに関する評価者Bの評価者重要度を、2/5=0.4と算出する。また、共同評価用データの総合評価結果と一致する評価者Cの評価結果の数は3個である。従って、評価者重要度算出部16は、ID11番の未評価データに関する評価者Cの評価者重要度を、3/5=0.6と算出する。ID11番の未評価データに関しては、評価者Aの評価者重要度が一番高い。このことは、ID11番の未評価データに関しては、評価者Aに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がID11番の未評価データを評価しなくても、評価者Aが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。

0058

図8を例に説明する。評価者重要度算出部16は、ID12番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ID1番の共同評価用データの総合評価結果は、「辞書構築」である(図4参照)。また、ID1番の共同評価用データに対する各評価者A,B,Cの評価結果はいずれも「辞書構築」である。従って、評価者重要度算出部16は、ID1番の共同評価用データの総合評価結果は各評価者A,B,Cの評価結果と一致すると判定する(図8参照)。評価者重要度算出部16は、ID11番の未評価データに類似する他の共同評価用データ(ID5番、ID6番、ID9番、ID10番)に関しても、同様の判定を行う。

0059

ID12番の未評価データに類似する共同評価用データの数は5個である。また、共同評価用データの総合評価結果と一致する評価者Aの評価結果の数は3個である(図8参照)。従って、評価者重要度算出部16は、ID12番の未評価データに関する評価者Aの評価者重要度を、3/5=0.6と算出する。また、共同評価用データの総合評価結果と一致する評価者Bの評価結果の数は4個である。従って、評価者重要度算出部16は、ID12番の未評価データに関する評価者Bの評価者重要度を、4/5=0.8と算出する。また、共同評価用データの総合評価結果と一致する評価者Cの評価結果の数は5個である。従って、評価者重要度算出部16は、ID12番の未評価データに関する評価者Cの評価者重要度を、5/5=1.0と算出する。ID12番の未評価データに関しては、評価者Cの評価者重要度が一番高い。このことは、ID12番の未評価データに関しては、評価者Cに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がID12番の未評価データを評価しなくても、評価者Cが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。

0060

上記の評価者重要度の算出方法は、総合評価結果と評価者の評価結果との一致の度合を、未評価データに類似する共同評価用データの類似度によって重み付けを行うことによって算出する方法であるということができる。

0061

なお、総合評価結果として、複数種類の特徴データ(特徴語)が得られている場合、そのいずれかの特徴語と、評価者の評価結果とが一致していれば、評価者重要度算出部16は、総合評価結果と評価者の評価結果とが一致していると判定してよい。

0062

上記の例では、ID11番およびID12番の未評価データについて、各評価者A,B,Cの評価者重要度を算出する場合を示したが、評価者重要度算出部16は、他の未評価データに関してもそれぞれ、評価者毎に評価者重要度を算出する。図9は、ID11番以降の未評価データ毎に算出した評価者毎に評価者重要度の例である。評価者重要度算出部16は、未評価データ毎に算出した各評価者の評価者重要度を、重要評価者情報54として出力する。例えば、評価者重要度算出部16は、図9に示すように、各未評価データのIDと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報54として出力すればよい。

0063

なお、類似データ特定部14が、未評価データに類似する共同評価用データが存在しないと判定する場合もあり得る。この場合、評価者重要度算出部16は、類似する共同評価用データが存在しない未評価データには、評価者重要度を算出しなくてよい。そして、評価者重要度算出部16は、その未評価データに関しては、評価者重要度を算出しなかった旨を出力すればよい。

0064

重要評価者情報54には、例えば、図9に例示にするように、未評価データのID毎に、各評価者の評価者重要度が示されている。従って、重要評価者情報54を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を、未評価データの評価者として決定すればよい。その評価者に未評価データを評価させることで、多人数でその未評価データを評価しなくても総合評価結果に近い評価結果を得ることができる。なお、上記の閾値は予め定めておけばよい。なお、評価者の決定は、人間が行っても、情報処理装置が行ってもよい。また、評価者決定支援装置10が評価者の決定までの処理を行ってもよい。

0065

また、未評価データに類似する共同評価用データが存在しなかったために、評価者重要度が算出されていない未評価データに関しては、一般的な総合評価結果の導出方法と同様に、複数の評価者にその未評価データを評価させ、例えば、多数決等の所定の基準で、総合評価結果を導出すればよい。

0066

総合評価部12、類似データ特定部14および評価者重要度算出部16は、例えば、プログラムに従って動作するコンピュータのCPUによって実現される。この場合、コンピュータのプログラム記憶装置(図示略)が評価者決定支援プログラムを記憶し、CPUがそのプログラムを読み込み、そのプログラムに従って、総合評価部12、類似データ特定部14および評価者重要度算出部16として動作すればよい。また、総合評価部12、類似データ特定部14および評価者重要度算出部16がそれぞれ別々のユニットで実現されていてもよい。

0067

次に、本実施形態の処理経過について説明する。なお、総合評価部12、類似データ特定部14および評価者重要度算出部16の個々の要素の動作の詳細については既に説明したので、適宜省略する。図10は、本実施形態の処理経過の例を示すフローチャートである。データ集合52内において予め共同評価用データとして定められたレコードに対して、複数の評価者が評価を行うことによって、各自評価結果50(例えば、図3に例示する情報)が得られているものとする。総合評価部12は、各自評価結果50を入力データとして、共同評価用データ毎に総合評価結果を決定する(ステップS1)。総合評価部12が総合評価結果を決定する方法として、例えば、複数の評価者の評価結果に対して多数決を適用する方法等が挙げられるが、他の方法で総合評価結果を決定してもよい。

0068

次に、類似データ特定部14は、データ集合52内の個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似度を算出し、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定する(ステップS2)。ステップS2では、類似データ特定部14は、例えば、未評価データを1つずつ順次選択し、選択した未評価データと共同評価用データとの間の特徴データの類似度を算出し、選択した未評価データと特徴データが類似している共同評価用データを特定すればよい。

0069

ステップS2において、類似度の算出方法の一例として、未評価データの特徴データおよび共同評価用データの特徴データを特徴ベクトルとして表現し、特徴ベクトル同士のコサイン類似度を算出する方法がある。また、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定する方法として、例えば、未評価データとの類似度が閾値以上になっている共同評価用データを特定する方法や、類似度の大きい順に所定個の共同評価用データを特定する方法が挙げられる。これらの方法は、例示であり、他の方法で、類似度を算出したり、未評価データと類似している共同評価用データを特定したりしてもよい。

0070

評価者重要度算出部16は、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、未評価データを1つずつ順次選択し、選択した未評価データに類似する各共同評価用データの総合評価結果を特定すればよい。そして、評価者重要度算出部16は、各自評価結果50を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部16は、評価者毎に、評価者の評価結果が選択した未評価データに類似する各共同評価用データの総合評価結果と一致している割合(評価者重要度)を算出する(ステップS3)。ステップS3では、選択した未評価データ毎に同様の処理を行う。また、評価者重要度算出部16は、ステップS3において、重要評価者情報54を出力する。評価者重要度算出部16は、例えば、図9に示すように、各未評価データのIDと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報54として出力すればよい。

0071

前述のように、重要評価者情報54を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データに関して、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者が、未評価データに対して総合評価結果と同様の評価結果を導ける評価者であると判断することができる。

0072

未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を決定し、その評価者に未評価データを評価させることで、効率的に総合評価結果と同様の評価結果を導ける。例えば、評価対象が特許文献であり、その特許文献の技術分野を評価する場合、多人数の評価者にその評価を行わせなくても、評価者重要度に基づいて決定された評価者が総合評価結果と同様の技術分野を評価することができる。

0073

このように本発明によれば、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。

0074

また、例えば、動画サイトにおいて、視聴者が新しい動画を見たとする。そして、その動画に関して、その視聴者の評価者重要度が算出されていて、その評価者重要度が閾値以上であることが分かれば、その視聴者の端末に、動画に対する評価を促すコメントを表示させたり、他の視聴者のコメントを表示させて評価を促したりすることができる。このような視聴者によって、他者に削除されにくい評価を新しい動画に対していち早く付与することができる。その結果、その動画に対する潜在的な視聴者からのアクセス効率を高める効果が期待できる。

0075

また、評価者重要度の算出方法は前述の方法に限定されない。評価者重要度の他の算出方法の例について説明する。評価者重要度算出部16は、未評価データと共同評価用データとの類似度を反映させた評価者重要度を算出してもよい。図11は、類似度を用いた評価者重要度の算出例を示すための説明図である。図11は、図7と同様に、ID11番の未評価データに類似する共同評価用データ(ID2番、ID3番、ID4番、ID5番およびID8番)のIDと、その共同評価用データに対する総合評価結果と各評価者の評価結果とが一致しているか否かに関する情報とを示している。さらに、共同評価用データ毎に、着目している未評価データ(ID11番)との類似度もそれぞれ示している。本例では、ID11番の未評価データと各共同評価用データとの類似度が、図11に示す値になっているとする。

0076

評価者重要度算出部16は、着目している未評価データと、その未評価データに類似する各共同評価用データとの類似度の合計を計算する。図11に示す例では、類似度の合計として、0.9+0.6+0.6+0.7+0.8=3.6を算出する。この類似度の合計をS1とする。そして、評価者重要度算出部16は、評価データに類似する各共同評価用データのうち、総合評価結果と評価者自身の評価結果とが一致している共同評価用データを特定し、その共同評価用データについて求められた類似度の合計を、評価者毎に計算する。個々の評価者に関して求めた上記の類似度の合計をS2とする。評価者重要度算出部16は、評価者毎に、S1に対するS2の割合を算出し、その割合を評価者重要度としてもよい。

0077

例えば、評価者Aに着目すると、総合評価結果と評価者A自身の評価結果とが一致している共同評価用データは、ID2番、ID3番、ID4番、ID5番およびID8番である(図11参照)。評価者重要度算出部16が、ID11番の未評価データとこれらの各共同評価用データの類似度の合計S2を算出すると、S2=0.9+0.6+0.6+0.7+0.8=3.6となる。よって、評価者重要度算出部16は、評価者Aの評価者重要度を、3.6/3.6=1.0と算出する。

0078

また、例えば、評価者Bに着目すると、総合評価結果と評価者B自身の評価結果とが一致している共同評価用データは、ID3番およびID4番である(図11参照)。従って、評価者重要度算出部16は、S2の値を0.6+0.6=1.2と算出する。よって、評価者重要度算出部16は、評価者Bの評価者重要度を、1.2/3.6=0.33と算出する。

0079

また、例えば、評価者Cに着目すると、総合評価結果と評価者C自身の評価結果とが一致している共同評価用データは、ID2番、ID5番およびID8番である(図11参照)。従って、評価者重要度算出部16は、S2の値を0.9+0.7+0.8=2.4と算出する。よって、評価者重要度算出部16は、評価者Cの評価者重要度を、2.4/3.6=0.66と算出する。

0080

ここでは、ID11番の未評価データに関して、各評価者の評価者重要度を算出する場合を示したが、評価者重要度算出部16は、他の未評価データに関しても同様に評価者毎の評価者重要度を算出すればよい。

0081

上記のように類似度を用いて評価者重要度を算出することで、未評価データに類似する共同評価用データの中でも、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者と、そうでない評価者との評価者重要度の差を大きくすることができる。その結果、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者を重視することができる。

0082

例えば、上記のように類似度を用いて計算した評価者Bの評価者重要度は0.33であり、類似度を用いずに算出したID11番における評価者Bの評価者重要度0.4(図9参照)よりも低くなっている。このように、類似度を用いて計算した評価者重要度によれば、評価者BがID11番の評価に向いていないことを、より推定しやすくなる。

0083

実施形態2.
図12は、本発明の第2の実施形態の評価者決定支援装置の例を示すブロック図である。第1の実施形態と同様の要素については、図1と同一の符号を付し、説明を省略する。本実施形態の評価者決定支援装置は、総合評価部12と、類似データ特定部14と、評価者重要度算出部16と、アクティブラーニング部18と、評価者重要度補正部20と、評価結果入力部22とを備える。総合評価部12、類似データ特定部14および評価者重要度算出部16は、第1の実施形態と同様であり、説明を省略する。なお、本実施形態では、評価者重要度算出部16は、重要評価者情報54を評価者重要度補正部20に入力する。

0084

第2の実施形態では、評価者決定支援装置にアクティブラーニングを適用することで、総合的な評価基準で分類や回帰が可能なモデルを効率的に構築することを可能としている。アクティブラーニングとは、判定が困難な未評価データを評価者に提示し、評価結果に基づいて再度、モデルを強化する枠組みである。本実施形態において、モデルは、特徴データと評価結果との関係を表す情報である。モデルの一例として、特徴データに基づいてどの評価結果に該当するのかを分類するための分類器が挙げられる。また、モデルは数理モデルであっても、他のモデルであってもよい。本実施形態の評価者決定支援装置は、未評価結果に対する評価が行われ、評価結果が増加するにつれ、モデルを強化する(すなわち、モデルの精度を向上させる。)。

0085

本実施形態では、モデルの精度を高めるのに寄与する未評価データを選択する指標となる値(後述の評価意義度)を算出する。そして、総合評価結果と同様の評価をすることが可能な評価者に、モデルの精度を高めるのに寄与する未評価データを提示し、その評価者にその未評価データを評価させる。この評価が行われたデータ(評価済みデータ58)を用いて、モデルが強化される。第1の実施形態と同様に、総合評価結果と同様の評価をすることが可能な評価者に未評価データの評価を行わせることができるので、評価回数を減らして、効率的に、総合評価結果と同様の評価結果を得ることができる。さらに、特徴データと評価結果との関係を表すモデルの精度を効率的に高めることができる。

0086

以下に示す例においても、特許文献に対する評価を行って特許文献を分類する場合を例にして説明する。ただし、本例では、説明を簡単にするために、特許文献を「重要である」または「重要でない」のいずれかに分類するものとする。従って、本例では、特許文献に対する評価は、「重要である」または「重要でない」の2種類である。また、これに合わせて、本例では、モデルが2値の分類器である場合を例にする。

0087

アクティブラーニング部18は、評価済みデータ58と、データ集合52とを入力情報として、特徴データと評価結果との関係を学習し、モデルを作成する。評価済みデータ58は、評価者によって評価が行われたデータであり、評価結果を含む。なお、評価済みデータ58を記憶する記憶装置(評価済みデータ記憶部。図示略。)を評価者決定支援装置が備えていてもよい。初期状態では、アクティブラーニング部18は、各自評価結果50(または、各自評価結果50から得られた総合評価結果)を評価済みデータ58として用いることによって、モデルを作成すればよい。

0088

また、アクティブラーニング部18は、データ集合52内の未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを定量化する。この定量化した値を評価意義度と記す。評価意義度が高いほど、次回のモデル作成時にモデルの精度向上に寄与する程度が大きく、評価意義度が低いほど、モデルの精度向上に寄与する程度が小さい。アクティブラーニング部18は、未評価データ毎に導出した評価意義度を評価者重要度補正部20に入力する。

0089

評価意義度は、評価者重要度の補正に用いられ、補正後の評価者重要度によって、評価者に評価させるべき未評価データが選択される。従って、評価意義度は、評価者に評価させるべき未評価データを選択するために用いられているということができる。また、選択された未評価データは、その評価結果とともに、評価済みデータ58として次回のモデルの作成の際に用いられる。なお、評価者重要度の補正は、評価者重要度補正部20が行う。また、評価者に評価させるべき未評価データの選択や、その未評価データに対する評価結果の入力の受け付けは、評価結果入力部22が行う。

0090

アクティブラーニング部18は、例えば、公知の方法で評価意義度を導出すればよい。評価意義度を導出する方法の一例が以下の参考文献に記載されている。アクティブラーニング部18は、以下の参考文献に記載された方法で評価意義度を導出してもよい。

0091

[参考文献]
Sanjoy Dasgupta, Adam Tauman Kalai, Claire Monteleoni, “Analysis of Perceptron-Based Active Learning”, The Journal of Machine Learning Research, Vol 10, pp.281-299, 2009年

0092

図13は、評価意義度の導出を模式的に示す説明図である。図13内に示す個々の“○”は、評価対象となる特許文献を表す。そして、“+”または“−”の記号とともに表された“○”は評価済みの特許文献を表す。“+”は、「重要である」という評価結果を意味し、“−”は、「重要でない」という評価結果を意味する。“+”および“−”の何れも付加されていない“○”は未評価の特許文献(未評価データ)である。識別境界70は、モデル(本例では2値の分類器)によって定められる。評価者による人手の評価ではなく、モデルを用いて分類する場合には、未評価データが識別境界のどちら側に該当するかにより、「重要である」か「重要でない」かに分類される。図13に示す状況では、識別境界70を基準として、「重要である」と評価された特許文献と同じ側の未評価データは「重要である」と判定され、「重要でない」と評価された特許文献と同じ側の未評価データは「重要でない」と判定される。

0093

ここでは、説明を簡単にするために、未評価データ71,72に着目する。未評価データ71は、モデルにより「重要でない」と判定されることになるが、識別境界70が少しずれると、「重要である」と判定されることになる。また、未評価データ72は、識別境界70が少しずれても、モデルによる判定結果は変化しないと考えられる。そのため、より精度の高い識別境界を定めるには、未評価データ71について、実際に評価者が人手で評価を行い、その評価結果に基づいて、モデルを再度作成することが好ましい。すなわち、未評価データ71,72の比較では、識別境界70に近い未評価データ71を実際に評価した方が、モデルの精度の向上に寄与すると考えられる。

0094

上記の例では、未評価データ71,72を参照して説明したが、アクティブラーニング部18は以下のように評価意義度を導出すればよい。すなわち、アクティブラーニング部18は、個々の未評価データについて、未評価データと識別境界70との距離の近さを定量化し、未評価データと識別境界70との距離が近いほど評価意義度の値を大きく定め、未評価データと識別境界70との距離が遠いほど評価意義度の値を小さく定めればよい。

0095

アクティブラーニング部18は、初期状態では、各自評価結果50(または、各自評価結果50から得られた総合評価結果)を評価済みデータ58として用いることによって、モデルを作成すればよい。ここで、モデルの作成には2つの方法がある。

0096

モデルを作成する第1の方法は、各自評価結果50から得られた総合評価結果を評価済みデータ58とみなして、学習データとして利用する方法である。この方法により、アクティブラーニング部18は、総合評価結果に対する一つのモデルを作成できる。なお、未評価データの特徴データをこのモデルに入力することによって、総合評価結果を推定することができるが、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。

0097

また、第1の方法を用いる場合、アクティブラーニング部18は、未評価データ毎に1つの評価意義度を導出する。図14は、未評価データ毎に1つの評価意義度を導出した場合の評価意義度の例を示す。図14において“ID”として示した値は特許文献のIDであり、図2に示すIDの値に対応する。図14に示す例では、ID11番以降の未評価データに対してそれぞれ1つの評価意義度を導出している。

0098

モデルを作成する第2の方法は、各々の評価者の各自評価結果を評価済みデータ58とみなして、学習データとして利用する方法である。この方法では、アクティブラーニング部18は、評価者の人数分のモデル群を作成する。このように評価者の人数分のモデル群を作成した場合には、未評価データの特徴データをそれぞれのモデルに入力して得られた各評価結果推定値から総合評価結果を推定することができるが、前述のように、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。

0099

また、第2の方法を用いる場合、アクティブラーニング部18は、未評価データ毎に、評価者の人数分の評価意義度を導出する。図15は、未評価データ毎に、評価者の人数分の評価意義度を導出した場合の評価意義度の例を示す。図15に示すIDの値は図14と同様であり、図15に示す例では、ID11番以降の未評価データに対してそれぞれ評価者毎の評価意義度を導出している。また、図15に示すA,B,Cは、図9に示す評価者のIDと対応しているものとする。

0100

評価者重要度補正部20は、アクティブラーニング部18から入力される評価意義度に基づいて、評価者重要度算出部16が算出した評価者重要度の値を補正する。すなわち、評価者重要度算出部16から入力される重要評価者情報54に含まれる評価者重要度の値を、評価意義度に基づいて補正する。評価者重要度の値を補正した重要評価者情報54を、補正後重要評価者情報56と記す。評価者重要度補正部20は、補正の結果得た補正後重要評価者情報56を評価結果入力部22に入力する。

0101

重要評価者情報54には、各未評価データにおける評価者重要度が評価者毎に含まれている。評価者重要度は、ある評価者がある未評価データをどれだけ総合的な評価基準で評価できるかを定量化したものである。また、アクティブラーニング部18が導出する評価意義度は、どの未評価データが次のモデル作成の際にモデルの精度向上に寄与するかを定量化したものである。そのため、未評価データ毎に、評価者重要度および評価意義度がそれぞれ高ければ評価者重要度をより高くする演算を行うことで、総合評価結果と同様の評価結果を下すことができる評価者に、モデルの精度向上に寄与する未評価データを提示する指標として用いることができる。

0102

具体的には、評価者重要度補正部20は、例えば、各々の未評価データにおける評価者重要度と評価意義度との相加平均または相乗平均を補正後の評価者重要度としてもよい。また、『「評価者重要度>0.6 かつ 評価意義度>0.8」という条件が成立しているならば、評価者重要度に0.2を加算する』等のルールに従って、評価者重要度を補正してもよい。なお、個々で示したルールや、ルール内の数値は例示であり、他のルールによって評価者重要度を補正してもよい。

0103

また、評価者重要度補正部20による補正の態様は、未評価データ毎に評価意義度が1つずつ導出されているか、あるいは、未評価データ毎に評価者の人数分導出されているかによって異なる。

0104

まず、未評価データ毎に評価意義度が1つずつ導出されている場合の補正態様について説明する。ここでは、評価者重要度として図9に示す値が算出されており、また、評価意義度として、図14に示す値が求められているものとする。また、評価者重要度補正部20が評価者重要度と評価意義度との平均値を、補正後の評価者重要度とする場合を例にする。

0105

評価者重要度補正部20は、未評価データを1つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、評価意義度を特定する。そして、評価者重要度補正部20は、選択した評価データに関して、各評価者の評価者重要度毎に、評価者重要度と評価意義度との平均値を計算し、その平均値を補正後の評価者重要度とする。例えば、評価意義度と評価者Aの評価者重要度との平均値を、評価者Aの補正後の評価者重要度とする。評価者B,Cの評価者重要度についても同様に補正する。評価者重要度補正部20は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報56を評価結果入力部22に入力する。

0106

図16は、この場合の補正後重要評価者情報56の例を示す。例えば、ID11番に着目すると、評価者Aの補正後の評価者重要度“0.65”は、評価者Aの補正前の評価者重要度“1.0(図9参照)”と、ID11番に対応する評価意義度“0.3(図14参照)”との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。

0107

次に、未評価データ毎に評価者の人数分導出されている場合の補正態様について説明する。ここでは、評価者重要度として図9に示す値が算出されており、また、評価意義度として、図15に示す値が求められているものとする。本例でも、評価者重要度補正部20が評価者重要度と評価意義度との平均値を補正後の評価者重要度とする場合を例にする。

0108

評価者重要度補正部20は、未評価データを1つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、各評価者に対応する評価意義度を特定する。そして、評価者重要度補正部20は、選択した評価データについて、共通の評価者に関する評価者重要度と評価意義度との平均値を計算し、その平均値をその評価者の補正後の評価者重要度とする。例えば、評価者Aの評価者重要度と評価者Aの評価意義度との平均値を、評価者Aの補正後の評価者重要度とする。評価者B,Cの評価者重要度についても同様に補正する。評価者重要度補正部20は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報56を評価結果入力部22に入力する。

0109

図17は、この場合補正後重要評価者情報56の例を示す。例えば、ID11番に着目すると、評価者Aの補正後の評価者重要度“0.75”は、評価者Aの補正前の評価者重要度“1.0(図9参照)”と、評価者Aに対応する評価意義度“0.5(図15参照)” との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。

0110

評価結果入力部22は、補正後重要評価者情報56に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示する。

0111

評価結果入力部22は、特定の評価者に評価させる未評価データを以下のように決定すればよい。評価結果入力部22は、補正後重要評価者情報56から、未評価データのIDを、1つずつ順に選択する。そして、評価結果入力部22は、選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部22は、選択したIDに対応する評価者重要度の最大値が閾値よりも大きければ、そのIDの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値より高いと言うことは、選択したIDの未評価データは、次回のモデル作成時にモデルの精度向上に寄与すると言える。また、選択したIDに関して、評価者重要度が最大となっている評価者に評価させるので、そのような未評価データに対して、総合評価結果と同様の評価が行われることが期待できる。

0112

選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部22は、その未評価データの評価者への提示を保留する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値以下である場合、その未評価データは、モデルの精度向上への寄与の程度が低いと言える。なお、最大の評価者重要度が閾値以下であるということは、そのIDに対応付けられた各評価者の評価者重要度がいずれも閾値以下であるということである。

0113

ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部22は、提示を保留とした未評価データを複数の評価者(各評価者)に提示すると決定する。各評価者重要度が閾値以下である未評価データについては、評価者が総合評価結果と同様の評価をしない可能性もあり得る。よって、本実施形態では、評価結果入力部22は、そのような未評価データについては、各評価者に提示すると決定する。

0114

また、評価結果入力部22は、類似する共同評価用データが存在しないと類似データ特定部14によって判定され、評価者重要度算出部16によって各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者(各評価者)に提示すると決定してもよい。

0115

評価結果入力部22によって未評価データを提示された評価者は、その未評価データを評価者自身の基準で評価する。本例では、未評価データ(特許文献の特徴語)に基づいて、その特許文献が重要であるか否かを評価する。そして、評価結果入力部22は、評価者による評価結果を入力され、表示した未評価データと、入力された評価結果とを対応付けて、例えば、評価済みデータ記憶部(図示略)に記憶させる。評価の行われた未評価データとその評価結果は、評価済みデータ58として用いられる。

0116

評価結果入力部22が評価者に未評価データを提示し、評価結果を得る態様の一例を説明する。評価結果入力部22は、未評価データを提示する評価者を決定した場合、その評価者の端末に、その未評価データの評価を依頼する電子メールを送信すればよい。なお、各評価者のメールアドレスは、予め記憶装置(図示略)に記憶させておければよい。また、評価結果入力部22は、電子メールを送信した評価者からのログインを受け付けたときに、その評価者の端末に、評価を依頼した未評価データを表示するとともに、その評価結果を入力するインタフェースを含むWebページ画面情報を送信してもよい。そして、評価結果入力部22は、そのWebページに入力された評価結果を、評価者の端末から通信ネットワークを介して受信してもよい。本例は、評価結果入力部22が評価者に未評価データを提示し、評価結果を得る態様の一例であり、評価結果入力部22が評価者に未評価データを提示し、評価結果を得る態様は、上記の例に限定されない。

0117

また、評価結果入力部22は、評価の行われた未評価データその評価結果との組を新たに評価済みデータ記憶部(図示略)に記憶させた数をカウントし、そのカウント結果が、予め定めた閾値以上になったとき、すなわち、新たに発生した評価済みデータ58の数が閾値以上になったときに、アクティブラーニング部18に、評価済みデータ58を用いて、モデルを作成させ、残っている未評価データの評価意義度を再度算出させる。

0118

総合評価部12、類似データ特定部14、評価者重要度算出部16、アクティブラーニング部18、評価者重要度補正部20および評価者入力部22は、例えば、プログラムに従って動作するコンピュータのCPUによって実現される。この場合、コンピュータのプログラム記憶装置(図示略)が評価者決定支援プログラムを記憶し、CPUがそのプログラムを読み込み、そのプログラムに従って、総合評価部12、類似データ特定部14、評価者重要度算出部16、アクティブラーニング部18、評価者重要度補正部20および評価者入力部22として動作すればよい。また、これらの要素がそれぞれ別々のユニットで実現されていてもよい。

0119

次に、本実施形態の処理経過について説明する。図18は、本実施形態の処理経過の例を示すフローチャートである。第1の実施形態と同様の処理については、図10に示すフローチャートと同様の符号を付し、説明を省略する。また、アクティブラーニング部18、評価者重要度補正部20、評価結果入力部22の個々の動作の詳細についても既に説明したので、適宜省略する。

0120

ステップS1〜S3の処理は、第1の実施形態と同様である。また、アクティブラーニング部18は、評価済みデータ58とデータ集合52とを参照して、特徴データと評価結果との関係を表すモデルを作成し、未評価データの評価意義度を求める(ステップS4)。なお、初期状態では、アクティブラーニング部18は、各自評価結果50(または、各自評価結果50から得られた総合評価結果)を評価済みデータ58として用いてモデルを作成する。

0121

そして、ステップS3,S4がそれぞれ終了した後、アクティブラーニング部18から入力される評価意義度に基づいて、評価者重要度算出部16が算出した評価者重要度の値を補正する(ステップS5)。ステップS5では、例えば、評価意義度が高いほど、評価者重要度が相対的に高くなるように、評価者重要度を補正する。

0122

次に、評価結果入力部22は、補正後重要評価者情報56に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示する(ステップS6)。評価者は提示された未評価データに対する評価を行い、その評価結果を入力する。

0123

評価結果入力部22は、評価結果が入力されると、提示した未評価データとその評価結果との組を評価済みデータ58として記録する(ステップS7)。そして、評価済みデータ58の数が閾値以上になると、アクティブラーニング部18に、その評価済みデータ58を用いてモデルを作成させ、また、残っている未評価データの評価意義度を求めさせる。

0124

この結果、アクティブラーニング部18、評価者重要度候補部20および評価結果入力部22は、ステップS4〜S7のループ処理を繰り返す。

0125

本実施形態によれば、第1の実施形態と同様に、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。

0126

また、本実施形態では、アクティブラーニング部18が、未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを示す評価意義度を求める。そして、評価者重要度補正部20が評価意義度により評価者重要度を補正し、評価結果入力部22が、どの評価者に対してどの未評価データを提示するかを決定する。従って、特徴データと評価結果との関係を表すモデルの精度向上に寄与する新たな評価結果を得ることができ、モデルの精度を向上させることができる。

0127

なお、第1の実施形態の評価者決定支援装置(図1参照。)が、評価結果入力部22を備え、評価結果入力部22が、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示してもよい。この場合、評価結果入力部22は、評価者重要度算出部16が算出した評価者重要度を参照して、どの評価者に対してどの未評価データを提示するかを決定すればよい。評価意義度による補正が行われていない評価者重要度を参照するという点以外は、第2の実施形態と同様である。すなわち、評価結果入力部22は、未評価データのIDを、1つずつ順に選択する。そして、評価結果入力部22は、選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部22は、選択したIDに対応する評価者重要度の最大値が閾値よりも大きければ、そのIDの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。また、選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部22は、その未評価データの評価者への提示を保留する。ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部22は、提示を保留とした未評価データを複数の評価者(各評価者)に提示すると決定する。また、類似する共同評価用データが存在せず、各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者(各評価者)に提示すると決定してもよい。

0128

次に、本発明の最小構成について説明する。図19は、本発明の評価者決定支援装置の最小構成の例を示すブロック図である。本発明の評価者決定支援装置は、総合評価結果判定手段91と、類似データ判定手段92と、総合評価結果導出度算出手段93とを備える。

0129

総合評価結果判定手段91(例えば、総合評価部12)は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合(例えば、データ集合52)の部分集合に該当する各評価対象データ(例えば、共同評価用データ)に対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する。

0130

類似データ判定手段92(例えば、類似データ特定部14)は、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する。

0131

総合評価結果導出度算出手段93(例えば、評価者重要度算出部16)は、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度(例えば、評価者重要度)を算出する。

0132

そのような構成により、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。

0133

上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。

0134

(付記1)評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合(例えば、データ集合52)の部分集合に該当する各評価対象データ(例えば、共同評価用データ)に対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段(例えば、総合評価部12)と、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段(例えば、類似データ特定部14)と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度(例えば、評価者重要度)を算出する総合評価結果導出度算出手段(例えば、評価者重要度算出部16)とを備えることを特徴とする評価者決定支援装置。

0135

(付記2)総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する付記1に記載の評価者決定支援装置。

0136

(付記3)特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段(例えば、アクティブラーニング部18)と、
未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段(例えば、評価者重要度補正部20)とを備える付記1または付記2に記載の評価者決定支援装置。

0137

(付記4)未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段(例えば、評価結果入力部22)を備える付記1から付記3のうちのいずれかに記載の評価者決定支援装置。

0138

(付記5)評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する付記4に記載の評価者決定支援装置。

0139

(付記6)評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する付記4または付記5に記載の評価者決定支援装置。

0140

(付記7)類似データ判定手段は、未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する付記1から付記6のうちのいずれかに記載の評価者決定支援装置。

0141

(付記8)総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する付記1から付記7のうちのいずれかに記載の評価者決定支援装置。

0142

(付記9)総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、一の評価者が評価した評価結果が、所定の期間が経過しても他の評価者によって不同意とされていない(例えば、削除されていない)と判定した場合に、前記一の評価者の評価結果を総合評価結果と判定する付記1から付記7のうちのいずれかに記載の評価者決定支援装置。

0143

(付記10)評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする評価者決定支援方法。

0144

(付記11)コンピュータに、評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させるための評価者決定支援プログラム。

0145

本発明は、評価対象を評価させる評価者の決定を容易に行えるようにする評価者決定支援装置に好適に適用可能である。

0146

10評価者決定支援装置
12総合評価部
14類似データ特定部
16 評価者重要度算出部
18アクティブラーニング部
20 評価者重要度補正部
22 評価結果入力部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ