図面 (/)

技術 ラベルの系列マッチングの誤り修正方法及び装置及びプログラム及びラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体

出願人 日本電信電話株式会社
発明者 南田幸紀森本正志
出願日 2003年12月1日 (16年6ヶ月経過) 出願番号 2003-401670
公開日 2005年6月23日 (15年0ヶ月経過) 公開番号 2005-165538
状態 特許登録済
技術分野 検索装置 特定用途計算機 スタジオ回路
主要キーワード 自動マッチング 代表表示 両ラベル 最終報告 焼きなまし法 ラベル列 発話開始時刻 最小化法
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2005年6月23日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (10)

課題

マッチング修正作業において、作業に要する手数を削減する。

解決手段

本発明は、2つのラベル列のマッチングを行い、コスト最小化法により、マッチング結果wと最小コストCを求め、i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によってラベル列SA,SBのマッチングwiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチングの距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択し、候補iについて、ラベルaiとbw(i)の対応の正誤操作者提示し、該操作者から対応の正誤を取得し、該ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコストを与え、変更されたコストを加味して、再度マッチング処理以降の処理を繰り返す。

概要

背景

ベル系列マッチング(または対応付け)は、多くの場面で利用される。似た文章を互いにずれが最小になるように単語毎に対応付けたり、たんぱく質アミノ酸の配列を比較したりする際に用いられる技術である。

近年では、マルチメディア技術の発達により、映像音声計算機上で扱えるようになってきている。これに伴い、原稿台本テキストという文字情報と、映像番組中で話者発話している音声信号(通常、映像番組は音声を含む)を対応付けるように、異種メディア間でのマッチングを求めることも試みられるようになってきている(例えば、非特許文献1、2参照)。

マッチングの問題は、数学的にはあるコスト関数の下で最小化問題と捉えることができる。ここで、A,Bをラベルの集合とする。aをAの元、bをBの元とする(a∈A,b∈B)。Aの元の系列SA={a1,a2,a3,…,an}(ai∈A,1≦i≦n)をAのラベル列、Bの元の系列SB={b1,b2,b3,…,bm}(bi∈B,1≦i≦m)をBのラベル列とする。

ラベル列SAとラベル列SBのマッチング結果をwとする。wは、整数[1,n]を整数[1,m]に写す写像であり、ラベル列SAのi番目のラベルaiと、ラベル列SBのw(i)番目のラベルbw(i)が対応付いていることを意味するものとする。wには、一般には何らかの制約が課せられる。例えば、ラベルの並び順逆転させないという制約(i<jならばw(i)≦w(j)や、wの値があまり急に変化しないという傾斜制限(w(i+1)≦w(i)+α、αは定数)を課す場合がある。

ラベルaとラベルbを対応付ける場合のコストをc(a,b)とする。コストc(a,b)は、aとbの関数であり、aとbが似ているほど小さい値をとり、完全に一致する場合に最小値0をとるものとする。

ラベル列SAとラベル列SBのマッチング結果wのコストCを、以下の数式1で

と定義する。最小のコストCを与えるwを、ラベル列SAとラベル列SBの最適マッチング結果w0と定義する。C(w)は、マッチング結果をスカラー量に写す関数であり、コスト関数と呼ぶことにする。よって、2系列のマッチングを求める問題は、コスト関数の下での最小化問題に帰着する。

マッチングを求めるためには、一般最小化アルゴリズムを使用することができる。例えば、全探索や、焼きなまし法を用いることができる(例えば、非特許文献3参照)。特に、並び順の逆転がない場合には、高速動的計画法ダイナミックプログラミングDP)によるDPマッチングと呼ばれる方法がよく利用されている。

これらの最小化アルゴリズムは、所与のコスト関数の下で最善の解を求めるものである。

なお、最小化問題は、コスト最小化問題、エネルギー最小化問題、最適化問題などとも呼ばれる。また、符合反転させればコストを最大化する問題となるので、最小化問題と最大化問題は本質的に同じ問題である。

ここで、本明細書中で用いるいくつかの用語について定義しておく。

『対応が「正しい」または、「誤り」である』とは、人間がその対応を吟味し判定した結果を指すものとする。コスト最小化法により計算されたマッチング結果は、コストを最小化するという意味において常に正しいといえるが、マッチング結果を利用する人間は、別の独自の基準によって正誤を判定するので、必ずしもその結果を受け入れられるものではない。また、音声信号とテキストを対応付ける場合には、音声認識の結果に誤りが混入しているような場合もあり、そのような場合には、コストを最小化するようなマッチングであっても誤りを含むと考えられ、その正誤はコストを評価することでは判定し得ず、人間の判定によらざるを得ないであろう。

コストの最小化法などの機械的な手順でマッチングを行うことを『自動マッチング』と呼ぶこととする。自動機械で実行可能であるという意味の含みをもっているが、必ずしも機械で実行させなければならないという意味ではない。
平成12年度視聴覚障害者向け放送ソフト制作技術研究開発プロジェクト最終報告書,通信放送機
正剛、中川裕志、“ドラマビデオ音声トラックシナリオセリフ時刻同期法”、情報処理学会第118回知能と複雑系研究会研究報告、SIG−ICS, no.188−4,pp.25−31
Richard O. Duda, Peter E. Hart and David G. Stork, 尾上守夫監訳、パターン識別、新技術コミュニケーション

概要

マッチングの修正作業において、作業に要する手数を削減する。本発明は、2つのラベル列のマッチングを行い、コスト最小化法により、マッチング結果wと最小コストCを求め、i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によってラベル列SA,SBのマッチングwiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチングの距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択し、候補iについて、ラベルaiとbw(i)の対応の正誤を操作者提示し、該操作者から対応の正誤を取得し、該ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコストを与え、変更されたコストを加味して、再度マッチング処理以降の処理を繰り返す。

目的

本発明は、上記の点に鑑みなされたもので、マッチングの修正作業において、作業に要する手数を削減するためのラベルの系列マッチングの誤り修正方法及び装置及びプログラム及びラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正する情報処理装置上における、ラベル系列マッチング誤り修正方法において、マッチング処理手段が、前記2つのラベル列のマッチングを行い、コスト最小化法により、前記マッチング結果wと最小コストCを求め、一時的に記憶手段に格納するマッチング処理過程と、修正候補選択手段が、i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によって前記ラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択過程と、前記候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力することにより操作者提示し、該操作者から対応の正誤を取得し、コスト付与手段が、該ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与過程と、前記コスト付与過程で変更されたコストを加味して、再度前記マッチング処理過程以降の処理を繰り返す繰り返し過程からなることを特徴とするラベルの系列のマッチング誤り修正方法。

請求項2

前記コスト付与過程において、前記操作者が前記ラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、コスト付与手段が、前記ラベルaiとbw(i)の対応に高いコストを与えると共に、前記ラベルaiと前記ラベルbjの対応に低いコストを与える請求項1記載のラベルの系列のマッチング誤り修正方法。

請求項3

入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正するラベルの系列のマッチング誤り修正装置であって、前記2つのラベル列のマッチングを行い、コスト最小化法により、前記マッチング結果wと最小コストCを求め、一時的に記憶手段に格納するマッチング処理手段と、i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によって前記ラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択手段と、前記候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力することにより操作者に提示し、該操作者から対応の正誤を取得するインタフェース手段と、前記ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与手段と、前記コスト付与手段で変更されたコストを加味して、再度前記マッチング処理手段、前記修正候補選択手段、前記インタフェース手段、及び前記コスト付与手段を繰り返す繰り返し手段と、を有することを特徴とするラベルの系列のマッチング誤り修正装置。

請求項4

前記コスト付与手段は、前記操作者が前記ラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、前記ラベルaiとbw(i)の対応に高いコストを与えると共に、前記ラベルaiと前記ラベルbjの対応に低いコストを与える手段を含む請求項3記載のラベルの系列のマッチング誤り修正装置。

請求項5

入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正するコンピュータに実行させるラベルの系列のマッチング誤り修正プログラムであって、前記2つのラベル列のマッチングを行い、コスト最小化法により、前記マッチング結果wと最小コストCを求め、一時的に記憶手段に格納させるマッチング処理ステップと、i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によって前記ラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択ステップと、前記候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力させることにより操作者に提示させ、該操作者から対応の正誤を取得させるインタフェースステップと、前記ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与ステップと、前記コスト付与ステップで変更されたコストを加味して、再度前記マッチング処理ステップ、前記修正候補選択ステップ、前記インタフェースステップ、及び前記コスト付与ステップを、繰り返えさせる繰り返し制御ステップと、をコンピュータに実行させることを特徴とするラベルの系列のマッチング誤り修正プログラム。

請求項6

前記コスト付与ステップは、前記操作者が前記ラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、前記ラベルaiとbw(i)の対応に高いコストを与えると共に、前記ラベルaiと前記ラベルbjの対応に低いコストを与えるステップをコンピュータに実行させる請求項5記載のラベルの系列のマッチング誤り修正プログラム。

請求項7

入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正するコンピュータに実行させるラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体であって、前記2つのラベル列のマッチングを行い、コスト最小化法により、前記マッチング結果wと最小コストCを求め、一時的に記憶手段に格納させるマッチング処理ステップと、i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によって前記ラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択ステップと、前記候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力させることにより操作者に提示させ、該操作者から対応の正誤を取得させるインタフェースステップと、前記ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与ステップと、前記コスト付与ステップで変更されたコストを加味して、再度前記マッチング処理ステップ、前記修正候補選択ステップ、前記インタフェースステップ、及び前記コスト付与ステップを、繰り返えさせる繰り返し制御ステップと、をコンピュータに実行させるプログラムを格納したことを特徴とするラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体。

請求項8

前記コスト付与ステップは、前記操作者が前記ラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、前記ラベルaiとbw(i)の対応に高いコストを与えると共に、前記ラベルaiと前記ラベルbjの対応に低いコストを与えるステップをコンピュータに実行させる請求項7記載のラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体。

技術分野

0001

本発明は、ラベル系列マッチング誤り修正方法及び装置及びプログラム及びラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体係り、特に、たんぱく質アミノ酸の配列等を比較するためのラベルの系列のマッチングにおいて発生するマッチングの誤り対話的修正するためのラベルの系列マッチングの誤り修正方法及び装置及びプログラム及びラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体に関する。

背景技術

0002

ラベルの系列のマッチング(または対応付け)は、多くの場面で利用される。似た文章を互いにずれが最小になるように単語毎に対応付けたり、たんぱく質のアミノ酸の配列を比較したりする際に用いられる技術である。

0003

近年では、マルチメディア技術の発達により、映像音声計算機上で扱えるようになってきている。これに伴い、原稿台本テキストという文字情報と、映像番組中で話者発話している音声信号(通常、映像番組は音声を含む)を対応付けるように、異種メディア間でのマッチングを求めることも試みられるようになってきている(例えば、非特許文献1、2参照)。

0004

マッチングの問題は、数学的にはあるコスト関数の下で最小化問題と捉えることができる。ここで、A,Bをラベルの集合とする。aをAの元、bをBの元とする(a∈A,b∈B)。Aの元の系列SA={a1,a2,a3,…,an}(ai∈A,1≦i≦n)をAのラベル列、Bの元の系列SB={b1,b2,b3,…,bm}(bi∈B,1≦i≦m)をBのラベル列とする。

0005

ラベル列SAとラベル列SBのマッチング結果をwとする。wは、整数[1,n]を整数[1,m]に写す写像であり、ラベル列SAのi番目のラベルaiと、ラベル列SBのw(i)番目のラベルbw(i)が対応付いていることを意味するものとする。wには、一般には何らかの制約が課せられる。例えば、ラベルの並び順逆転させないという制約(i<jならばw(i)≦w(j)や、wの値があまり急に変化しないという傾斜制限(w(i+1)≦w(i)+α、αは定数)を課す場合がある。

0006

ラベルaとラベルbを対応付ける場合のコストをc(a,b)とする。コストc(a,b)は、aとbの関数であり、aとbが似ているほど小さい値をとり、完全に一致する場合に最小値0をとるものとする。

0007

ラベル列SAとラベル列SBのマッチング結果wのコストCを、以下の数式1で

0008

と定義する。最小のコストCを与えるwを、ラベル列SAとラベル列SBの最適マッチング結果w0と定義する。C(w)は、マッチング結果をスカラー量に写す関数であり、コスト関数と呼ぶことにする。よって、2系列のマッチングを求める問題は、コスト関数の下での最小化問題に帰着する。

0009

マッチングを求めるためには、一般最小化アルゴリズムを使用することができる。例えば、全探索や、焼きなまし法を用いることができる(例えば、非特許文献3参照)。特に、並び順の逆転がない場合には、高速動的計画法ダイナミックプログラミングDP)によるDPマッチングと呼ばれる方法がよく利用されている。

0010

これらの最小化アルゴリズムは、所与のコスト関数の下で最善の解を求めるものである。

0011

なお、最小化問題は、コスト最小化問題、エネルギー最小化問題、最適化問題などとも呼ばれる。また、符合反転させればコストを最大化する問題となるので、最小化問題と最大化問題は本質的に同じ問題である。

0012

ここで、本明細書中で用いるいくつかの用語について定義しておく。

0013

『対応が「正しい」または、「誤り」である』とは、人間がその対応を吟味し判定した結果を指すものとする。コスト最小化法により計算されたマッチング結果は、コストを最小化するという意味において常に正しいといえるが、マッチング結果を利用する人間は、別の独自の基準によって正誤を判定するので、必ずしもその結果を受け入れられるものではない。また、音声信号とテキストを対応付ける場合には、音声認識の結果に誤りが混入しているような場合もあり、そのような場合には、コストを最小化するようなマッチングであっても誤りを含むと考えられ、その正誤はコストを評価することでは判定し得ず、人間の判定によらざるを得ないであろう。

0014

コストの最小化法などの機械的な手順でマッチングを行うことを『自動マッチング』と呼ぶこととする。自動機械で実行可能であるという意味の含みをもっているが、必ずしも機械で実行させなければならないという意味ではない。
平成12年度視聴覚障害者向け放送ソフト制作技術研究開発プロジェクト最終報告書,通信放送機
正剛、中川裕志、“ドラマビデオ音声トラックシナリオセリフ時刻同期法”、情報処理学会第118回知能と複雑系研究会研究報告、SIG−ICS, no.188−4,pp.25−31
Richard O. Duda, Peter E. Hart and David G. Stork, 尾上守夫監訳、パターン識別、新技術コミュニケーション

発明が解決しようとする課題

0015

しかしながら、前述したコスト関数の最小化問題としてマッチングを求める方法で、異なるメディア系列のマッチングを求めようとしてもうまくいかない。

0016

台本の文字列と発話音声音声認識結果の系列を対応付けることを例に考える。このような場合には、必ずしも原稿通りに発話がなされるとは限らない。また、番組制作過程で、台本と異なるセリフが挿入されたり、削除されたり、セリフの順序が入れ替わる場合がある。また、現在の技術水準では、音声認識の誤りを無くすることは難しく、現実的には、音声認識結果は誤りを含むことを前提とする必要がある。従って、台本の文字列と、音声認識結果は、そもそも一致するとは限らない。

0017

そのような場合でも、コスト関数を最小化するという意味で最善のマッチング結果が得られるのであるが、それが利用者にとって受容できるものであるとは限らない。利用者の望むマッチング結果の基準が一定であり、定式化できるものであれば、それらをコスト関数に反映させることによって、マッチング結果を利用者の望むマッチング結果に近づけることが可能であろう。しかしながら、利用者の希望を定式化することが困難な場合がある。また、利用者の希望がマッチングを実施する度に異なり、その都度定式化を行う作業が発生することを許容できない場合がある。従って、現実的には、利用者が各々望むようにマッチングの結果を修正する工程が必要となる。マッチングの修正工程では、利用者は番組と台本を見比べ、マッチング結果の正誤を判断しながらマッチング結果を修正することになる。

0018

また、大局的に修正しなければならない場合があり、このことがさらに問題を生む。例えば、利用者が望むマッチング結果とラベル1つ分ずれているような場合を想定すると、ずれている全てのラベルについて修正を施さなければならず、手数が大きくなってしまう。

0019

また、修正すべきラベルがどこにいくつ存在するのかは、目視して確認しないとわからないのであるから、マッチング結果の修正作業を単純に行おうとすれば、マッチングの結果を最初から最後まで目視し、全ての対応について正誤を判定し、間違っている対応の全てについて正しい対応先へ対応させるという手順となろう。

0020

一方、自動マッチングを用いず、最初から人手でマッチングを行おうとすれば、ラベル列SAとラベル列SBを最初から最後まで目視し、全ての対応について正しい対応先へ対応させるという手順となろう。

0021

それでは、自動マッチングを実行した後にその誤りを修正する作業に要する時間T1と、自動マッチングを用いず手作業でマッチングを行う作業に要する時間T2にはどの程度の違いがあるであろうか。T1を定式化すると数式2のようになる。

0022

T1=tauto+Ntcheck+nmisstbind ・・・数式2
ここで、tautoは、自動マッチングに要する時間、Nは対応の数、tcheckは、対応1個について正誤を判定するのに要する時間、nmissは、誤った対応の数、tbindは、対応1個について正しい対応先を探し対応付けるのに要する時間とする。後者の時間T2を定式化すると、数式3のようになる。

0023

T2=Ntcheck+Ntbind
T1とT2の違いを大雑把に見積もる。tautoは機械で実行できるので非常に小さいとみなし0で近似する。また、目視で正誤を確認する作業も、正しい対応先へ対応付ける作業に比べると簡単で時間もかからないであろうから、tcheck<<tbindとみなして、tcheckを0で近似する。すると、両者の比T1/T2は高々nmiss/Nの程度となる。ここで、前述したように、対応の誤りの数は少なくても修正すべき手数は多くなってしまう場合があることを考慮すると、自動マッチングを使って単純な手順で手作業で修正する場合の手作業の負荷と、全て手作業でマッチングを行う場合の手作業の負荷の差は、前者が非常に小さいとはいえない。同時に、手作業でマッチングの結果を修正する方法で、短時間で済む方法、あるいは、手数の少ない方法があれば、なお有効であると考えられる。

0024

以上の議論から理解されるように、自動マッチングという機械で高速に実行できる方法を利用したとしても、マッチングの誤りの混入を避けられないのならば、結局はその速度的利点を充分享受することはできなくなってしまうという問題がある。

0025

本発明は、上記の点に鑑みなされたもので、マッチングの修正作業において、作業に要する手数を削減するためのラベルの系列マッチングの誤り修正方法及び装置及びプログラム及びラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

課題を解決するための手段

0026

図1は、本発明の原理を説明するための図である。

0027

本発明は、入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正するラベルの系列のマッチング誤り修正方法において、
マッチング処理手段が、2つのラベル列のマッチングを行い、コスト最小化法により、マッチング結果wと最小コストCを求め、一時的に記憶手段に格納するマッチング処理過程(ステップ1)と、
修正候補選択手段が、i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によってラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択過程(ステップ2)と、
候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力することにより操作者提示し、該操作者から対応の正誤を取得し(ステップ3)、コスト付与手段が、該ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与過程(ステップ4)と、
コスト付与過程で変更されたコストを加味して、再度マッチング処理過程(ステップ1)以降の処理を繰り返す(ステップ5)繰り返し過程からなる。

0028

また、上記のコスト付与過程において、
操作者がラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、
コスト付与手段が、ラベルaiとbw(i)の対応に高いコストを与えると共に、ラベルaiとラベルbjの対応に低いコストを与える。

0029

図2は、本発明の原理構成図である。

0030

本発明は、入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正するラベルの系列のマッチング誤り修正装置であって、
2つのラベル列のマッチングを行い、コスト最小化法により、マッチング結果wと最小コストCを求め、一時的に記憶手段に格納するマッチング処理手段111と、
i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によってラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択手段112と、
候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力することにより操作者に提示し、該操作者から対応の正誤を取得するインタフェース手段113と、
ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与手段115と、
コスト付与手段で変更されたコストを加味して、再度マッチング処理手段111、修正候補選択手段112、インタフェース手段113、及びコスト付与手段115を、繰り返す繰り返し手段117と、を有する。

0031

また、上記のコスト付与手段115は、
操作者がラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、
ラベルaiとbw(i)の対応に高いコストを与えると共に、ラベルaiとラベルbjの対応に低いコストを与える手段を含む。

0032

本発明は、入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正するコンピュータに実行させるラベルの系列のマッチング誤り修正プログラムであって、
2つのラベル列のマッチングを行い、コスト最小化法により、マッチング結果wと最小コストCを求め、一時的に記憶手段に格納させるマッチング処理ステップと、
i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によってラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択ステップと、
候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力させることにより操作者に提示させ、該操作者から対応の正誤を取得させるインタフェースステップと、
ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与ステップと、
コスト付与ステップで変更されたコストを加味して、再度マッチング処理ステップ、修正候補選択ステップ、インタフェースステップ、及びコスト付与ステップを、繰り返えさせる繰り返し制御ステップと、をコンピュータに実行させる。

0033

また、上記のコスト付与ステップは、
操作者がラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、
ラベルaiとbw(i)の対応に高いコストを与えると共に、ラベルaiとラベルbjの対応に低いコストを与えるステップをコンピュータに実行させる。

0034

本発明は、入力された2つのラベル列SA={a1,a2,a3,…,an},SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を修正するコンピュータに実行させるラベルの系列のマッチング誤り修正プログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
ラベル列のマッチングを行い、コスト最小化法により、マッチング結果wと最小コストCを求め、一時的に記憶手段に格納させるマッチング処理ステップと、
i∈[1,…,n]について、ラベルaiとbw(i)の対応に不利なコストを与えたとして仮定して、コスト最小化法によってラベル列SA,SBのマッチング結果wiと最小コストCiを求めた場合に、該最小コストCiが小さく、かつ、マッチング結果の距離d(w,wi)が大きくなるような1個もしくは、複数の候補iを選択する修正候補選択ステップと、
候補iについて、ラベルaiとbw(i)の対応の正誤を表示手段に出力させることにより操作者に提示させ、該操作者から対応の正誤を取得させるインタフェースステップと、
ラベルaiとbw(i)の対応が誤りの場合には、該ラベルaiとbw(i)の対応に不利なコスト与え、該コストを記憶手段に格納するコスト付与ステップと、
コスト付与ステップで変更されたコストを加味して、再度マッチング処理ステップ、修正候補選択ステップ、インタフェースステップ、及びコスト付与ステップを、繰り返えさせる繰り返し制御ステップと、をコンピュータに実行させるプログラムを格納する。

0035

また、上記のコスト付与ステップは、
操作者がラベルaiとbw(i)の対応を判定した際に、対応が誤っている場合に、該ラベルaiの正しい対応先としてラベルbjが選択された場合には、
ラベルaiとbw(i)の対応に高いコストを与えると共に、ラベルaiとラベルbjの対応に低いコストを与えるステップをコンピュータに実行させる。

発明の効果

0036

本発明によれば、マッチング結果に誤りが存在する場合に、修正の影響の大きい順に誤りを修正することができるので、誤りを総当りで修正しなくとも、誤りの無いマッチングもしくは、誤りの少ないマッチング結果が少ない手数で得ることができる。

発明を実施するための最良の形態

0037

以下、図面と共に本発明の実施の形態を説明する。

0038

本発明は、マッチング結果の誤りを修正する際に、全ての誤りを総当りで修正するのではなく、修正の影響の大きい順に誤りを修正することによって、誤りのない状態へ速く到達させようという着想によってなされたものである。

0039

図3は、本発明の一実施の形態における動作の概要を示すフローチャートである。

0040

まず、自動マッチングを行い、一時的に記憶手段に格納しておく(ステップ101)。

0041

次に、自動マッチングの結果を解析し、修正を施すことにより、自動マッチングの結果が大きく変化し、なおかつ、マッチングのコストが大きく下がるような対応を探索する(ステップ102)。

0042

上記の探索された対応を、人が目視により正誤を判定し(ステップ103)、誤っていたならば、正しい対応先を探し、正しい対応に高い一致度(すなわち、低コスト)を付与する。または、誤っている対応に、高いコスト(すなわち、低い一致度)を付与する(ステップ104)。

0043

誤りがなくなったと判断されるまで、あるいは、誤りが減り、許容できるほど正解に近付いたと判断されるまで繰り返す(ステップ105)。

0044

この手順によれば、修正すべき誤りがどこにあるか、目視により探さなくてもよいため、人の作業の負荷が軽減される。また、影響度の大きい誤りを修正してマッチングをやり直すため、波及効果で他の誤りよりも正しくなり、修正の手順の回数が減少し、人の作業の負荷が軽減されると期待される。

0045

また、誤りが減少し、利用者が許容できる範囲内に達したと判断したならば正解にいたらなくとも途中で修正を止めてよい。

0046

上記のステップ104において、マッチングの変化の大小を評価するには、マッチング結果w1、w2間の距離d(w1,w2)を例えば、数式4のように定義し、dの大小で評価することができる。δijはクロネッカーのδであり、i=jのとき1、それ以外のとき0をとる。

0047

本明細書に記載する方法では、2つのラベル列SA={a1,a2,a3,…,an}、SB={b1,b2,b3,…,bm}のマッチング結果w:[1,…,n]→[1,…,m]を求める方法であって、
(1)コスト最小化法によりマッチング結果wと最小コストCを求め、
(2)1∈[1,…,n]について、ラベルaiとbw(i)の対応に高いコストを与えたと仮定してコスト最小化法によって、ラベル列SA,SBのwiと最小コストCiを求めた場合に、Ciが小さく、かつ、マッチング結果距離d(w,wi)が大きくなるような1個もしくは複数のiを選び、
(3)上記の選んだiについて、ラベルaiとbw(i)の対応の正誤を目視により判定し、
(4)上記ラベルaiとbw(i)の対応が誤りの場合には、ラベルaiとbw(i)の対応に高いコストを与え、
(5)(4)で変更されたコストを加味して再度コスト最小化法によりマッチング結果wと最小コストCを求め、上記(2)から(5)の手順を繰り返すマッチング方法について説明する。

0048

また、本発明では、上記のマッチング方法において、ステップ103において、ラベルaiとbw(i)の対応の制御を判定すると共に、対応が誤っている場合には、aiの正しい対応先bjを選び、ステップ104において、ラベルaiとbw(i)の対応に高いコストを与えると共に、ラベルaiとbjの対応に低いコストを与えるマッチング方法について説明する。

0049

以下では、映像番組の発話区間と、台本のセリフを対応付けるという状況を例にとり説明する。

0050

図4は、本発明の一実施の形態におけるシステム構成を示す。

0051

同図に示すシステムは、情報処理装置101、表示装置102、入力装置103から構成されている。

0052

操作者は、システムと対話しながらマッチング結果の修正を行う。対話のインタフェースとして、操作者へ情報を提示するために表示装置102が用いられ、操作者の操作を入力するために入力装置103が用いられる。

0053

図5は、本発明の一実施の形態における表示処理装置に表示される画面の例を示す。同図に示す画面は、いわゆるグラフィカルユーザインタフェースとなっており、仮想的にボタン等が配置されている。

0054

図5の領域201は、画面の表示領域を表している。領域202は、番組の発話区間を表示する領域である。発話区間206〜209は、各々が一つの発話区間を表しており、発話がなされている間の番組の映像の代表画像を表示している。代表画像は、例えば、発話開始時間の映像を静止画として抽出して作成する。本実施の形態では、発話区間を代表画像にて表すよう記述しているが、発話区間を表す方法はこれに限らず、他の方法でもよい。例えば、発話区間の開始時刻終了時刻を表示してもよい。発話区間206〜209はボタンになっており、これを操作することにより、当該発話区間の映像(音声も含む)が再生されるものとする。スクロールバー203は、番組の中で所望の発話区間を表示させるためのものである。領域204は、台本のセリフを表示する領域である。

0055

セリフ210〜215は、各々が一区切りのセリフを表しており、セリフの文が表示されている。スクロールバー205は、番組の中で所望のセリフを表示するためのものである。矢印216は、発話区間とセリフの対応関係を表している。例えば、発話区間206とセリフ210が矢印で結ばれていると、発話区間206とセリフ210が対応していることを表している。領域217は、システムが操作者へ提示するメッセージを出力する領域である。ボタン218及び219は、システムが操作者にある対応の正誤を問い合わせたときに、操作者がシステムへ応答するためのものである。ボタン218は対応が正しいと答えるためのもので、ボタン219は対応が誤っていると答えるためのものである。ボタン220は、マッチング結果の修正の処理を終了するためのボタンである。

0056

マッチングの例の説明の前に、入力データの準備について説明する。

0057

図6は、本発明の一実施の形態における番組と台本の対応付けの作業の全体の流れを表した図である。

0058

同図において、映像ファイル301は、対応付けたい番組をディジタル化し、MPE形式などに変換したファイルである。台本303は、対応付けたい台本をディジタル化し、テキストファイルとしたものである。発話区間抽出処理306は、映像ファイル301を入力とし、発話区間を抽出し、発話区間の列302を出力する。ラベルai(1≦i≦n)は、i番目の発話区間を表すラベルとする。nは番組中に抽出された発話区間の総数である。発話区間を抽出する方法、例えば、「憲一、阿久津明人、田洋、外村佳伸“音情報を用いた映像インデクシングとその応用”信学論D−II,vol.J81−D−II,no.3,pp.529−537,1998」に示す方法を利用することができる。セリフ抽出処理307は、台本303を入力とし、セリフの列304を出力する。セリフとは、つまり、台本上に表された1発話区間ということであるが、例えば、発話文を表すカギ括弧(「」)で囲まれた1発話と解釈する。セリフの区切り方は、これによらず、他の基準によって区切ってもよい。ラベルbi(1≦i≦m)は、i番目のセリフを表すラベルとする。mは台本中のセリフの総数である。マッチング処理310は、映像ファイル301と、音声区間列302と、セリフ列304とを入力とし、操作者と対話をしつつ、発話区間列302とセリフ列304のマッチング結果305を求め、出力する。マッチング結果を記号wで表す。マッチングを行うのに必須なのは発話区間列302とセリフ列304だけであるが、操作者が対応の正誤を判定する際、映像を参照できると都合がよいため、映像ファイル301も入力するように構成している。

0059

マッチングの実施に先立ち、コストの評価方法と、自動マッチングの方法を定めておく必要がある。

0060

ラベルとラベルのコストc(ai,bj)の構成方法は種々のものが可能であるが、例えば、次のように構成する。発話区間aiの発話の継続時間をti、セリフbjのモーラ数をrjとする。文献「谷村正剛、中川裕志、“ドラマのビデオ音声トラックとシナリオのセリフの時刻同期法”、情報処理学会第118回知能と複雑系研究会研究報告、SIG-ICS,no.188-4,pp.25-31」によれば、発話区間の継続時間はセリフのモーラ数に近似的に比例することが知られている。比例定数(「継続時間」/「モーラ数」)をαとする。そして、数式5のようにラベル間のコストを定義する。

0061

ラベル間のコストの定義は、この方法に限らず、例えば、音声認識技術を利用して発話の音声信号とセリフとの類似度を用いてもよいし他の方法を用いてもよい。

0062

本発明は、コストの値を動的に変更させるという特徴を有するので、コスト関数は修正可能である必要がある。これを実現するために、ヒントリストを用いる。ヒントリストは、組(発話区間インデックス、セリフインデックス、コスト)の組のリストである。最初は、ヒントリストは空であるとする。ラベルaiとbjのコストを評価するとき、ヒントリストを探索し、もし、ヒントリスト内に、発話区間インデックスがiであり、セリフインデックスがjであるような組が存在したら、この組のコストの値をaiとbjのコストとする。もし、ヒントリスト内に存在しない場合は、数式5によってコストを算出する。このようなコスト値上書きできるようにしたコスト関数を、

0063

と表す。

0064

自動マッチングの方法は、一般の非線形最小化問題の解法を用いる。例えば、焼きなまし法(アニーリング法)を用いることができる(文献:Richard O. Duda, Peter E. Hart and David G. Stock, 尾上守夫監訳、パターン識別、新技術コミュニケーションズ)。

0065

次に、本発明のラベルの系列マッチング結果の誤り修正方法の説明を行う前に、図4における情報処理装置101の詳細構成について説明する。

0066

図7は、本発明の一実施の形態におけるマッチング誤り修正装置の構成を示す。

0067

同図に示す装置は、図4に示す情報処理装置101に対応する。

0068

同図に示す装置101は、マッチング処理部111、修正候補選択部112、インタフェース部113、入力判定部114、コスト付与部115、ヒントリスト116、及び終了判定部117から構成される。

0069

マッチング処理部111は、図6におけるマッチング処理308を行い、マッチング結果をメモリ等の記憶手段に格納する。

0070

修正候補選択部112は、操作者に提示するための修正候補を選択する。修正候補とは、修正を行うことでマッチングの結果がより大きく変化し、かつ、マッチングのコストがより小さくなると期待される対応の候補である。

0071

インタフェース部113は、表示装置102及び入力装置103との情報のやり取りを行う。

0072

入力判定部114は、操作者からどのボタンが押下されたか等を判定する。

0073

コスト付与部115は、入力判定部114において、操作者からの判断(対応が誤り、対応が正しい)に基づいて、コスト関数にコストを付与する。

0074

ヒントリスト116は、メモリ等の記憶手段であり、発話区間、インデックス、セリフインデックス、コストの組からなるリストである。

0075

終了判定部117は、全ての修正候補に対する処理が終了したか否か、または、操作者が終了ボタンを押下したかを判定する。

0076

図8は、本発明の一実施の形態におけるマッチング誤り修正処理のフローチャートである。

0077

ステップ401) まず、マッチング処理部111における自動マッチングにより、発話区間とセリフのマッチング結果wを求める。i番目の発話区間とj番目のセリフの対応のコストを

0078

とし、マッチングのコストCを最小化するようなマッチング結果wを求め、このときの最小コストをCminとする。最小化には焼きなまし法などを用いることができる。

0079

そして、得られたマッチング結果の状態をインタフェース部113を介して表示装置102に表示する。表示の方法は、領域202中に、発話区間ごとに代表画像を表示し、領域204の中にセリフ毎にセリフの文面を表示する。対応している発話区間aiとセリフbw(i)の間には、領域216に矢印を表示する。なお、発話区間aiとセリフbw(i)が領域202、204内にない時は、矢印を表示せずともよい。代表画像は、映像ファイル301から、発話区間aiの発話開始時刻の画像を静止画として抽出し、これを代表画像とする。

0080

ステップ402)修正候補選択部112において、P個の修正候補の対応を選択する。修正の候補となる対応は、その対応を修正することにより、マッチングの結果がより大きく変化し、なおかつ、マッチングのコストがより小さくなると期待される対応である。その選択の方法の詳細は後述する。

0081

当該処理の結果、P個の発話区間のインデックス値が配列XのX[1]〜X[P]に格納されるものとする。Pは定数である必要はなく、当該処理を実行する都度に異なる値でもよい。また、Pは1でもよい。

0082

ステップ403)変数pに1を代入する。

0083

ステップ404) p番目の発話区間の修正候補のインデックスX[p]を、変数iに代入する。

0084

ステップ405)発話区間aiとセリフbw(i)を結ぶ矢印を表示装置102に強調表示する。強調表示の方法は、色を変えてもよいし、点滅させてもよいし、他の方法でもよい。発話区間aiとセリフbw(i)が領域202、204内にないときは、スクロールさせ、ともに表示されるような状態にする。しかる後、メッセージ出力領域217に、対応の正誤の入力要求を表示する。入力要求の表示は、例えば、「この対応は正しいですか?」と表示する。

0085

ステップ406)情報処理装置101は、画面上のボタンのいずれかが押されるまで待機する。

0086

情報処理装置101が待機している間、操作者はステップ405での入力要求に促され、強調表示されている矢印の指している発話区間aiとセリフbw(i)を吟味する。必要であれば、代表表示画像を押下し、当該発話区間の映像(音声も含む)を再生し、発話内容を聴き取り、セリフbw(i)との同一性を判定する。必要であればスクロールバー203,205を操作して、当該発話区間の前後や、当該セリフの前後を確認してもよい。操作者がこの対応が正しいと判定した場合には、「正」ボタン218を押下し、誤りと判定した場合には「誤」ボタン219を押下する。「全体を確認」ボタン220を押下するケースについては後述する。

0087

操作者がいずれかのボタンを押下すると、処理はステップ407へ移行する。

0088

ステップ407)入力判定部114は、押下されたボタンが「正」ボタン218であるか判定し、そうであれば、ステップ411に移行し、そうでなければステップ408へ移行する。

0089

ステップ408) 押下されたボタンが「誤」ボタン219であるか判定し、そうであれば、ステップ412に移行する。そうでなければステップ409に移行する。

0090

ステップ409) 押下されたボタンが「終了」ボタン220であるか判定し、そうであれば、ステップ410へ移行し、そうでなければステップ406に戻り、また別のボタンが押下されるまで待機する。

0091

ステップ410) 現状のマッチング結果wを出力し、処理を終了する。

0092

ステップ411) 当該ステップに処理が移行した場合は、発話区間aiとセリフbw(i)の対応が正しいと操作者が判定したのであるから、コスト付与部115は、

0093

に有利なコストを付与する。そのために、ヒントリスト116に、組(i,w(i),ε)を挿入する。εは、定数であり、小さな数である。例えば、ε=0とする。その後、ステップ417に移行する。
ステップ412) 当該ステップに処理が移行した場合は、発話区間aiとセリフbw(i)の対応が誤りと操作者が判定したのであるから、

0094

に不利なコストを付与する。そのため、ヒントリスト116に、組(i,w(i),Ω)を挿入する。Ωは、定数であり、充分大きな数である。例えば、その後、ステップ413に以降する。

0095

ステップ413)コスト付与部115において、発話区間aiに対応する正しいセリフはどれか、操作者に選択を促すよう選択を要求する。例えば、メッセージ出力領域217に、「この発話区間に対応する正しいセリフを選択して下さい」と表示する。

0096

ステップ414)情報処理装置101は、セリフの一つが選択されるまで待機する。

0097

当該ステップにおいて待機している間、操作者は、ステップ413での入力要求に促され、強調表示されている矢印の指している発話区間aiと、セリフの系列とを吟味する。必要であれば、代表画像を押下し、当該発話区間の映像(音声も含む)を再生し、発話内容を聴き取る。スクロールバー205を操作して、対応するセリフを探し、選択する。選択の操作は、例えば、表示領域204の対応するセリフの部分を押下することでなされるものとする。

0098

操作者がいずれかのセリフを押下すると、処理は、ステップ415へ移行する。

0099

ステップ415)コスト付与部115は、セリフのインデックスjを求める。操作者が選択したセリフをbjと表すことにする。

0100

ステップ416)発話区間aiとセリフbjの対応が正しいと操作者が判定したのであるから、コスト付与部115は、

0101

に有利なコストを付与する。そのために、ヒントリスト116に、組(i,j,ε)を挿入する。その後、ステップ417へ移行する。

0102

ステップ417)変数pに値p+1を代入する。

0103

ステップ418) pとPを比較し、p≦Pであれば、修正候補をまだ尽くしていないので、ステップ404へ以降する。そうでなければ、修正候補を尽くしたので、ステップ419に移行する。

0104

ステップ419) 再度マッチング処理部111において、自動マッチングを実行する。コスト関数は、前回と同じく数式6を用いるが、ヒントリスト116の内容が前回と異なっているため、前回のマッチングとは異なるマッチング結果wが得られる。その後ステップ402へ戻り、再度修正候補を選択する。

0105

次に、上記のステップ402の処理の詳細について説明する。

0106

図9は、本発明の一実施の形態における修正候補選択処理のフローチャートである。

0107

ステップ501)リストLを空にする。

0108

ステップ502)変数jに1を代入する。

0109

ステップ503)ヒントリスト116に、発話区間インデックスがjであるような組が存在するか検査する。もし存在しているならば、発話区間jは、既に操作者が何らかの正誤を判定したことを意味しているので、修正候補に入れる必要はないから、以下の処理をスキップし、ステップ509へ移行する。存在していなければステップ504に移行する。

0110

ステップ504)ヒントリスト116に組(j,w(i),Ω)を挿入する。このようにして、発話区間jとセリフw(j)の対応が誤りと見做される状況を模擬的に設定する。

0111

ステップ505)マッチング処理部111において、自動マッチングを実行する。自動マッチングの方法は、ステップ401及びステップ419と同様である。但し、マッチング結果をwj、最小コストをCjとする。

0112

ステップ506)修正候補適合度Hjを求める。Hjは、発話区間jが修正候補として適しているかを評価するための量である。本実施の形態では、
Hj=Cj−kd(w,wj)
により評価する。ここで、kは予め定めた定数とする。マッチングのコストが小さいほどHjの値も小さくなり、マッチング結果wとwjとの距離が大きくなるほどHjの値は小さくなる。なお、Hjの評価方法はこれに限らず、他の方法を用いてもよい。

0113

ステップ507)リストLにペア(j、Hj)を挿入する。

0114

ステップ508)ヒントリスト116から組(j,w(j),Ω)を削除し、元の状態に戻す。

0115

ステップ509)変数jに値j+1を代入する。

0116

ステップ510) jと、発話区間の数nを比較すると、j≦nであれば、ステップ503に戻り、そうでなければステップ511に移行する。

0117

ステップ511)リストLを、修正候補適合度Hjの昇順ソートする。その結果、リストの先頭ほど、Hjの値が小さいペアが配置される。

0118

ステップ512)リストLの先頭からP個のペアを取り出し、発話区間インデックスの値jを、配列Xに順に格納する。

0119

以上が、ステップ402の処理の詳細である。

0120

なお、上記の実施の形態では、全探索で修正候補を選び出すような形態を示したが、同等の結果を得られるならば、他の探索アルゴリズムを用いてもかまわない。

0121

本実施の形態では、ステップ411及びステップ416で、正しい対応に有利なコストを付与する例を示したが、代わりに、正しい対応以外の対応に不利なコストを付与するようにしてもよい。

0122

また、ステップ412で、特定のラベルの対応が誤りであることを反映させるために、当該ラベルの対応のコストを多角するような方法を示したが、その代わりに、当該ラベルが対応しないような制約条件を自動マッチングに盛り込むようにしてもよい。そのためには、Ωを無限大に設定するという方法や、両ラベル列を当該ラベルの前後に分け、ラベルより前のラベル列同士をマッチングし、ラベルより後のラベル列同士をマッチングし、その結果を結合するという方法などで行ってもよい。

0123

上記の図8のフローチャートは、請求項1(請求項3,5,7)及び請求項2(請求項4,6,8)を含めた動作となっているが、請求項1(請求項3,5,7)に関する処理のみを実行する場合には、ステップ413からステップ416を省略したものを実行する。

0124

上述したように、本発明の処理を用いることにより、マッチングに誤りが存在する場合に、修正の影響の大きい順に誤りを修正できるので、誤りを総当りで修正しなくとも、誤りの無いマッチング、もしくは、誤りの少ないマッチング結果が少ない手数で得ることができる。

0125

なお、上記の図8図9に示す動作をプログラムとして構築し、情報処理装置101のようなコンピュータにインストールして実行する、または、ネットワークを介して流通させることも可能である。

0126

また、構築されたプログラムを、コンピュータに接続されるハードディスクや、フレキシブルディスクCD−ROM等の可搬記憶媒体に格納しておき、コンピュータにインストールすることも可能である。

0127

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

0128

本発明の処理が適用されるのは、発話区間とセリフのマッチングに限られるものではなく、文章の原稿と発生された音声信号のマッチングや、映像番組のショットと台本のカットとのマッチングなど、広範囲に適用可能なものである。

図面の簡単な説明

0129

本発明の原理を説明するための図である。
本発明の原理構成図である。
本発明の一実施の形態における動作の概要を示すフローチャートである。
本発明の一実施の形態におけるシステム構成図である。
本発明の一実施の形態における表示処理装置に表示される画面の例である。
本発明の一実施の形態における番組と台本の対応付けの作業の全体の流れを示す図である。
本発明の一実施の形態におけるマッチング誤り修正装置の構成図である。
本発明の一実施の形態におけるマッチング誤り修正処理のフローチャートである。
本発明の一実施の形態における修正候補選択処理のフローチャートである。

符号の説明

0130

101情報処理装置
102表示装置
103入力装置
111マッチング処理手段、マッチング処理部
112修正候補選択手段、修正候補選択部
113インタフェース手段、インタフェース部
114入力判定部
115コスト付与手段、コスト付与部
117 繰り返し手段、終了判定部
201 表示領域
202番組の発話区間を表示する領域
203スクロールバー
204台本のセリフを表示する領域
205 スクロールバー
206〜209 発話区間
210〜215一区切りのセリフ
216 矢印(発話区間とセリフの対応関係)
217 システムが操作者へ提示するメッセージを出力する領域
218,219 操作者がシステムへ応答するためのボタン
220マッチングの修正の処理を終了するためのボタン
301映像ファイル
302音声区間列
303 台本
304 セリフ列
305 マッチング
306音声認識処理
307 セリフ抽出処理
308 マッチング処理

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ