図面 (/)

技術 視覚的な意味属性および非視覚的な意味属性がビジュアルに関連付けられる方法ならびにコンピューティングデバイス

出願人 zro株式会社
発明者 ヘンティオセン
出願日 2019年7月26日 (1年10ヶ月経過) 出願番号 2019-138178
公開日 2021年2月18日 (3ヶ月経過) 公開番号 2021-022161
状態 特許登録済
技術分野 検索装置
主要キーワード コンテキスト処理 継承処理 部分語 要素処理 視覚的属性 概念レベル 視覚入力 意味要素
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年2月18日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

意味論的標識処理意味領域処理、意味継承処理語彙機能処理のうちの、少なくとも1つを実行可能である方法およびコンピューティングデバイスを提供する。

解決手段

本発明は、視覚的および非視覚的な意味属性が、好ましくは入力ステップ予備ビジュアル処理ステップ、意味概念処理ステップ、意味論的コンテキスト処理ステップ、意味論的標識処理ステップ、意味継承処理ステップ、意味論的インスタンス処理ステップ、および語彙機能ステップを含むビジュアルに関連付けられる方法、ならびに前記方法を実行することができるコンピューティングデバイスを提供する。

概要

背景

一般に人間が画像を見るとき、幾つかの意味要素視覚的にも概念的にも即座に気付かれる。
画像は、飲み物食べ物プレート、テーブル、および人のような個々の要素を含むことができ、人はこれを、朝食を有する人として、直ちに認識する。
食品および飲料の、より綿密な検査は、食品がオレンジジュースおよびオートミールを含むことを示す。
次いで、オートミールおよびオレンジジュースは、観察者によって健康な朝食として知られ、そして栄養士はまた、例えば、オートミールが重要なビタミンおよびミネラル(例えば、鉄、亜鉛、およびマグネシウム)を含むことを知る。
一方、シェフはオートミールを見て、写真中のオートミールがロールオートであり、スチールカットオートではないことを知ることができる。
シェフはまた、オートムギが水またはミルクのような液体を用いて調理されたことを知ることができる。
人間の思考にとって、画像は幾つかの直接的な視覚的意味要素を含むことができるが、初期視覚的要素リンクされる幾つかの概念的要素および文脈的関係も含むことができる。

概要

意味論的標識処理意味領域処理、意味継承処理語彙機能処理のうちの、少なくとも1つを実行可能である方法およびコンピューティングデバイスを提供する。本発明は、視覚的および非視覚的な意味属性が、好ましくは入力ステップ予備ビジュアル処理ステップ、意味概念処理ステップ、意味論的コンテキスト処理ステップ、意味論的標識処理ステップ、意味継承処理ステップ、意味論的インスタンス処理ステップ、および語彙機能ステップを含むビジュアルに関連付けられる方法、ならびに前記方法を実行することができるコンピューティングデバイスを提供する。

目的

上位単語下位単語処理311、全体語/部分語処理312、および具体動作語処理313のそれぞれについて、必要に応じて、属性のための参照ピボットを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

デジタル媒体分類環境において1つのビジュアル視覚的および非視覚的な意味属性が関連付けられる、コンピューティングデバイスによって実施される方法であって、ビジュアルを視覚処理するための装置にビジュアルが入力される入力ステップと、ビジュアルの視覚的属性が決定されて予備視覚的属性データセットに合成される、予備ビジュアル処理ステップと、前記予備視覚的属性データセット内の前記属性のそれぞれが、意味概念関係性を有しており、当該関係性は、前記予備視覚的属性データセット内においてそれぞれ前記属性に関連付けられており、かつ、前記属性および関連付けられた関係性が、1つの意味概念属性データセットに合成される、意味概念処理ステップと、前記予備視覚的属性データセット内の複数の前記属性間コンテキスト固有の関係が決定され、意味論的コンテキスト属性データセットに合成される、意味論的コンテキスト処理ステップと、ユーザが、少なくとも前記予備視覚的属性データセットと意味概念属性データセットと意味論的コンテキスト属性データセットから処理された属性データセットに基づいて、前記ビジュアルの意味定義を確認し、標識化する、意味論的インスタンス処理ステップとを含み、ここに前記予備ビジュアル処理ステップは、予備意味要素処理と、変更された意味要素処理および新しい意味要素処理のうちの少なくとも1つと、少なくとも1つの統合処理とを含む方法。

請求項2

請求項1に記載の方法において、前記方法は、前記意味論的コンテキスト処理ステップの後に、意味論的標識処理ステップを、さらに含む方法。

請求項3

請求項1に記載の方法において、前記方法は、前記意味論的コンテキスト処理ステップの後に、意味領域処理ステップを、さらに含む方法。

請求項4

請求項2に記載の方法において、前記方法は、前記意味論的標識処理ステップの後に、意味継承処理ステップを、さらに含む方法。

請求項5

請求項1から4のいずれか1項に記載の基板保管容器において、前記方法は、意味論的インスタンス処理ステップを、さらに含む方法。

請求項6

請求項1に記載の方法において、前記方法は、語彙機能ステップを、さらに含む方法。

請求項7

視覚的および非視覚的な意味属性がビジュアルに関連付けられる方法を実行することができるコンピューティングデバイスであって、ユーザが視覚的および非視覚的な意味属性を入力し、フィードバックおよび設定を提供することを可能にするインターフェースと、少なくとも、予備ビジュアル処理、意味概念処理、意味論的コンテキスト処理、および、意味論的インスタンス処理を実行可能であるプロセッサと、処理されたデータセットを保存することができるメモリユニットと、を有しており、ここに、当該コンピューティングデバイスは、ユーザが関連する視覚的および非視覚的な意味属性を確認または追加できるように、前記保存されたプロセッサのデータセットの結果を、前記インターフェースに出力することが可能であり、かつ当該コンピューティングデバイスは、また、ユーザが適切な許可を与えた場合、ユーザがデータセットから無関係な視覚的および非視覚的な意味属性を除去することができるようにするコンピューティングデバイス。

請求項8

請求項7に記載のコンピューティングデバイスにおいて、前記プロセッサは、意味論的標識処理、意味領域処理、意味継承処理、および、語彙機能処理のうちの、少なくとも1つを実行可能であるコンピューティングデバイス。

技術分野

0001

本発明は、ビジュアルセマンティクスの分野に関する。
より詳細には、本発明は、デジタル媒体分類環境において、視覚的(意味属性)および非視覚的意味属性が、ビジュアルに関連付けられる、コンピューティングデバイスによって実施される方法に関する。

背景技術

0002

一般に人間が画像を見るとき、幾つかの意味要素が視覚的にも概念的にも即座に気付かれる。
画像は、飲み物食べ物プレート、テーブル、および人のような個々の要素を含むことができ、人はこれを、朝食を有する人として、直ちに認識する。
食品および飲料の、より綿密な検査は、食品がオレンジジュースおよびオートミールを含むことを示す。
次いで、オートミールおよびオレンジジュースは、観察者によって健康な朝食として知られ、そして栄養士はまた、例えば、オートミールが重要なビタミンおよびミネラル(例えば、鉄、亜鉛、およびマグネシウム)を含むことを知る。
一方、シェフはオートミールを見て、写真中のオートミールがロールオートであり、スチールカットオートではないことを知ることができる。
シェフはまた、オートムギが水またはミルクのような液体を用いて調理されたことを知ることができる。
人間の思考にとって、画像は幾つかの直接的な視覚的意味要素を含むことができるが、初期視覚的要素リンクされる幾つかの概念的要素および文脈的関係も含むことができる。

先行技術

0003

KARPATHY、Andrej、FEI-FEI Li、Deep Visual-Semantic Alignments for Generating Image Descriptions、2015IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、June 7-12、2015

発明が解決しようとする課題

0004

しかしながら、現在、画像がコンピュータによって処理されるとき、一般に、視覚的要素のみがカタログ化され、画像と接続される。
これは、画像に関連する接続要素の範囲を制限する。
さらに、検索が行われる場合、検索者は、画像を検索するために、特定の画像にタグ付けされた特定の単語を使用しなければならない。
検索者が、画像に関連付けられた一次検索語、例えば特定の名前残念なことに覚えていない、または知っていないが、画像に関連付けられた、より一般化された意味属性だけは覚えている可能性がある。

課題を解決するための手段

0005

本発明による方法は、デジタル媒体分類環境において1つのビジュアルに視覚的および非視覚的な意味属性が関連付けられる、コンピューティングデバイスによって実施される方法であって、
ビジュアルを視覚処理するための装置にビジュアルが入力される入力ステップと、
ビジュアルの視覚的属性が決定されて予備視覚的属性データセットに合成される、予備ビジュアル処理ステップと、
前記予備視覚的属性データセット内の前記属性のそれぞれが、意味概念関係性を有しており、当該関係性は、前記予備視覚的属性データセット内においてそれぞれ前記属性に関連付けられており、かつ、前記属性および関連付けられた関係性が、1つの意味概念属性データセットに合成される、意味概念処理ステップと、
前記予備視覚的属性データセット内の複数の前記属性間コンテキスト固有の関係が決定され、意味論的コンテキスト属性データセットに合成される、意味論的コンテキスト処理ステップと、
ユーザが、少なくとも前記予備視覚的属性データセットと意味概念属性データセットと意味論的コンテキスト属性データセットから処理された属性データセットに基づいて、前記ビジュアルの意味定義を確認し、標識化する、意味論的インスタンス処理ステップと
を含み、ここに
前記予備ビジュアル処理ステップは、予備意味要素処理と、変更された意味要素処理および新しい意味要素処理のうちの少なくとも1つと、少なくとも1つの統合処理とを含む
ことを特徴としている。
また、本発明によるコンピューティングデバイスは、上記のような本発明による方法を実施することのできるコンピューティングデバイスである。

発明の効果

0006

本発明によれば、視覚的および非視覚的な意味属性が、好ましくは入力ステップ、予備ビジュアル処理ステップ、意味概念処理ステップ、意味論的コンテキスト処理ステップ、意味論的標識処理ステップ、意味継承処理ステップ、意味論的インスタンス処理ステップ、および語彙機能ステップを含む視覚に関連付けられる方法を実施することができる方法およびコンピューティングデバイスが提供される。

図面の簡単な説明

0007

デジタル媒体分類環境において、視覚的および非視覚的な意味属性がビジュアルに関連付けられる、少なくとも1つのコンピューティングデバイスによって実施される好ましい実施形態の方法を示すブロック図である。
予備ビジュアル処理を示すブロック図である。
意味概念処理を示すブロック図である。
語彙機能処理を示すブロック図である。

実施例

0008

本発明は、好ましくはユーザにとって、関連する視覚的および非視覚的な属性が、意味概念および文脈を使用してビジュアルから抽出される、コンピュータシステムにおいて視覚的な意味属性を処理するための装置および方法を用いて構成される。その処理は、継続的に動作し、対話型であり、構造および方法において分散されるという点で、長期的である。すなわち、通信は各処理レベルで実質的に双方向であり、処理の全部または一部が、純粋に階層的な(親子)構造または方法、純粋に並列な(兄弟)構造または方法、あるいは、階層的構造および並列構造および方法の組合せを含むことができるという点で分散される、という意味で対話型である。
また、本明細書で使用される「ユーザ」という用語は、ビジュアルを処理するプロセッサと通信する個人またはコンピュータプログラムを指す。
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

0009

視覚入力
図1に示すように、ビジュアルは、初期化プロセス100によって検出可能なフォーマットで処理システムに入力される。ビジュアルの入力は、手動で行われてもよいし、機械入力などの自動化された手段によって行われてもよい。ビジュアルは、写真、ピクチャ、図、画像、一連の画像、ビデオGIF、および/または動画媒体内の静止フレームなどの、任意のグラフィック表現として定義されるが、これらに限定されない。

0010

予備ビジュアル処理
図1はさらに、ビジュアルが初期化プロセスによって検出された後、ビジュアルが予備ビジュアル処理を施されることを示している。図2は、予備ビジュアル処理200が、予備意味要素処理210と、変更された意味要素処理220および新しい意味要素処理230のうちの少なくとも1つと、統合処理250とを含むことを示している。予備意味要素処理210は、ビジュアルを処理し、処理されたビジュアルの可視意味を記述する予備意味属性210pのデータセットを生成する。予備意味属性210pのデータセットは、予備意味要素処理210によって生成された自明性の順に、第1の予備意味属性210pX1、第2の予備意味属性210pX2、第3の予備意味属性210pX3、と続き第nのレベルまでの予備意味属性210pXnを有するデータセットとして、記述することができる。予備意味要素処理210は、当技術分野で知られており、可視意味要素のリストを生成するための予備意味要素処理210の一例は、Watson Visual Recognition(登録商標)のソフトウェアである。

0011

変更された意味要素処理220は、追加の入力またはフィードバックを使用して、任意の望ましくない予備意味属性210pを除去するか、または、特定の予備意味属性210pを制限することによって、予備意味要素処理210の結果すなわち予備意味属性210pのデータセットを変更する処理である。変更された意味要素処理220の結果は変更された意味属性220mX1、第2の変更された意味属性220mX2、第3の変更された意味属性220mX3を有し、変更された意味要素処理220によって生成された自明性の順序で以て、第nレベルの変更された意味属性220mXnまでのデータセットとして記述することが可能な、変更された意味属性220mのデータセットをもたらす。変更された意味要素処理220は、自動機械入力またはユーザからの手動入力によって提供される規則および制約に基づくことができる。

0012

新しい意味要素処理230は、予備意味属性210pのデータセットまたは変更された意味属性220mのデータセットのいずれかに、追加の新規意味属性230nを追加する処理である。新しい要素処理220の結果は、新しい意味属性230nX1、第2の新しい意味属性230nX2、第3の新しい意味属性230nX3を有し、新しい意味要素処理230によって生成された自明性の順に第nレベルの新しい意味属性230nXnまでのデータセットとして記述され得る新しい意味属性230nのデータセットをもたらす。追加の新しい意味属性230nは、自動機械入力またはユーザからの手動入力によって提供される規則および制約に基づいて追加することができる。
結果のデータセットは、予備意味要素処理210ならびに変更された意味要素処理220および新しい意味要素処理230のうちの少なくとも1つによって生成されるが、好ましくは、変更された意味要素処理220および新しい意味要素処理230の両方が実行されて、データセットが生成されるとよい。次に、予備意味要素処理210、変更された意味要素処理220、および/または、新しい意味要素処理230からの結果としてのデータセットは、第1の統合処理250を施される。

0013

第1の統合処理250は、任意の冗長な属性を除去し、関連する属性のグループをより複雑な概念またはコンテキストにグループ化することによって、例えばグレープおよびフェネルが属性グレープフェネルサラダの下でグループ化されることによって、予備意味要素処理210、変更された意味要素処理220、および/または新しい意味要素処理230からの結果のデータセットを合成する。上記の属性は、別個の一つ一つの属性としては勿論のこと、例えばブドウフェンネルサラダのグループのようなグループの一部として、残ることができる。この処理から得られるデータセットは、予備視覚的属性データセット700である。前述のデータセットのいずれも、高速アクセスまたは処理が必要とされる場合、および/または、複雑な概念またはコンテキストからの定義を含む場合、短いテキストとして表現され得ることに留意されたい。予備ビジュアル処理200によって作成された予備視覚的属性データセット700は、ビジュアルに関連する視覚的な属性のデータセットである。

0014

意味概念処理
予備ビジュアル処理200の後、意味概念処理310が、図1にさらに見られるように、予備視覚的属性データセット700に対して実行される。意味概念処理310は、一般的な概念、分類、および階層構造が、予備視覚的属性データセット700の属性のそれぞれに関連付けられることを可能にする。意味概念処理310は上位単語ハイパーニム)/下位単語(ヒポニム)処理311、全体語(ホロニム)/部分語(メロニム)処理312、および具体動作語(トロポニム)処理313のうちの少なくとも1つを含むが、好ましくは図3に示すように、予備視覚的属性データセット700に3つの処理の全てを施すことを含む。

0015

上位単語/下位単語処理311の場合、予備視覚的属性データセット700内の各属性は、様々な属性に関連付けられた上位単語および下位単語を含むデータベースを介して実行される。関連する上位単語および/または下位単語が、予備視覚的属性データセット700の各属性に適用され、上位単語/下位単語意味概念属性データセット311aをもたらす。上位単語に関して、ブドウを一例として用いて説明すると、その上位単語としての植物であるブドウは、フラボノールに関連付けられるフラボノイドに連結される下位単語の植物栄養素などに導かれることとなる。また、ブドウについての上位単語に関する説明としては、そのブドウという単語を下位単語として開始し、上位単語属性を識別するために上方へと移動して行くと、ブドウは栄養につながることとなる。

0016

全体語/部分語処理312の場合、予備視覚的属性データセット700内の各属性は、様々な属性に関連付けられた全体語および部分語を含むデータベースを介して実行される。関連する全体語および部分語が、予備視覚的属性データセット700の各属性に適用され、その結果、全体語/部分語意味概念属性データセット312aが得られる。ブドウの例を用いると、ブドウおよび種子または皮の全体語としての果実、またはブドウの部分語としての肉、に帰することができる。

0017

具体動作語処理313では、予備視覚的属性データセット700内の各属性が様々な属性に関連付けられた具体動作語を含むデータベースを介して実行される。
関連する具体動作語が、予備視覚的属性データセット700の各属性に適用され、具体動作語意味概念属性データセット313aが得られる。一例として、(ブドウを食べるときのように)食事が画像に関連付けられる場合、属性付けられる具体動作語属性は、間食する(スナック)または齧る(ニブル)などが可能である。なお、具体動作語処理313は、双方向に行ってもよい。すなわち、単語ニブルまたはスナックが属性であることがわかった場合、食事という属性も含まれることになる。

0018

上位単語/下位単語処理311、全体語/部分語処理312、および具体動作語処理313のそれぞれについて、必要に応じて、属性のための参照ピボットを提供するために、紐付操作を実行することもできる。すなわち、無意味な属性の関連付けの結果を回避するために、1つの属性を別の1つの属性に紐付けるようにするとよい。意味概念処理における上記のような操作の一例は、属性「body」を、別の属性「wine」などに紐付けることであり、これにより、例えば上位単語/下位単語処理311の処理中に、属性「head」や「ocean」などのような、様々な無意味な関係付けが回避される。この紐付操作は、意味概念処理310の1つまたは複数の段階で行うことができる。

0019

上位単語/下位単語処理311、全体語/部分語処理312、および具体動作語処理313のそれぞれについて、必要に応じて、長いテキスト形式の属性の詳細を提供するために、自由形式操作を行うこともできる。すなわち、属性は、概念的な意味を提供するためには、単純な用語または表現ではなく、さらなる精緻化を必要とする。意味概念処理310の間の自由形式操作の例として、「抗炎症」の概念属性は「ブドウ」との関係を有すると判定され、自由形式操作は長いテキスト「ブドウ抽出物で行われた調査研究」を概念として含めることもできる。自由形式演算は、意味概念処理310の1つまたは複数の段階で行うことができる。

0020

好ましくは、上位単語/下位単語処理311、全体語/部分語処理312、および具体動作語処理313の、それぞれを介して、予備視覚的属性データセット700を実行すると、その後に予備視覚的属性データセット700の属性のそれぞれが関連付けられた複数の意味概念属性を有することとなる可能性が高い。上位単語/下位単語意味概念属性データセット311a、全体語/部分語意味概念属性データセット312a、および/または具体動作語意味概念属性データセット313aのそれぞれの意味概念属性は、上位単語/下位単語処理311、全体語/部分語処理312、および具体動作語処理313の属性のすべてを含む1つの結合された意味概念データセット710に合成される。

0021

意味論的コンテキスト処理
複数の予備視覚的属性データセット700の関係が意味概念データセット710全体に亘り切り取られる場合、1つ以上の関係が意味論的コンテキストに関連していると定義される。予備視覚的属性データセット700および意味概念データセット710内の属性の意味論的コンテキストを決定するために、予備視覚的属性データセット700および/または意味概念データセット710に対して意味論的コンテキスト処理320が行われる(図1参照)。

0022

意味論的コンテキスト処理320では、予備視覚的属性データセット700および意味概念データセット710が、特定のコンテキストに等しい所定のコンテキスト属性の組合せを含むコンテキスト固有の構造化データベースと比較される。好ましくは、予備視覚的属性データセット700と意味概念データセット710の両方が、意味論的コンテキスト処理320を施される。意味論的コンテキスト処理320で使用されるコンテキスト固有の構造化データベースは、マスタデータ、分類、メタデータオントロジ、または意味論的コンテキスト参照を含むことができる。意味論的コンテキスト処理320で使用されるコンテキスト固有の構造化データベースは、信頼できる公的に利用可能なデータ源、当該領域の専門家によって開発され独占的に開発されたデータ源、またはそれらの組合せから導出することができる。

0023

意味論的コンテキスト処理320によって決定されるコンテキスト関係の一例は、予備視覚的属性データセット700から、植物および土壌の予備視覚的属性がコンテキスト固有の構造化データベースに基づくコンテキスト関係を有することが決定されることである。
さらに、予備視覚的属性データセット700からの属性の基盤が意味概念処理310中に概念属性「栄養素」とリンクされた場合、概念属性「栄養素」は「植物栄養素」と概念上の関係を有することがさらに見出され、「植物栄養素」は(意味概念処理310によって)「レスベラトロール」とさらなる概念上の関係を有することが見出される。次いで、コンテキスト固有の構造化データベース内に事前に決定された概念固有の関係を既に有する意味論的コンテキスト処理320を介して、視覚的属性「ブドウ」および非視覚的属性「植物栄養素」はレスベラトロールを通じてコンテキスト上の関係を有する、ということが決定される。

0024

予備視覚的属性データセット700および意味概念データセット710の一方または両方は、意味論的コンテキスト処理を受け、コンテキスト固有属性セットがデータセットのそれぞれにおける属性のそれぞれについて決定される。そして、コンテキスト固有属性セットは、単一の意味論的コンテキストデータセット720に合成される。

0025

意味論的コンテキスト処理320については、意味コンセプト処理310と同様に、属性のための基準ピボットを提供するために、必要に応じて、紐付動作を実行することもできる。しかし、意味論的コンテキスト処理320の場合、属性は、個々の属性ではなくコンテキスト関係に紐付けられる。すなわち、無意味な属性結果を防止するために、1つの属性を1つの関係性に紐付けることができる。意味論的コンテキスト処理320中の紐付動作の例として、属性「システム」(他のコンテキストがほとんど意味を持たない)は、「人体」のコンテキスト関係に結び付けられる。

0026

意味論的コンテキスト処理320については、意味コンセプト処理310と同様に、必要に応じて、長いテキスト形式の属性のさらなる詳細を提供するために、自由形式操作を実行することもできる。意味論的コンテキスト処理320中の自由形式演算の例として、「寿命」のコンテキスト属性は「レスベラトロール」との関係性を有すると判定され、自由形式演算は「寿命にすべて関連する3つの遺伝子の発現を増加させる: Sir T1. Fox0およびPBEF」を含む長いテキストにも関連付けることができる。

0027

意味論的標識処理
次に、図1に示すように、意味論的標識処理330を実行することが好ましい。意味概念データセット710および/または意味論的コンテキストデータセット720内の複数の属性間の関係はまた、意味論的標識として特定の用語で記述される関係性を有する可能性がある。意味論的標識は、意味概念処理310または意味論的コンテキスト処理320の間に決定された関係の性質を、より具体的に記述するために、使用される。意味論的標識は、原因および効果、年代順、総和、言い換え、特徴などの態様を示すために使用されてもよい。意味概念処理310または意味論的コンテキスト処理320は、例えばレーズンおよびワインに関連付けられているブドウのような関係結果をもたらし得る。意味論的標識処理330は、「として作られる」、「多様性」、「の種類」、「に好適」、「からなる」、「利益をもたらす」などの特定の標識を、視覚的または非視覚的属性と関連付ける。意味論的標識処理関係は、利用可能なメタデータ、または特定の関係に対する意味論的標識を定義する予め定義された意味論的標識データセット(意味論的標識メタセットと呼ばれる)に基づいて決定される。レーズンまたはワインと関係を有するブドウの実例を用いて、レーズンおよびワインの「加工して作られる」という意味論的標識関係を決定することができる。意味論的標識処理中に、ユーザは、意味論的標識メタセットに基づいて定義/割り当てられた1つまたは複数の意味論的標識関係を確認するように求められ得る。この確認は、ユーザ設定に基づいて手動または自動で行うことができる。ユーザは、適切な意味論的標識メタセットが提供されない場合、処理中または別個に、新しい意味論的標識を含めるオプションを有することもできる。

0028

属性が意味論的標識を使用して記述された複数の関係を有する場合、その標識は、意味論的標識修正として、一緒にグループ化することもできる。「フルーツ」の意味論的標識修正の例は、「...にて育成」("grown in")、「加工されて...になる」("made into")、「...タイプ」("type")、「可変」 (variable)、「...に好適 (」"good for")などの意味論的標識修正である。意味論的標識を1つの属性の修正にグループ化することによって、ユーザは、概念レベルであるかコンテキストレベルであるかに関わらず、意味属性の利用可能な関係を調べることができる。

0029

関連する意味論的標識を有する視覚的および非視覚的な属性の結果として得られるデータセットは、意味論的標識属性データセット730である。

0030

意味領域処理
次に、図1に示すように、意味領域処理340を実行することが好ましい。ときには、知識の領域が多くの他の領域と交差し、属性に関連する特定の概念を定義することが困難になる場合がある。あるいはその代わりに、知識の領域を指定する意味領域が意味領域処理340によって属性に関連付けられるようにしてもよい。本発明の一実施形態によれば、予備視覚的処理属性データセット700および意味論的標識属性データセット730は、予備視覚的処理属性データセット700および意味論的標識属性データセット730の属性が事前定義された意味領域データベースに基づいて意味概念属性データセット710内に見出される構造的および階層的性質によって束縛されない意味領域(領域)を割り当てられる意味領域処理が施される。例えば、予備視覚的処理属性データセット700からの予備視覚的処理属性は、人間、店舗ブランド、および/または、会社の属性、を含むことができる。これらの属性は、意味領域「メーカー(maker)」に関連付けられる。同様に、「...によって作られた(made by)」という意味論的標識も、前述の意味領域である「メーカー」に関連付けられる。

0031

領域を有する属性および意味論的標識を定義/割り当てる意味領域処理の一部として、領域はさらに、2つの「超越領域」、特に「食べられる」または「食べられない」の超越領域のうちの1つに属することができる。一般に、領域(分野 (domain))は、より広い意味論的なスペクトルを形成するために互いに割り当てることもできるが、例えば、1つの領域が「食べられる」という超越領域に割り当てられる場合には、その領域は「食べられない」という超越領域または「食べられない」に関連する任意の他の領域に割り当てることはできない。例えば、「素材」の領域は「食べられない」の超越領域に該当するが、「食材」の領域は「食べられる」の超越領域に該当することとなる。さらなる例として、意味論的標識「...内に存在する(presents in)」、「...の内に(in)」、または「含有(contains)」は、領域「化学(chemistry)」に関連付けられ得る。意味論的標識「...内に存在する(presents in)」は、植物栄養素およびブドウ、特にブドウに存在する植物栄養素の形態に関連し得る。一方、意味論的標識「含有(contains)」は、ブドウと関連付けられ得るのであり、ブドウの形態の植物栄養素は、植物栄養素を含有する。しかしながら、「...内に存在する(presents in)」、「...の内に(in)」、「含有(contains)」は、超越領域と関連付けられる必要はなく、かつ、領域「材料」または「成分」が関連する属性(意味論的標識ではない)に割り当てられるかどうかに応じて、超越領域「食用」または「食用でない」のいずれかに割り当てることができ、人間または機械が関与する生産方法推論される「加工されて...になる」および「...から作られる」という意味論的標識とは区別されるべきものである、ということが意図される。

0032

なお、本実施形態では、超越領域として「食べられる」および「食べられない」のみが使用されているが、本発明はこれに限定されず、意味領域データベース内で他の「超越領域」が使用されてもよい。意味領域処理340は、様々な領域を、予備ビジュアル処理属性データセット700および意味論的標識属性データセット730の意味論的標識に関連付け、次いで、その結果を意味領域属性データセット740に合成する。

0033

意味継承リポジトリ処理
意味概念属性データセット710と意味論的コンテキスト属性データセット720との間の関係は、意味継承処理350(図1参照)を介してSC関係にある構成要素の属性を含めることによって、データセット710、720内の他の属性にさらに拡張することができる。意味継承処理は、対応する属性の階層構造(分類、上位単語/下位単語、全体語/部分語、または具体動作語)を子孫的に(子属性に対して)、昇順に(親/ルート属性に対して)、または並行して(兄弟つまり同じ親属性を有する属性に対して)示すために使用することができる。意味継承処理350は、1つのレベルのみ、nレベル、またはすべてのレベルについて、階層構造を決定するように設定することができる。次に、結果として得られる属性の拡張された意味継承関係が、意味継承属性データセット750に合成される。意味継承処理350は、ユーザの設定、特権、および/または権利に応じて、オンまたはオフに切り替えることができる。この実施形態では、意味継承処理がデフォルトでオフに切り替えられる。

0034

意味継承処理350に基づいて決定される意味論的関係の一例は、果実が健康という属性とのコンテキスト的関係を有し、健康が抗酸化および抗炎症に関連する意味概念を有する場合である。
この文脈上の関係に対する果実の子属性は、抗酸化および抗炎症の意味概念も有する。
この意味継承は、ユーザによって定義されたレベルの数(すなわち、1つのレベル、nレベル、またはすべてのレベル)まで、または事前定義された意味継承データベースまで、後続子レベルごとに持続する。

0035

意味論的インスタンス処理
予備視覚的意味属性データセット700、意味概念属性データセット710、意味論的コンテキスト属性データセット720、意味論的標識属性データセット730、意味領域属性データセット740、および意味継承属性データセット750を取得した後、意味論的インスタンス処理360が実行される(図1参照)。意味論的インスタンス処理は、意味定義を固有のビジュアルのインスタンスとして確認し、標識化するためのプロセスである。意味論的インスタンス処理360は、コンピューティング装置ではなく、ユーザによって行われる。意味論的インスタンス処理360を実行するために、予備視覚的意味属性データセット700、意味概念属性データセット710、意味論的コンテキスト属性データセット720、意味論的標識属性データセット730、意味領域属性データセット740、および/または、意味継承属性データセット750が、ユーザのために最初に表示される。次いで、ユーザは、表示されたデータセット内で定義された、および/または、割り当てられた意味論的関係を確認し、提供された定義および/または割り当てに基づいて、セマンティック(意味論的)入力の選択を行う。また、ユーザは、自身が許可を下すことによって、意味定義を削除することができる。意味論的インスタンス処理360の最終結果は、ビジュアルのための意味を提供する視覚的属性および非視覚的属性のリストが、あるビジュアルのための意味論的インスタンス属性データセット760を生成する。

0036

語彙機能処理
前述の予備ビジュアル処理200に加えて、意味概念処理310、意味論的コンテキスト処理320、意味論的標識処理330、意味領域処理340、意味継承350、および意味論的インスタンス処理360、語彙機能処理370を、予備視覚的意味属性データセット、意味概念属性データセット710、意味論的コンテキスト属性データセット720、意味論的標識属性データセット730、意味領域属性データセット740、意味継承属性データセット750、または意味論的インスタンス属性データセット760のいずれかに対して、それぞれ実行することができる。好ましくは、語彙機能処理が図1に見られるように、意味論的インスタンス処理360の後に実行される。

0037

図4に見られるように、語彙機能処理370は、類義語シノニム)、反義語(アントニム)、および/または、言語構成支援を伴う意味属性定義を、提供することができる。
予備視覚的意味属性データセット700、意味概念属性データセット710、意味論的コンテキスト属性データセット720、意味論的標識属性データセット730、意味領域属性データセット740、意味継承属性データセット750、または意味論的インスタンス属性データセット760のうちの1つまたは複数が、語彙機能処理370を施される。
語彙機能処理は、予備視覚的意味属性データセット700、意味概念属性データセット710、意味論的コンテキスト属性データセット720、意味論的標識属性データセット730、意味領域属性データセット740、意味継承属性データセット750、または意味論的インスタンス属性データセット760のうちの少なくとも1つを、類義語処理371、反義語処理372、文法処理373、および外国語処理374のうちの少なくとも1つに施すことからなる。

0038

類義語処理371では、処理されている特定のデータセット内の各属性を、様々な単語の類義語を含むデータベース内の単語と比較して、各属性と同じまたは類似の意味を有する単語を見つける。処理されているデータセットの各属性に関連する類義語が適用され、その結果、類義語属性データセット371aが得られる。

0039

類義語処理371が完了した後、反義語処理372が実行される。反義語処理372では、処理されている特定のデータセット内の各属性が、様々な単語の反義語を含むデータベース内の単語と比較されて、各属性と反対の意味を有する単語が見つけられる。処理されているデータセットの各属性に関連する反義語が適用されて、反義語属性データセット372aが得られる。

0040

最後に、反義語処理372が完了した後、文法処理373が実行される。処理されているデータセット内の属性の各々に対して実行される文法処理373は、前置詞のような言語構成を挿入し、単数形および複数形の両方を含み、同じ意味を有する単語形の変形を提供し、自然言語処理を可能にするためにフレーズ内の単語の順序を調整し、指定されたコンテキスト/意味領域内の変形の使用を実施するために、セマンティック処理の冗長性を低減する。文法処理373の結果、文法属性データセット373aが得られる。

0041

語彙機能処理370は、処理されたデータセットの各属性と同等の、1つの関連する外国語語彙を、その属性に関連付けることのできる外国語処理374を、さらに含むことができる。外国語語彙の等価語彙は、1つ以上の所定の外国語データベースに基づいて決定される。外国語処理374は、ユーザの設定に応じて、オンまたはオフに切り替えることができる。この実施形態では、外国語処理374がデフォルトでオフにされる。

0042

この実施形態では語彙機能処理370が最終処理として実行されるが、本発明はこれに限定されず、語彙機能は予備ビジュアル処理200、意味概念処理310、意味論的コンテキスト処理320、意味論的標識処理330、意味領域処理340、意味継承350、および意味論的インスタンス処理360の、いずれかに対する、さらなる処理として実行されてもよいことに、留意されたい。

0043

本発明の別の実施形態は、ユーザがビジュアルを入力し、視覚的および非視覚的な意味属性がフィードバックおよび設定を提供することを可能にするインターフェースと、少なくとも予備ビジュアル処理、意味概念処理、意味論的コンテキスト処理、および意味論的インスタンス処理を実行することができるプロセッサと、処理されたデータセットを格納することができるメモリユニットとを備えるビジュアルに関連付けられるコンピューティングデバイスを開示する。プロセッサは、意味論的標識処理、意味領域処理、意味継承処理、および語彙機能処理を実行することも可能である。コンピューティングデバイスは、関連する視覚的および非視覚的な意味属性をユーザが確認および/または追加することを可能とならしめるような仕方で以て、格納されたプロセッサデータセット結果をインターフェースに出力することができる。コンピューティングデバイスはまた、ユーザが、適切な許可を下したときに、データセットから無関係な視覚的および非視覚的意味論的属性を除去することができる。語彙機能処理370の最終結果は、1つのビジュアルに応じた意味を提供する視覚的および非視覚的な属性のリストの語彙機能属性データセット770を生成する。

0044

本発明の実施形態のいずれかによれば、前述の結果データセットのいずれかは、入力されたビジュアルに関連する視覚的および非視覚的な属性のリストをユーザに提供する。

0045

以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変更・変形が可能である。

0046

100初期化処理
200予備ビジュアル処理
210 予備意味要素処理
210p 予備意味属性
210px1 第1の予備意味属性
210px2 第2の予備意味属性
210px3 第3の予備意味属性
210pxn 第nの予備意味属性
220 変更された意味要素処理
220m 変更された意味属性
220mx1 第1の変更された意味属性
220mx2 第2の変更された意味属性
220mx3 第3の変更された意味属性
220mxn 変更された意味属性
230 新しい要素処理
230n, 新しい意味属性
230nx1 第1の新しい意味属性
230nx2 第2の新しい意味属性
230nx3 第3の新しい意味属性
230nxn 第nの新しい意味属性
250統合処理
300 意味属性処理
310意味概念処理
311上位単語(ハイパーニム)/下位単語(ヒポニム)処理
311a 上位単語/下位単語意味概念属性データセット
312 全体語/部分語処理
312a 全体語/部分語意味概念属性データセット
313 具体動作語(トロポニム)処理
313a 具体動作語意味概念属性データセット
320意味論的コンテキスト処理
330 意味論的標識処理
340意味領域処理
350 意味継承処理
360 意味論的インスタンス処理
370語彙機能処理
371類義語処理
371a 類義語属性データセット
372 反義語処理
372a 反義語属性データセット
373文法処理
373a文法属性データセット
374外国語処理
374a 外国語属性データセット
700 予備視覚的属性データセット
710 意味概念属性データセット
720 意味論的コンテキスト属性データセット
730 意味論的標識属性データセット
740 意味領域属性データセット
750 意味継承属性データセット
760 意味論的インスタンス属性データセット
770 語彙機能属性データセット

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ