図面 (/)

技術 画像処理方法、装置、およびコンピュータ読み取り可能な媒体

出願人 バイドゥオンラインネットワークテクノロジー(ベイジン)カンパニーリミテッド
発明者 トアン、シオンラン、シエンポンチョウ、ワンイェン、ミャオチャン、イーフェイマー、チャンチエチン、ヨンカン
出願日 2018年12月26日 (2年1ヶ月経過) 出願番号 2018-242692
公開日 2019年8月15日 (1年6ヶ月経過) 公開番号 2019-135642
状態 未査定
技術分野 イメージ分析
主要キーワード 重畳ユニット コンピュータプログラム指令 代替モジュール サブ組み合わせ 着用式 拡張係数 ウェアラブル機器 無線通信トランシーバ
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年8月15日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

セマンティックセグメンテーションモデルレーニングステムへ正確に注釈されたトレーニング画像を提供することで、その後の画像セグメンテーションの精度を向上させることができる画像処理方法、装置及びコンピュータ読み取り可能な媒体を提供する。

解決手段

方法は、入力画像における処理しようとする第1の領域及び第2の領域を確定するステップを含む。第1の領域は、少なくとも部分的に第1の色で充填され、第2の領域は、少なくとも部分的に第2の色で充填され、第1の領域及び第2の領域は、共通の境界領域を備える隣接した領域である。この方法は、縮小された第1の領域と第2の領域が全て境界領域を含まないように、第1の領域及び第2の領域を縮小するステップをさらに含む。この方法は、境界領域が第1の色と第2の色のうちの少なくとも1つの色で充填されるように、縮小された第1の領域及び第2の領域を拡張するステップをさらに含む。

概要

背景

画像セマンティックセグメンテーションは、画像理解の基本的な技術として、これは、通常、表現されたセマンティックに基づいて、画像中のピクセルグループ化することにより、画像中の内容を認識することができることを指す。早期のイメージセマンティックセグメンテーション方法は、一般的に、画像中のピクセル自体のサブビジョン情報に基づいて、画像セグメンテーションを行い、そのセグメンテーション精度は、多くの場合に、満足できなくなる。コンピュータビジョン深層学習時代に接する後、深層学習によるイメージセマンティックセグメンテーション技術が広く利用されている。

概要

セマンティックセグメンテーションモデルレーニングステムへ正確に注釈されたトレーニング画像を提供することで、その後の画像セグメンテーションの精度を向上させることができる画像処理方法、装置及びコンピュータ読み取り可能な媒体を提供する。方法は、入力画像における処理しようとする第1の領域及び第2の領域を確定するステップを含む。第1の領域は、少なくとも部分的に第1の色で充填され、第2の領域は、少なくとも部分的に第2の色で充填され、第1の領域及び第2の領域は、共通の境界領域を備える隣接した領域である。この方法は、縮小された第1の領域と第2の領域が全て境界領域を含まないように、第1の領域及び第2の領域を縮小するステップをさらに含む。この方法は、境界領域が第1の色と第2の色のうちの少なくとも1つの色で充填されるように、縮小された第1の領域及び第2の領域を拡張するステップをさらに含む。

目的

本開示の第3の態様において、1つまたは複数のプロセッサと、1つまたは複数のプログラムを記憶するための記憶装置とを含み、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合第1の態様の方法を実現する電子機器を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

画像処理方法であって、入力画像における処理しようとする第1の領域及び第2の領域を確定するステップであって、前記第1の領域は、少なくとも部分的に第1の色で充填され、前記第2の領域は、少なくとも部分的に第2の色で充填され、前記第1の領域と前記第2の領域は、共通の境界領域を備える隣接した領域である、ステップと、縮小された前記第1の領域及び前記第2の領域の両方ともすべて前記境界領域を含まないように、前記第1の領域及び前記第2の領域を縮小するステップと、前記境界領域が前記第1の色及び前記第2の色のうちの少なくとも1つの色で充填されるように、縮小された前記第1の領域及び前記第2の領域を拡張するステップとを含む画像処理方法。

請求項2

請求項1において、入力画像における処理しようとする第1の領域及び第2の領域を確定するステップは、前記入力画像中の領域を充填する複数の有効色を示す色辞典を取得するステップと、前記第1の色及び前記第2の色が前記複数の有効色に含まれていることが確定されたことに応答して、互いに隣接した前記第1の領域及び前記第2の領域を確定するステップを含む画像処理方法。

請求項3

請求項1又は請求項2において、前記第1の領域及び前記第2の領域を縮小するステップは、前記第1の領域及び前記第2の領域から前記境界領域を除去するステップを含む画像処理方法。

請求項4

請求項1又は請求項2において、前記第1の領域及び前記第2の領域を縮小するステップは、第1の領域に対して画像エロージョンを実行して、前記第1の領域中の、前記第1の領域の第1の境界付近に位置する複数の画素を除去するステップと、前記第2の領域に対して画像エロージョンを実行して、前記第2の領域中の、前記第2の領域の第2の境界付近に位置する複数の画素を除去するステップとを含む画像処理方法。

請求項5

請求項2において、前記色辞典は、前記第1の色と第1の優先順位が相互に関連され、前記第2の色と第2の優先順位が相互に関連されることをさらに示し、縮小された前記第1の領域及び前記第2の領域を拡張するステップは、縮小された前記第1の領域の第1の境界付近に前記第1の色を備える複数の画素を追加するように、縮小された前記第1の領域に対して画像拡張を実行するステップと、縮小された前記第2の領域の第2の境界付近に前記第2の色を備える複数の画素を追加するように、縮小された前記第2の領域に対して画像拡張を実行するステップと、前記第1の優先順位と前記第2の優先順位に基づいて、画像拡張された前記第1の領域と前記第2の領域に対して画像重畳を行うステップとを含む画像処理方法。

請求項6

請求項5において、画像拡張された前記第1の領域及び前記第2の領域に対して画像重畳を行うステップは、前記第1の優先順位が前記第2の優先順位を超えたことに応答して、画像拡張された前記第1の領域が画像拡張された前記第2の領域を少なくとも部分的にカバーするようにするステップを含む画像処理方法。

請求項7

請求項2において、前記入力画像は、前記複数の有効色に含まれていない第3の色で充填された第3の領域を含み、前記方法は、前記複数の有効色から前記第3の色に最もマッチングする第4の色を選択するステップと、前記第3の色の代わりに、前記第4の色で前記第3の領域を充填するステップとをさらに含む画像処理方法。

請求項8

請求項7において、前記第4の色を選択するステップは、前記第3の色と前記複数の有効色のそれぞれとの距離を確定するステップであって、前記距離は、前記第3の色と前記複数の有効色との間の相応する差異の程度を示すものである、ステップと、前記第4の色として、前記複数の有効色から前記第3の色との前記距離が一番小さい有効色を選択するステップとを含む画像処理方法。

請求項9

請求項8において、前記第3の色は、第1のベクトルで表示し、前記第4の色は、第2のベクトルで表示し、前記第3の色と前記第4の色の間の前記距離は、前記第1のベクトルと前記第2のベクトルとの間のユークリッド距離である画像処理方法。

請求項10

画像処理装置であって、入力画像における処理しようとする第1の領域及び第2の領域を確定するように構築される領域確定モジュールであって、前記第1の領域は、少なくとも部分的に第1の色で充填され、前記第2の領域は、少なくとも部分的に第2の色で充填され、前記第1の領域と前記第2の領域は、共通の境界領域を備える隣接した領域である、領域確定モジュールと、縮小された前記第1の領域及び前記第2の領域の両方ともすべて前記境界領域を含まないように、前記第1の領域及び前記第2の領域を縮小するように構築される第1の画像処理モジュールと、前記境界領域が前記第1の色及び前記第2の色のうちの少なくとも1つの色で充填されるように、縮小された前記第1の領域及び前記第2の領域を拡張するように構築される第2の画像処理モジュールとを含む画像処理装置。

請求項11

請求項10において、前記領域確定モジュールは、前記入力画像中の領域を充填する複数の有効色を示す色辞典を取得するように構築される色辞典取得ユニットと、前記第1の色及び前記第2の色が前記複数の有効色に含まれていることが確定されたことに応答して、互いに隣接した前記第1の領域及び前記第2の領域を確定するように構築される領域確定ユニットとをさらに含む画像処理装置。

請求項12

請求項10又は請求項11において、前記第1の画像処理モジュールは、前記第1の領域及び前記第2の領域から前記境界領域を除去するように、さらに構築される画像処理装置。

請求項13

請求項10又は請求項11において、前記第1の画像処理モジュールは、第1の領域に対して画像エロージョンを実行して、前記第1の領域中の、前記第1の領域の第1の境界付近に位置する複数の画素を除去するように構築される第1の画像エロージョンユニットと、前記第2の領域に対して画像エロージョンを実行して、前記第2の領域中の、前記第2の領域の第2の境界付近に位置する複数の画素を除去するように構築される第2の画像エロージョンユニットとをさらに含む画像処理装置。

請求項14

請求項11において、前記色辞典は、前記第1の色と第1の優先順位が相互に関連され、前記第2の色と第2の優先順位が相互に関連されることをさらに示し、前記第2の画像処理モジュールは、縮小された前記第1の領域の第1の境界付近に前記第1の色を備える複数の画素を追加するように、縮小された前記第1の領域に対して画像拡張を実行するように構築される第1の画像拡張ユニットと、縮小された前記第2の領域の第2の境界付近に前記第2の色を備える複数の画素を追加するように、縮小された前記第2の領域に対して画像拡張を実行するように構築される第2の画像拡張ユニットと、前記第1の優先順位と前記第2の優先順位に基づいて、画像拡張された前記第1の領域と前記第2の領域に対して画像重畳を行うように構築される画像重畳ユニットとをさらに含む画像処理装置。

請求項15

請求項14において、前記画像重畳ユニットは、前記第1の優先順位が前記第2の優先順位を超えたことに応答して、画像拡張された前記第1の領域が画像拡張された前記第2の領域を少なくとも部分的にカバーするように、さらに構築される画像処理装置。

請求項16

請求項11において、前記入力画像は、前記複数の有効色に含まれていない第3の色で充填された第3の領域を含み、前記装置は、前記複数の有効色から前記第3の色に最もマッチングする第4の色を選択するように構築される色選択モジュールと、前記第3の色の代わりに、前記第4の色で前記第3の領域を充填するように構築される色置き換えモジュールとをさらに含む画像処理装置。

請求項17

請求項16において、前記色選択モジュールは、前記第3の色と前記複数の有効色のそれぞれとの距離を確定するように構築される距離確定ユニットであって、前記距離は、前記第3の色と前記複数の有効色との間の相応する差異の程度を示すものである、距離確定ユニットと、前記第4の色として、前記複数の有効色から前記第3の色との前記距離が一番小さい有効色を選択するように構築される色選択ユニットとを含む画像処理装置。

請求項18

請求項17において、前記第3の色は、第1のベクトルで表示し、前記第4の色は、第2のベクトルで表示し、前記第3の色と前記第4の色の間の前記距離は、前記第1のベクトルと前記第2のベクトルとの間のユークリッド距離である画像処理装置。

請求項19

1つまたは複数のプロセッサと、1つまたは複数のプログラムを記憶するための記憶装置とを含む電子機器であって、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合、請求項1から請求項9のうちいずれか1項に記載の方法を実現する電子機器。

請求項20

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項1から請求項9のうちいずれか1項に記載の方法を実現するコンピュータ読み取り可能な記憶媒体。

技術分野

0001

本開示の実施形態は、一般的に、コンピュータビジョンの分野に関するもので、より具体的に、画像処理方法、装置、およびコンピュータ読み取り可能な媒体に関するものである。

背景技術

0002

画像セマンティックセグメンテーションは、画像理解の基本的な技術として、これは、通常、表現されたセマンティックに基づいて、画像中のピクセルグループ化することにより、画像中の内容を認識することができることを指す。早期のイメージセマンティックセグメンテーション方法は、一般的に、画像中のピクセル自体のサブビジョン情報に基づいて、画像セグメンテーションを行い、そのセグメンテーション精度は、多くの場合に、満足できなくなる。コンピュータビジョンが深層学習時代に接する後、深層学習によるイメージセマンティックセグメンテーション技術が広く利用されている。

発明が解決しようとする課題

0003

深層学習によるイメージセマンティックセグメンテーション技術は、早期の方法に比べて飛躍的なセグメンテーションの効果を獲得することができるが、これらの技術は、データのマークに対する要求は相対的に高い。深層学習によるイメージセマンティックセグメンテーション技術は、モデルトレーニングデータとして大量の画像が必要になるのみならず、これらの画像に存在する異なる対象物ピクセルレベルのマークを行うことを要求する。通常、画像中の異なる対象物は、異なる色を利用して、マークすることができる。しかし、マークされた色のブロックの境界が平滑でない場合や、任意の対象物が間違った色を利用してマークされる場合、トレーニングされたセマンティックセグメンテーションモデルが必要なセマンティックセグメンテーションの結果を実現できない可能性がある。

課題を解決するための手段

0004

本開示の例示的実施形態によれば、画像処理方法を提供する。
本開示の第1の態様において、画像処理方法を提供する。この方法は、入力画像における処理しようとする第1の領域及び第2の領域を確定するステップであって、前記第1の領域は、少なくとも部分的に第1の色で充填され、前記第2の領域は、少なくとも部分的に第2の色で充填され、前記第1の領域と前記第2の領域は、共通の境界領域を備える隣接した領域である、ステップと、縮小された前記第1の領域及び前記第2の領域の両方ともすべて前記境界領域を含まないように、前記第1の領域及び前記第2の領域を縮小するステップと、前記境界領域が前記第1の色及び前記第2の色のうちの少なくとも1つの色で充填されるように、縮小された前記第1の領域及び前記第2の領域を拡張するステップとを含む。

0005

本開示の第2の態様において、画像処理装置を提供する。この装置は、入力画像における処理しようとする第1の領域及び第2の領域を確定するように構築される領域確定モジュールであって、前記第1の領域は、少なくとも部分的に第1の色で充填され、前記第2の領域は、少なくとも部分的に第2の色で充填され、前記第1の領域と前記第2の領域は、共通の境界領域を備える隣接した領域である、領域確定モジュールと、縮小された前記第1の領域及び前記第2の領域の両方ともすべて前記境界領域を含まないように、前記第1の領域及び前記第2の領域を縮小するように構築される第1の画像処理モジュールと、前記境界領域が前記第1の色及び前記第2の色のうちの少なくとも1つの色で充填されるように、縮小された前記第1の領域及び前記第2の領域を拡張するように構築される第2の画像処理モジュールとを含む。

0006

本開示の第3の態様において、1つまたは複数のプロセッサと、1つまたは複数のプログラムを記憶するための記憶装置とを含み、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合第1の態様の方法を実現する電子機器を提供する。
本開示の第6の態様において、1つまたは複数のプロセッサと1つまたは複数のプログラムを記憶するための記憶装置を含み、前記1つまたは複数のプログラム被前記1つまたは複数のプロセッサによって実行される場合には、前記いずれかまたは複数のプロセッサが、本開示の第2の態様による方法を実現するようにする機器を提供する。

0007

本開示の第4の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第1の態様の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

0008

発明の内容の部分で説明した内容は、本発明の実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本発明の範囲を限定するためのものではないことを理解されたい。本発明の他の特徴は、下の説明を介して容易に理解できるだろう。

図面の簡単な説明

0009

以下の図面を参照してなされた制限的でない実施形態に対する詳細的な説明により、本発明の他の特徴、目的及び利点はより明らかになる。
図1は、本発明の実施形態を実現することができる例示的な環境の概略図を示す。
図2は、本発明の実施形態に係るトレーニング画像の例を示す。
図3は、本発明の実施形態に係るマークされた色分布図の例を示す。
図4は、本発明の実施形態に係る隣接カラーブロックの境界を平滑にするための方法のフローチャートを示す。
図5は、本発明の実施形態に係る画像エッチングの概略図を示す。
図6は、本発明の実施形態に係るエッチングされた色分布図の例を示す。
図7は、本発明の実施形態に係る画像拡張の概略図を示す。
図8は、本発明の実施形態に係る拡張された色分布図の例を示す。
図9は、本発明の実施形態による間違った色を変更するための方法のフローチャートを示す。
図10は、本発明の実施形態に係る画像処理装置の概略ブロック図を示す。
図11は、本発明の複数の実施形態を実現することができるコンピューティング機器のブロック図を示す。

実施例

0010

以下、説明の詳細を参照しながら本発明の様々な実施形態及び態様を説明し、図面には、上記様々な実施形態が示される。以下の説明及び図面は、本発明を例示するためのものであり、限定するものとして解釈されるべきではない。本発明の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。ところが、いくつかの場合には、本発明の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。

0011

本発明の実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」に理解すべきである。つまり、「...を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に...に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第1」、「第2」などは、異なるか、同じ対象物を示す可能性もある。以下、他の明確な定義と暗黙的定義を含める可能性もある。

0012

前述したように、従来の深層学習によるイメージセマンティックセグメンテーション技術は、モデルのトレーニングデータとして大量の画像が要求されるのみならず、これらの画像の中に存在する異なる対象物に対して、ピクセルのマークを行うことも要求される。これらのマークは、マーク手段によって人為的に完了することができる。通常、上述したマークは異なる色を使用して、異なる対象物を代表する画像領域を充填することにより、完了する。本願において、色で充填された画像領域は、「色のブロック」と呼ぶこともできる。人為的にマークされた画像は、セマンティックセグメンテーションモデルをトレーニングするために、セマンティックセグメンテーションモデルトレーニングシステムに提供されることができる。本明細書に使用されるような用語「モデル」は、トレーニングデータから、相応の入力と出力の間の関連性を学習し、トレーニングが完了した後、指定された入力を対象として対応する出力を生成することができる。例えば、トレーニングされたセマンティックセグメンテーションモデルは、特定しようとする画像を対象としてセマンティックセグメンテーション結果を生成することができ、つまり、そのイメージに含まれている各種の対象物を認識することができる。

0013

しかし、トレーニング画像に対して人為的なマークを進めるときに、エラーが発生する可能性がある。例えば、ある対象物は、間違った色でマークされる可能性がある。このような場合に、トレーニングされたセマンティックセグメンテーションモデルは、誤ったセマンティックセグメンテーション結果を得る可能性があり、例えば、画像に含まれている該当対象物を正確に認識することができなくなる。また、人為的に充填された色のブロック境界は平滑していない可能性がある。例えば、色のブロックには、鋸歯型境界が発生する可能性が存在し、隣接する色のブロックの境界には十分に充填されていなかったファジー領域などが発生する可能性も存在する。このような場合に、トレーニングされたセマンティックセグメンテーションモデルは、満足できるセグメンテーション精度を実現しない可能性がある。

0014

本発明の実施形態によれば、画像処理のための方案提出する。この案は、マークされたトレーニング画像の中の有効色のブロックを対象にして色辞典を構築し、異なる色のブロックに異なる優先順位分配する。この案は、色のブロックの歯型境界またはファジー境界を除去して、異なる色のブロックの異なる優先順位に基づいて、各色のブロックに対して拡張(拡大)と重畳を進めることにより、平滑な色のブロックの境界を備えるトレーニング画像を取得する。また、当該案は、画像のマーク(ラベルとも呼ばれる)中のエラーを自動的に修正することもできる。

0015

画像のマーク中のエラーを自動的に校正し、マークされたトレーニング画像の中の色のブロックの境界を平滑にすることにより、当該案はその後のセマンティックセグメンテーションモデルトレーニングシステムに正確にマークされたトレーニング画像を提供することにより、その後の画像セグメンテーションの精度を向上させることができる。したがって、当該案は、各種のセマンティックセグメンテーションアプリケーションに広く適用することができ、これらのセマンティックセグメンテーションアプリケーションは、自律走行システム(例えば、距離情景認識と理解)、無人機応用(例えば、着地点判断)とウェアラブル機器応用などを含むが、これらに限定されない。

0016

以下、添付された図面を参照して、本発明の実施形態を具体的に説明する。

0017

図1は、本発明の複数の実施形態を実現可能な例示的環境100の概略図を示す。環境100は、一般的に、画像マークモジュール120、画像処理モジュール130とモデルトレーニングモジュール140を含むことができる。環境100の構造と機能は、単に例示的な目的のために説明されるだけで、本発明の範囲の何限定を暗示するものではないことを理解されたい。本発明の実現は異なる構造および/または機能を備える環境に適用することもできる。

0018

画像マークモジュール120は、トレーニング画像102に対してマークを進むように、ユーザ110によって操作されることができる。トレーニング画像102は、セグメンテーションしようとする複数の対象物を含むことができる。例えば、図2は、本発明の実施形態に係るトレーニング画像102の例を示す。図2に示すように、例示的トレーニング画像102は、空201、木202(道路左右両側の木を含む)、道路203、車両204、道路の両側のガードレール205などを含むことができる。例示と簡略化の目的のために、図2には、トレーニング画像102中のすべての対象物が表示されるのではなく、単に部分的な対象物だけが表示される。

0019

ユーザ110は、画像マークモジュール120を介して異なる色によりトレーニング画像102中の異なる対象物についてマークを進めることができる。具体的には、ユーザ110は、既成された異なる色で異なる対象物に対応する領域を充填して、トレーニング画像102に対応する色分布図104を生成することができる。例えば、図3は、図2に示すようなトレーニング画像102に対応する色分布図104の例を示す。図3において、例えば、トレーニング画像102中の空201に対応する領域301は、カラーAで充填され、トレーニング画像102中の木202に対応する領域302は、カラーBで充填され、トレーニング画像102中の道路203に対応する領域303は、カラーCで充填され、トレーニング画像102中の車両204に対応する領域304は、カラーDで充填され、トレーニング画像102中のガードレール205に対応する領域305は、カラーEで充填される。本明細書に説明される色A−Eは、予め定義された任意の色であることを理解されたい。

0020

上述したように、ユーザ110がマークした色分布図104には、様々な問題が存在する可能性がある。一部の場合、ユーザ110が間違った色である対象物をマークする可能性が存在し、例えば、ガードレールがピンク色にマークする必要があるが、ユーザ110がこれを指定されていない濃い赤色などでマークする可能性がある。例えば、いくつかのケースでは、ユーザ110により充填された色のブロックの境界は平滑していない可能性がある。例えば、色のブロックには、鋸歯型境界が発生する可能性が存在し、隣接する色のブロックの境界には、十分に充填されていないファジー(Fuzzy)領域などが発生する可能性もある。画像処理モジュール130は、カラー分布図104に表示される可能性がある上述した問題点を修正することができる。

0021

一部の実施形態において、画像処理モジュール130は、カラー分布図104を対象とする色辞典を獲得することができる。その色辞典は、データベース、テーブル、ファイル等の任意の適切な形式で記憶されることができ、これは色分布図104中の複数の有効色を示すことができる。例えば、図3に示すような色分布図104を対象として、色辞典は色A、色B、色C、色Dと色Eを有効色に示すことができる。その色辞典に基づいて、画像処理モジュール130は、カラー分布図104で有効色に充填されていない色のブロックを最もマッチングする有効色で充填されるように変更することができる。この方法により、人為的なマークに発生したエラーは、削除されることができる。

0022

また、一部の実施形態において、色辞典は異なる有効色が異なる優先順位を備えるように示すこともできる。具体的には、実際の環境中の異なる色のブロックの間のセマンティック関係に基づいて、異なる有効色に異なる優先順位を分配することができる。例えば、前景の優先順位は、背景の優先順位よりも高くなるようにする。図3に示された色分布図104を例にすると、色Aで充填された領域301は、図2に示すような天201に対応し、色Bで充填された領域302は、図2に示すような木202に対応する。空201は、木202の背景なので、領域301を充填した色Aは、領域302を充填した色Bよりも低い優先順位を備える。同様に、色Cで充填された領域303は、図2に示すような道路203に対応し、色Dで充填された領域304は、図2に示すような車両204に対応する。道路203が車両204の背景なので、領域303を充填した色Cは、領域304を充填した色Dよりも低い優先順位を備える。その他のルールを利用して、異なる有効色に対応した優先順位を分配することもでき、本発明の範囲は、このような方面で限定されないことを理解されたい。

0023

色辞典に基づいて、画像処理モジュール130は、カラー分布図104に存在する隣接する有効色ブロック(つまり、両者はいずれも有効色を利用して充填した隣接する色のブロックである)を確認することができる。画像処理モジュール130は、まず、隣接する有効色のブロックの間の境界領域(例えば、これは鋸歯型またはファジー型である)を削除することができる。続いて、画像処理モジュール130は、隣接する有効色のブロックの異なる優先順位に基づいて、隣接する有効色ブロックに対して画像拡張と重畳を実行して、有効色で前記境界領域を充填することができる。この方法により、隣接する色のブロックの間に存在可能な鋸歯型境界領域またはファジー境界領域は平滑化されることができる。

0024

色分布図104に存在する問題点を修正することで、画像処理モジュール130は、修正された色分布図106を生成することができる。修正された色分布図106は、セマンティックセグメンテーションモデル108を生成するように、モデルトレーニングモジュール140に提供されることができる。トレーニングされたセマンティックセグメンテーションモデル108は、識別しようとする画像を対象としてセマンティックセグメンテーション結果を生成することができ、つまり、そのイメージに含まれている各種の対象物を認識することができる。以下、図4を組み合わせて、画像処理モジュール130の作業原理をさらに説明する。

0025

図4は、本発明の実施形態に係る画像処理方法400のフローチャートを示す。例えば、方法400は、図1に示すような画像処理モジュール130によって実行されることができる。方法400は、図示されていない付加的なステップをさらに含み、および/または図示されたステップを省略することができることを理解されたい。本発明の範囲は、これらの方面で限定されない。

0026

ブロック410において、画像処理モジュール130は、カラー分布図104のうち、処理しようとする第1の領域及び第2の領域を確定する。本願において、色分布図104は、画像処理モジュール130の「入力画像」と呼ばれることもできる。第1の領域及び第2の領域は、共通の境界領域を備える連続した領域である。また、第1の領域は、少なくとも部分的に第1の色で充填し、第2の領域は、少なくとも部分的に第2の色で充填することができる。

0027

一部の実施形態において、処理しようとする第1の領域及び第2の領域を確定するために、画像処理モジュール130は、色辞典を獲得することができる。例えば、色辞典は、入力画像中の領域を充填する複数の有効色を示すことができる。一部の実施形態において、色辞典は、予め定義されたものであってもよい。他のいくつかの実施形態において、色分布図104に間違った色が存在しない場合には、画像処理モジュール130は、カラー分布図104中の色分布を学習して、色辞典を自動的に取得することもできる。画像処理モジュール130は、取得した色辞典に基づいて、有効色で充填された互いに隣接する2つの領域を、処理しようとする第1の領域及び第2の領域に利用することができる。

0028

図3に説明されたような色分布図104を例にとると、画像処理モジュール130は、カラー分布図104を対象とする色辞典を獲得することができる。例えば、その色辞典は色A、色B、色C、色Dと色Eを有効色で示すことができる。画像処理モジュール130は、互いに隣接する領域301、302)を、処理しようとする第1の領域及び第2の領域とそれぞれ確定することができる。代替的に、画像処理モジュール130は、互いに隣接する領域302、305をそれぞれ処理待しようとする第1の領域及び第2の領域と確定することができる。代替的に、画像処理モジュール130は、互いに隣接する領域302、304をそれぞれ処理待ちしようとする(処理待ち)第1の領域及び第2の領域と確定することができる。

0029

ブロック420において、画像処理モジュール130は、縮小された第1の領域と第2の領域がすべて境界領域を含まないように、第1の領域及び第2の領域を縮小する。一部の例において、第1の領域及び第2の領域との間の境界領域には、第1の色と第2色と異なる他の1つの色が備えられることができる。例えば、境界領域は、2つの色のブロックの境界に位置する一のファジー領域である可能性がある。また、人為的なマークの原因のために、第1の領域及び第2の領域との間の境界は十分に明確ではなく平滑していない可能性がある。

0030

一部の実施形態において、画像処理モジュール130は、第1の領域及び第2の領域から境界領域を直接除去することができる。例えば、画像処理モジュール130は、境界領域を予め定義された任意の無効色(例えば、黒色)で充填することができる。つまり、処理を介して、第1の領域及び第2の領域は無効色で充填された領域によって分離されることができる。

0031

代替案として、または付加的に、いくつかの実施形態において、画像処理モジュール130は、第1の領域及び第2の領域の境界の周囲に位置する複数のピクセルを除去するように、第1の領域及び第2の領域について画像エッチングをそれぞれ実行することができる。この方法により、エッチングされた第1の領域及び第2の領域は、すべて上述した鋸歯型境界領域またはファジー境界領域を含んでいない。

0032

図5は、本発明の実施形態に係る画像エッチングの概略図を示す。図5には、エッチング待ち入力画像510と、画像510に対して画像エッチングを行うための構造的な要素520とが示されている。画像510は、特定の有効色で充填されている、例えば上述したような第1の領域または第2の領域であることができる。図5において、構造要素520は、3×3ピクセルの相対的に小さな画像であり、その原点521は、五角星符号で表示され、原点521は、その後のエッチングの操作で基準点役割をする。

0033

一部の実施形態において、画像510に対して画像エッチングを行うための構造的な要素は、エッチング係数に基づいて確定することができる。エッチング係数は、画像510がエッチングされる程度を表示することができる。例えば、エッチング係数が3である場合、図5に示すような3×3ピクセルの構造要素が使用されることができる。エッチング係数が2である場合、2×2ピクセルの構造要素が使用されることができる。一部の実施形態において、エッチング待ちの第1の領域及び第2の領域を対象として、画像処理モジュール130は、異なるエッチング係数をそれぞれ利用することができる。つまり、画像処理モジュール130は、異なる構造的な要素を利用して、第1の領域及び第2の領域に対して画像エッチングをそれぞれ行うことができる。代替的に、いくつかの実施形態において、エッチング待ちの第1の領域及び第2の領域を対象として、画像処理モジュール130は、同じエッチング係数を利用することができる。つまり、画像処理モジュール130は、同一の構造的な要素を利用して、第1の領域及び第2の領域に対して画像エッチングをそれぞれ行うことができる。

0034

また、図5に示すような構造的な要素520は、正方形であり、原点521がちょうどその中心点であるが、これは単に例示的な目的であるだけで、本発明の範囲を限定しようとするものではないことを理解しなければならする。一部の実施形態において、画像処理モジュール130は、他の形状の構造要素を利用することができ、構造的要素の原点位置は、任意の位置であることができる。

0035

画像510に対して画像エッチングを行うために、画像処理モジュール130は、まず、画像510において構造的な要素520と完全にマッチングする部分を見つけることができる。これらの部分を見つけたら、画像処理モジュール130は、ソースイメージ510を充填する有効色で、空白出力画像(例えば、完全に黒い画像、「真空図」とも呼ばれる)上の原点521に対応するピクセルを充填することができる。画像処理モジュール130は、画像510に存在する構造的な要素520にマッチングされているすべての部分が処理完了するまで、上述した過程を繰り返し実行することができる。生成された出力画像は、図5中の画像530に示された通りである。

0036

図5に示すような二値バイナリ値)(つまり、出力画像530中のピクセルは、有効色と無効色のいずれかを備える)画像エッチングの方法は、単に画像エッチング操作の一の例示的実現であることを理解されたい。一部の実施形態において、図5に図示された画像エッチング方法と異なる既存のまたは将来の開発される他の画像エッチング方法を利用して、第1の領域及び第2の領域に対して処理を行うこともでき、本発明の範囲は、これらの方面で限定されない。

0037

図6は、図3に示すような色分布図104に対して画像エッチング操作を経由して生成された色分布図600を示す。図600に示すように、隣接する領域に対して、図5に示すような画像エッチングを実行することにより、隣接する領域間の境界領域を除去する。例えば、隣接する領域が無効の色で充填された領域によって分離されるように、当該境界領域は、予め定義された無効の色(例えば、黒色)で充填される。

0038

帰って図4を参照すると、ブロック430において、画像処理モジュール130は、境界領域が第1の色と第2色のうちの少なくとも1つの色で充填されるように、縮小された第1の領域及び第2の領域を拡張する。一部の実施形態において、第1の領域及び第2の領域を拡張するために、画像処理モジュール130は、色辞典が示す異なる領域の異なる優先順位に基づいて、第1の領域及び第2の領域に対して拡張と重畳を行うことができる。

0039

一部の実施形態において、画像処理モジュール130は、縮小された第1の領域の第1境界付近に対して第1の色を備える複数のピクセルを追加するように、縮小された第1の領域に対して画像拡張を実行することができる。付加的に、画像処理モジュール130は、縮小された第2の領域の第2境界付近に第2の色を備える複数のピクセルを追加するように、縮小された第2の領域に対して画像拡張を実行することもできる。

0040

図7は、本発明の実施形態に係る画像拡張の概略図を示す。図7には、拡張しようとする入力画像710と画像710に対して画像拡張を進めるための構造的な要素720とが示されている。画像710は、特定の有効色で充填されている、例えば上述したような拡張しようとする第1の領域または第2の領域であることができる。図7において、構造要素720は、3×3ピクセルの相対的に小さな画像であり、その原点521は、五角星符号で表示され、原点521は、その後のエッチングの操作で基準点の役割をする。

0041

一部の実施形態において、画像710に対して画像拡張を進めるための構造的な要素は、拡張係数に基づいて確定することができる。拡張係数は、画像710が拡張される程度を表示することができる。例えば、拡張係数が3である場合、図7に示すような3×3ピクセルの構造要素が使用されることができる。拡張係数が2である場合、2×2ピクセルの構造要素が使用されることができる。一部の実施形態において、第1の領域及び第2の領域を対象として、画像処理モジュール130は、異なる膨張係数をそれぞれ利用することができる。つまり、画像処理モジュール130は、異なる構造的な要素を利用して、第1の領域及び第2の領域に対して画像拡張をそれぞれ行うことができる。代替的に、いくつかの実施形態において、第1の領域及び第2の領域を対象として、画像処理モジュール130は、同じ拡張係数を利用することができる。つまり、画像処理モジュール130は、同一の構造的な要素を利用して、第1の領域及び第2の領域に対して画像拡張をそれぞれ行うことができる。付加的にまたは代替的に、特定の領域を対象とする拡張係数は、先に説明した、その領域を対象とするエッチング係数と同一または異なることができる。

0042

また、図7に示すような構造的な要素720は、正方形であり、原点721がちょうどその中心点であるが、これは単に例示的な目的のためであり、本発明の範囲を限定しようとするものではないことを理解されたい。一部の実施形態において、画像処理モジュール130は、他の形状の構造要素を利用することができ、構造的要素の原点位置は、任意の位置であることができる。

0043

画像710に対して画像拡張を進めるため、画像処理モジュール130は、構造的な要素720の原点721が順次画像710中の各ピクセルを経由するようにすることができる。原点721が画像710中の任意のピクセルを経由する場合に、画像処理モジュール130は、ソースイメージ610を充填する有効色で空白へ出力する画像(例えば、完全に黒い画像、「真空図」とも呼ばれる)上で構造的な要素720に対応するすべてのピクセル(例えば、9個のピクセルの)を充填することができる。画像処理モジュール130は、原点721が画像710中のすべてのピクセルを遍歴するまで、上述した過程を繰り返し実行することができる。生成された出力画像は、図7中の画像730に示された通りである。

0044

図7に示された二値(つまり、出力画像730中のピクセルは、有効色と無効色のいずれかを備える)画像拡張は、単に画像拡張操作の一の例示的実現であることを理解されたい。一部の実施形態において、図7に図示された画像の拡張方法と異なる既存のまたは将来の開発される他の画像拡張方法を用いて縮小された第1の領域及び第2の領域に対して処理を行うこともでき、本発明の範囲は、これらの方面で限定されない。

0045

さらに、画像処理モジュール130は、画像拡張された第1の領域及び第2の領域に対して画像重畳を行うことができる。一部の実施形態において、色辞典は異なる色ブロック(または異なる色のブロックを充填する異なる色)が異なる優先順位を備えることを示すことができる。例えば、色辞典は、第1の色で充填された第1の領域が第1の優先順位を備え、第2の色で充填された第2の領域が第2の優先順位を備えることを示すことができる。一部の実施形態において、画像処理モジュール130は、色辞典に示された異なる有効色の異なる優先順位に応じて、拡張された第1の領域及び第2の領域に対して画像重畳を行うことができる。具体的には、拡張された第1の領域及び第2の領域には、相互に重畳された領域が存在することができる。第1の領域の第1の優先順位が第2の領域の第2の優先順位よりも高い場合に、その相互重畳された領域で第1の領域は、第2の領域をカバーする。つまり、相互重畳された領域は、第1の色で充填される。第2の領域の第2の優先順位が第1の領域の第1の優先順位よりも高い場合に、その相互重畳された領域で第2の領域は第1の領域をカバーする。つまり、相互重畳された領域は、第2の色で充填される。前述したように、異なる色のブロックの優先順位は、一般的に、実際の環境中の異なる色のブロックの間のセマンティック関係に基づいて分配されることができ、例えば、前景の優先順位は、背景の優先順位よりも高くなる。この方法により、縮小された隣接する領域に対して画像拡張や画像重畳を進めることにより、隣接する領域中の、優先度の高い領域は、優先順位の低い領域を少なくとも部分的にカバーする。

0046

図8は、図6に示すような色分布図600に対して画像拡張操作を経由して生成された色分布図800を示す。図800に示すように、隣接する領域に対して、図7に示すような画像拡張を実行することにより、図6に示すような連続した領域との間の黒色領域(つまり、削除された境界領域)は、隣接する領域を充填する有効色で充填される。この方法により、図1に示すようなモデルトレーニングモジュール140を利用できるように、平滑な色のブロックの境界を備えるトレーニング画像を獲得することができる。

0047

先に画像処理モジュール130がトレーニング画像の隣接する色のブロックの間の境界を平滑にするために実行する相応の操作を説明した。付加的にまたは代替的に、画像処理モジュール130は、カラー分布図104に存在する可能性がある間違ってマークされた色のブロックを変更することもできる。

0048

図9は、本発明の実施形態による間違った色を変更するための方法900のフローチャートを示す。例えば、方法900は、図1に示すような画像処理モジュール130に実行されることができる。方法900は、図示されていない付加的なステップをさらに含むことができ、および/または図示されたステップを省略することができることを理解されたい。本明細書に説明された主題の範囲は、これらの方面で限定されない。

0049

ブロック910において、画像処理モジュール130は、入力画像中の領域を充填する複数の有効色を示す入力画像(つまり、色分布図104)を対象とする色辞典を獲得する。図3に示すような色分布図104を例にとると、当該辞書は色A、色B、色C、色Dと色Eを有効色で示すことができている。

0050

ブロック920において、入力画像が第3の領域を含み、第3の領域が複数の有効色に含まれていない第3の色で充填されることに応答して、画像処理モジュール130は、複数の有効色のから第3の色に最もマッチングされる第4の色を選択する。例えば、画像処理モジュール130は、複数の有効色に含まれていない第3の色で充填された第3の領域が存在するかどうかを確定するために、入力画像中の色のブロックを検査することができる。

0051

一部の実施形態において、入力画像に複数の有効色に含まれていない第3の色で充填された第3の領域が存在することが確定された場合、画像処理モジュール130は、第3の色と複数の有効色それぞれとの距離を確定することができる。この距離は、第3の色と複数の有効色の間の相応する差異の程度を示すことができる。

0052

例えば、赤、緑、青(RGB)のカラースペースを例にとると、1つの色は、3つのカラーチャンネルの値の組み合わせ(R値G値B値)を利用して表示することができ、これは3次元座標系の一つのベクトルに対応する。第3の色が第1のベクトルを利用して表示すると仮定すると、複数の有効色うちの一つの有効色は第2のベクトルを利用して表示し、このような場合、画像処理モジュール130は、第3の色と前記有効色との間の距離として、第1のベクトルと第2ベクトルとの間のユークリッド距離を算出することができる。この方法により、画像処理モジュール130は、第3の色と複数の有効色それぞれとの距離を確定することができる。先にRGBカラースペースを例に挙げて、RGBカラースペースの中の2つの色の間の距離をどのように確定するかについて説明を行った。しかし、これは単に例示的な目的であり、本発明の範囲について任意に限定しようとするものではないことを理解されたい。本発明の実施形態は、YUV色空間など他の色空間に適用されることもできる。また、2つの色の差異の程度は、任意の従来のまたは将来開発される方法を用いて確定することができ、本発明の範囲は、これらの方面で限定されない。

0053

さらに、画像処理モジュール130は、複数の有効色から第4色として、第3の色との距離が最も小さい有効色を選択することができる。

0054

ブロック930において、画像処理モジュール130は、第3の色の代わりに、第4の色で第3の領域を充填することができる。この方法で、人為的なマークにより発生された間違った色は自動的に修正されることができる。

0055

一部の実施形態において、方法900は、方法400前に実行されることができる。つまり、画像処理モジュール130は、まず、色分布図104中の間違った色に対して修正を行った後、その中の隣接する色のブロック境界に対して平滑化を行う。他のいくつかの実施形態において、方法900は、方法400の後に実行されるか、または方法400と並列に実行することもできる。また、一部の実施形態において、方法900は、方法400と相互に独立して実行されることができる。例えば、異なる場合について、画像処理モジュール130は、単に方法400または方法900を実行することができる。本発明の範囲は、これらの方面で限定されない。

0056

前述した内容からわかるように、本発明の実施形態は、人為的にマークしたトレーニング画像の中の隣接する色のブロックの間の歯型境界またはファジー境界を除去し、異なる色のブロックの異なる優先順位に基づいて、各色のブロック対して拡張と重畳を進めることにより、平滑な色のブロックの境界を備えるトレーニング画像を獲得することができる。また、本発明の実施形態は、画像のマーク中のエラーを自動的に修正することもできる。画像のマーク中のエラーを自動的に校正し、マークされたトレーニング画像の中の色のブロックの境界を平滑にすることにより、本発明の実施形態は、その後のセマンティックセグメンテーションモデルトレーニングシステムに正確にマークされたトレーニング画像を提供することができる。これにより、後続イメージセグメンテーションの精度を向上させることができる。したがって、本発明の実施形態は、各種のセマンティックセグメンテーションアプリケーションに広く適用することができ、各種のセマンティックセグメンテーションアプリケーションは、自律走行システム(例えば、距離情景認識と理解)、無人機応用(例えば、着地点判断)と着用式機器応用などを含むが、これらに限定されない。

0057

図10は、本発明の実施形態に係る画像処理装置1000の概略ブロック図を示す。図10に示すように、装置1000は、インプットされた画像の中で処理しようとする第1の領域及び第2の領域を確定するように構築された領域確定モジュール1010を含むことができる。第1の領域は、少なくとも部分的に第1の色で充填され、第2の領域は、少なくとも部分的に第2の色で充填され、第1の領域及び第2の領域は、共通の境界領域を備える連続した領域である。装置1000は、縮小された第1の領域と第2の領域のいずれかが境界領域を含まないように、第1の領域及び第2の領域を縮小するように構築された第1の画像処理モジュール1020をさらに含むことができる。装置1000は、境界領域が第1の色と第2色のうちの少なくとも1つの色で充填されるように、縮小された第1の領域及び第2の領域を拡張するように構築された第2の画像処理モジュール1030をさらに含むことができる。

0058

一部の実施形態において、領域確定モジュール1010は、入力画像の中の領域を充填する複数の有効色を示す色辞典を取得するように構築された色辞典取得ユニットと、第1の色と第2色が複数の有効色に含まれていることに応答して、互いに隣接する第1の領域及び第2の領域を確定するように構築された領域確定ユニットをさらに含む。

0059

一部の実施形態において、第1の画像処理モジュール1020は、第1の領域及び第2の領域から境界領域を除去するように、さらに構築される。

0060

一部の実施形態において、第1の画像処理モジュール1020は、第1の領域中の第1の領域の第1境界の近くに位置する複数のピクセルを除去するように、第1の領域に対して画像エッチングを実行するように構築された第1の画像エッチングユニットと、第2の領域中の第2の領域の第2境界付近に位置する複数の画素を除去するように、第2の領域に対して画像エッチングを実行するように構築された第2の画像エッチングユニットをより含む。

0061

一部の実施形態において、色辞典は、第1の色と第1の優先順位が相互に関連し、第2の色と第2の優先順位が相互に関連されることをさらに示す。第2画像処理モジュール1030は、縮小された第1の領域の第1境界付近に対して第1の色を備える複数のピクセルを追加するように、縮小された第1の領域に対して画像拡張を実行するように構築された第1の画像拡張ユニットと、縮小された第2の領域の第2境界付近に第2の色を備える複数のピクセルを追加するように、縮小された第2の領域に対して画像拡張を実行するように構築された第2の画像拡張ユニットと、第1の優先順位と第2の優先順位に基づいて、画像拡張された第1の領域及び第2の領域に対して画像重畳を行うよう構築された画像重畳ユニットをさらに含む。

0062

一部の実施形態において、画像重畳ユニットは、第1の優先順位が第2の優先順位を超えたことに応答して、画像拡張された第1の領域が画像拡張された第2の領域を少なくとも部分的にカバーするように、さらに構築される。

0063

一部の実施形態においては、入力画像は、複数の有効色に含まれていない第3の色で充填された第3の領域を含む。装置1000は、複数の有効色から第3の色に最もマッチング第4の色を選択するように構築された色選択モジュールと、第3の色の代わりに、第4の色で第3の領域を充填するように構築された色代替モジュールをさらに含む。

0064

一部の実施形態において、色の選択モジュールは、第3の色と複数の有効色のそれぞれとの距離を確定するために構築された距離確定ユニットであって、前記距離は、前記第3の色と前記複数の有効色との間の相応する差異の程度を示すものである、距離確定ユニットと、第4色として、複数の有効色から第3の色との距離が一番小さい有効色を選択するように構築された色選択ユニットを含む。

0065

一部の実施形態において、第3の色は、第1のベクトルで表示され、第4の色は、第2のベクトルで表示され、第3の色と第4色の間の距離は、第1のベクトルと第2ベクトルとの間のユークリッド距離である。

0066

図11は、本発明の複数の実施形態を実施することができるコンピューティング機器1100のブロック図を示す。機器1100は、図11点群データを処理するための装置1110を実現するのに使用することができる。図示されたように、機器1100は、中央処理ユニット1101(CPU)を含み、CPU1101は、読み取り専用メモリ1102(ROM)に記憶されたコンピュータプログラム指令、または記憶ユニット1108からランダムアクセスメモリ1103(RAM)にロードされたコンピュータプログラム指令に基づいて、各種の適切な動作と処理を実行することができる。RAM1103には、機器1100の動作に必要な各種のプログラムやデータが記憶されることができる。CPU1101、ROM1102とRAM1103、バス1104を介して互いに接続される。入力/出力(I/O)インターフェース1105もバス1104に接続される。

0067

機器1100中のI/Oインターフェース1105に接続されている複数の部品として、キーボードマウスなどの入力ユニット1106と、様々なタイプの表示装置スピーカーなどの出力ユニット1107と、磁気ディスクコンパクトディスクなどの記憶ユニット1108と、LANカードモデム無線通信トランシーバなどの通信ユニット1109が含まれる。通信ユニット1109は、機器1100がインターネットなどのコンピュータネットワークおよび/または各種の電気通信網を介して他の機器と情報/データを交換することを可能にする。

0068

中央処理ユニット1101は、前述した各方法と処理、例えば、方法500および/または方法900を実行する。例えば、いくつかのの実施形態において、方法500および/または方法900は、コンピュータソフトウェアプログラムとして実現されることができ、これは機械可読媒体(例えば、記憶ユニット1108)に含まれている。一部の実施形態において、コンピュータプログラムの一部または全部は、ROM1102、および/または通信ユニット1109を経由して機器1100上にロードおよび/またはインストールすることができる。コンピュータプログラムは、RAM1103にロードされてCPU1101により実行される場合、前述した方法500および/または方法900の1つまたは複数のステップを実行することができる。選択可能に、その他の実施形態において、CPU1101は、ギターの任意の適切な方法で(例えば、ファームウェアの助けを借りて)方法500および/または方法900を実行するように構築することができる。

0069

本明細書に説明されて複数の機能は、少なくとも部分的に1つまたは複数のハードウェアロジック部材で実行することができる。例えば、使用可能な模式的なタイプのハードウェアロジック部材は、フィールドプログラマブルゲートアレイFPGA)、特定用途向け集積回路ASIC)、オンデマンド標準製品(ASSP)、システムオンチップシステム(SOC)、複合プログラマブルロジック素子(CPLD)などを含むが、これに限定されない。

0070

本発明の方法を実施するためのプログラムコードは、1つまたは複数のプログラマブル言語の任意の組み合わせを利用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、オンデマンドコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサまたは制御装置に提供されることができ、プログラムコードがプロセッサまたは制御装置により実行される場合には、フローチャート、および/またはブロック図に規定された機能/操作が実施される。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、独立したソフトウェアパッケージとして部分的に機械上で実行されて、部分的にリモートマシン上で実行されたり、または完全にリモートマシンまたはサービスで実行されることができる。

0071

本発明の文脈において、機械可読媒体は、あるタイプの媒体であることができ、コマンドを実行するシステム、装置又は機器によって使用されるか、またはコマンドの実行システム、装置または機器と組み合わせて使用されるプログラムを含むまたは記憶することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であることができる。機械可読媒体は、電子磁気光学電磁赤外線または半導体システム、装置、または機器、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。機械可読記憶媒体のより具体的な例は、1つまたは複数のワイヤベース電気的接続ポータブルコンピュータディスクハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去およびプログラム可能な読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバポータブルコンパクトディスク読み取り専用メモリ(CD−ROM)、光学ストレージ装置磁気記憶装置、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。

0072

また、特定の順序を利用して、各操作ウルルル説明したが、これはこのような操作が図示された特定の順序またはシーケンスで実行されることを要求したり、目的の結果を実現するために図示されたすべての操作が実行されることを要求すると理解してはならない。一定の環境において、マルチタスク並列処理は、有利であることができる。同様に、上記説明に様々な具体的な実現の詳細が含まれているが、これらは本発明の範囲の限定と解釈してはならない。別の実施形態の文脈で説明されたいくつかの特徴は、組み合わせの方法で単一の実現に実現されることができる。逆に、単一の実現のコンテキストで説明された各種の特徴も個別にまたは任意の適切なサブ組み合わせの方法で複数の実現に実現されることもできる。

0073

構造の特徴および/または方法のロジックの動作に固有の言語を使用して本主題を説明したが、特許請求の範囲に限定された主題は、必ずしも前述した特定の特徴または動作に限定されるべきではないことを理解すべきである。逆に、前述した特定の特徴または動作は、単に特許請求の範囲を実現する例示的形式である。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ