図面 (/)

技術 画像処理装置、画像処理方法、ならびに、プログラム

出願人 株式会社ドリコム
発明者 櫻井理映子
出願日 2018年1月15日 (1年9ヶ月経過) 出願番号 2018-004069
公開日 2019年7月25日 (2ヶ月経過) 公開番号 2019-125076
状態 特許登録済
技術分野 イメージ分析 画像処理 FAX原画の編集 スタジオ装置
主要キーワード 縦直線 横直線 最大ボリューム エンターテインメント装置 最大クラスタ クラウド型 グラフィックス計算 主部材
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2019年7月25日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像に変換したい。

解決手段

画像処理装置101において、主認識部102は、原画像において主部材が描画されている主領域を、主画像認識により認識する。設定部103は、主領域に対する左右いずれかの側および上方の消失点縦横の複数の通過直線を設定する。変換部104は、縦横の通過直線が主水平線および主鉛直線射影されるように、原画像を変換済画像へホモグラフィ変換する。副認識部105は、変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する。評価部106は、副領域の副画像認識における信頼度に基づいて、評価値を計算する。制御部107は、評価値を最適化するように、設定から評価値の計算までを繰り返す制御を行う。繰り返しが完了すると、出力部108は、変換済画像を出力する。

概要

背景

従来から、複数の画像から3次元モデル構築する技術が提案されている。たとえば、特許文献1では、ユーザが2次元入力画像において対応する多角形の領域の組をセグメント化して、その組にラベル付けを行うと、当該組と整合性を有する最大ボリュームを有する3次元モデルを構築する技術が提案されている。

このような技術においては、2次元入力画像は、3次元の物体ホモグラフィ(透視投影)によって射影することにより2次元化していることを前提としている。したがって、2次元の入力画像に描画された建物の壁面等を正面から見た様子を表す画像を得るためには、ホモグラフィ変換逆変換を行う必要がある。

特許文献1に開示される技術のように、2次元の入力画像が多数ある場合には、このような逆変換を求めることが可能である。

一方で、非特許文献1に開示される技術のように、人工知能技術の分野では、
各種のオブジェクト画像認識によって検出したり、
風景撮影された写真を、建物、道、木、芝生、空などの領域に分解したり
するための技術が提案されている。これらの技術によれば、現実世界を撮影した写真や、仮想世界コンピュータグラフィックスにより描画した画像から、
建物が撮影されている領域のみを抽出したり、
建物の外観の画像から、建物の外観を構成するガラス窓枠冷房室外機パイプなどの、各種の部材を認識したり
することが可能である。

また、非特許文献1等に開示される画像認識に係る技術では、認識された対象が描かれている領域と、当該認識に係るスコアと、が、同時に得られるのが一般的であり、当該スコアによって、当該認識がどの程度確からしいものであるかを表す信頼度を得ることができる。

概要

建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像に変換したい。画像処理装置101において、主認識部102は、原画像において主部材が描画されている主領域を、主画像認識により認識する。設定部103は、主領域に対する左右いずれかの側および上方の消失点縦横の複数の通過直線を設定する。変換部104は、縦横の通過直線が主水平線および主鉛直線へ射影されるように、原画像を変換済画像へホモグラフィ変換する。副認識部105は、変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する。評価部106は、副領域の副画像認識における信頼度に基づいて、評価値を計算する。制御部107は、評価値を最適化するように、設定から評価値の計算までを繰り返す制御を行う。繰り返しが完了すると、出力部108は、変換済画像を出力する。 1

目的

本発明は、上記のような課題を解決するもので、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像にホモグラフィ変換するのに好適な画像処理装置、画像処理方法、ならびに、プログラムを提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

(分野番号表示ON)※整理標準化データをもとに当社作成

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

原画像において、主部材が描画されている主領域を、主画像認識により複数認識する主認識部、前記原画像において、前記複数の主領域に対する右側と左側のいずれかの側の横消失点と、上方と下方のいずれかの方の縦消失点と、前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、を、前記複数の主領域のそれぞれが、前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過されるように設定する設定部、前記原画像を変換済画像ホモグラフィ変換する変換部であって、前記原画像における前記複数の横通過直線、および、前記複数の縦通過直線を、それぞれ、前記変換済画像における複数の主水平線、および、複数の主鉛直線へホモグラフィ変換する変換部、前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する副認識部、少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算する評価部、前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をする制御部、前記繰り返す制御が完了すると、前記変換済画像を出力する出力部を備えることを特徴とする画像処理装置

請求項2

前記設定部は、前記複数の主領域からいずれかを注目主領域に選択し、前記注目主領域を通過する直線であって、鉛直よりも水平に近い傾きの直線であって他の主領域を通過する数もしくは密度が最大の横直線を同定し、前記横直線が通過しない主領域からいずれかを新たな注目主領域に選択する処理を繰り返すことによって、複数の横直線を同定し、前記同定された複数の横直線同士に通過される主領域よりも前記いずれかの側にある交点により、前記いずれかの側の横消失点を設定することを特徴とする請求項1に記載の画像処理装置。

請求項3

前記設定部は、前記同定された複数の横直線同士に通過される主領域よりも前記いずれかの側とは反対側にある交点により、前記反対側の横消失点を設定し、前記変換部は、前記いずれかの側の横消失点を通過する横通過直線に通過される主領域の分布と、前記反対側の横消失点を通過する横通過直線に通過される主領域の分布と、に基づいて、前記原画像を前記いずれかの側と、前記反対側と、に分割し、前記分割された原画像の前記いずれかの側を、ホモグラフィ変換することを特徴とする請求項2に記載の画像処理装置。

請求項4

前記設定部は、前記複数の主領域からいずれかを注目主領域に選択し、前記注目主領域を通過する直線であって、水平よりも鉛直に近い傾きの直線であって他の主領域を通過する数もしくは密度が最大の縦直線を同定し、前記縦直線が通過しない主領域からいずれかを新たな注目主領域に選択する処理を繰り返すことによって、複数の縦直線を同定し、前記同定された複数の縦直線同士に通過される主領域よりも前記いずれかの方にある交点により、前記いずれかの方の縦消失点を設定することを特徴とする請求項1に記載の画像処理装置。

請求項5

前記横消失点、および、前記縦消失点は、斉次座標により計算され、前記複数の横通過直線は、互いに平行であるか否かを問わず、前記複数の縦通過直線は、互いに平行であるか否かを問わないことを特徴とする請求項1に記載の画像処理装置。

請求項6

前記評価値は、さらに、前記複数の主水平線のいずれかに通過される主領域の数、および、当該数の主水平線あたりの平均ならびにまとまり、前記複数の主鉛直線のいずれかに通過される主領域の数、および、当該数の主鉛直線あたりの平均ならびにまとまり、前記複数の主水平線の間隔のまとまり、前記複数の主鉛直線の間隔のまとまりに基づいて計算されることを特徴とする請求項1に記載の画像処理装置。

請求項7

前記主水平線および前記主鉛直線を基準に、前記変換済画像を分割することにより、前記変換済画像からテクスチャ素材を得ることを特徴とする請求項6に記載の画像処理装置。

請求項8

前記評価部は、前記変換済画像において、水平に伸び、前記複数の副領域のいずれか2以上を通過する複数の副水平線と、鉛直に伸び、前記複数の副領域のいずれか2以上を通過する複数の副鉛直線と、を、前記複数の副領域のそれぞれが、前記複数の副水平線のうち、多くとも1つの副水平線に通過され、前記複数の副鉛直線のうち、多くとも1つの副鉛直線に通過されるように同定し、前記評価値は、さらに、前記複数の副水平線のいずれかに通過される副領域の数、および、当該数の副水平線あたりの平均ならびにまとまり、前記複数の副鉛直線のいずれかに通過される副領域の数、および、当該数の副鉛直線あたりの平均ならびにまとまり、前記複数の副水平線の間隔のまとまり、前記複数の副鉛直線の間隔のまとまりに基づいて計算されることを特徴とする請求項6に記載の画像処理装置。

請求項9

前記主水平線と前記副水平線のいずれか間隔が広い方、および、前記主鉛直線と前記副鉛直線のいずれか間隔が広い方を基準に、前記変換済画像を分割することにより、前記変換済画像からテクスチャ素材を得ることを特徴とする請求項6に記載の画像処理装置。

請求項10

画像処理装置が、原画像において、主部材が描画されている主領域を、主画像認識により複数認識する主認識ステップ、前記画像処理装置が、前記原画像において、前記複数の主領域に対する右側と左側のいずれかの側の横消失点と、上方と下方のいずれかの方の縦消失点と、前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、を、前記複数の主領域のそれぞれが、前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過されるように設定する設定ステップ、前記画像処理装置が、前記原画像を変換済画像へホモグラフィ変換する変換ステップであって、前記原画像における前記複数の横通過直線、および、前記複数の縦通過直線を、それぞれ、前記変換済画像における複数の主水平線、および、複数の主鉛直線へホモグラフィ変換する変換ステップ、前記画像処理装置が、前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する副認識ステップ、前記画像処理装置が、少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算する評価ステップ、前記画像処理装置が、前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をする制御ステップ、前記繰り返す制御が完了すると、前記画像処理装置が、前記変換済画像を出力する出力ステップを備えることを特徴とする画像処理方法

請求項11

コンピュータを、原画像において、主部材が描画されている主領域を、主画像認識により複数認識する主認識部、前記原画像において、前記複数の主領域に対する右側と左側のいずれかの側の横消失点と、上方と下方のいずれかの方の縦消失点と、前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、を、前記複数の主領域のそれぞれが、前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過されるように設定する設定部、前記原画像を変換済画像へホモグラフィ変換する変換部であって、前記原画像における前記複数の横通過直線、および、前記複数の縦通過直線を、それぞれ、前記変換済画像における複数の主水平線、および、複数の主鉛直線へホモグラフィ変換する変換部、前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する副認識部、少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算する評価部、前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をする制御部、前記繰り返す制御が完了すると、前記変換済画像を出力する出力部として機能させることを特徴とするプログラム

技術分野

0001

本発明は、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像ホモグラフィ変換するのに好適な画像処理装置画像処理方法、ならびに、プログラムに関する。

背景技術

0002

従来から、複数の画像から3次元モデル構築する技術が提案されている。たとえば、特許文献1では、ユーザが2次元入力画像において対応する多角形の領域の組をセグメント化して、その組にラベル付けを行うと、当該組と整合性を有する最大ボリュームを有する3次元モデルを構築する技術が提案されている。

0003

このような技術においては、2次元入力画像は、3次元の物体ホモグラフィ(透視投影)によって射影することにより2次元化していることを前提としている。したがって、2次元の入力画像に描画された建物の壁面等を正面から見た様子を表す画像を得るためには、ホモグラフィ変換の逆変換を行う必要がある。

0004

特許文献1に開示される技術のように、2次元の入力画像が多数ある場合には、このような逆変換を求めることが可能である。

0005

一方で、非特許文献1に開示される技術のように、人工知能技術の分野では、
各種のオブジェクト画像認識によって検出したり、
風景撮影された写真を、建物、道、木、芝生、空などの領域に分解したり
するための技術が提案されている。これらの技術によれば、現実世界を撮影した写真や、仮想世界コンピュータグラフィックスにより描画した画像から、
建物が撮影されている領域のみを抽出したり、
建物の外観の画像から、建物の外観を構成するガラス窓枠冷房室外機パイプなどの、各種の部材を認識したり
することが可能である。

0006

また、非特許文献1等に開示される画像認識に係る技術では、認識された対象が描かれている領域と、当該認識に係るスコアと、が、同時に得られるのが一般的であり、当該スコアによって、当該認識がどの程度確からしいものであるかを表す信頼度を得ることができる。

0007

特開2004-288180号公報

先行技術

0008

Ren, Shaoqing, et al, "Faster R-CNN: Towardsreal-time object detection with region proposal networks", Advances in neural information processing systems, 2015年. (https://arxiv.org/pdf/1506.01497.pdf より2018年1月5日にダウンロード)

発明が解決しようとする課題

0009

しかしながら、建物の壁面等が描画された画像が一つしか存在しない場合には、ホモグラフィ変換やその逆変換を一意に求めることはできない。

0010

したがって、建物の壁面等が描画された原画像から、当該壁面等を正面から見た様子を妥当に表す変換済画像を得るための技術が求められている。

0011

本発明は、上記のような課題を解決するもので、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像にホモグラフィ変換するのに好適な画像処理装置、画像処理方法、ならびに、プログラムを提供することを目的とする。

課題を解決するための手段

0012

以上の課題を解決するため、本願発明においては、画像処理装置が、
原画像において、主部材が描画されている主領域を、主画像認識により複数認識し、
前記原画像において、前記複数の主領域に対する
右側と左側のいずれかの側の横消失点と、
上方と下方のいずれかの方の縦消失点と、
前記横消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、
前記縦消失点と、前記複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、
を、前記複数の主領域のそれぞれが、
前記複数の横通過直線のうち、多くとも1つの横通過直線に通過され、
前記複数の縦通過直線のうち、多くとも1つの縦通過直線に通過される
ように設定し、
前記原画像を変換済画像へホモグラフィ変換する際に、前記原画像における
前記複数の横通過直線、および、
前記複数の縦通過直線
を、それぞれ、前記変換済画像における
複数の主水平線、および、
複数の主鉛直線
へホモグラフィ変換し、
前記変換済画像において副部材が描画されている副領域を、副画像認識により複数認識し、
少なくとも、前記副領域のそれぞれの前記副画像認識における信頼度に基づいて、前記変換済画像の評価値を計算し、
前記計算された評価値を最適化するように、前記設定と、前記ホモグラフィ変換と、前記副画像認識と、前記評価値の計算と、を再実行する処理を繰り返す制御をし、
前記繰り返す制御が完了すると、前記変換済画像を出力する。

発明の効果

0013

本発明によれば、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像にホモグラフィ変換するのに好適な画像処理装置、画像処理方法、ならびに、プログラムを提供することができる。

図面の簡単な説明

0014

本発明の実施形態に係る画像処理装置の構成を示す説明図である。
本発明の実施形態に係る画像処理装置が実行する画像処理の制御の流れを示すフローチャートである。
原画像の例を示す説明図である。
原画像と消失点の関係を示す説明図である。
画像認識された主領域と縦横の消失点および縦横の通過直線の位置関係を示す説明図である。
縦横比が縦長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。
縦横比が中庸になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。
縦横比が横長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。
変換済画像において認識された副領域の位置関係を示す説明図である。
消失点及び通過直線を設定する設定処理の制御の流れを示すフローチャートである。
対の通過直線が交わる交点と、当該通過直線が通過する主領域と、の位置関係を示す説明図である。

実施例

0015

以下に、本発明の実施形態に係る画像処理装置について説明する。なお、以下に説明する画像処理装置は、本発明の要旨を説明するためのものであり、本発明の技術的な範囲は、以下に説明する実施形態には限られない。また、各実施例にて説明する要素は、用途に応じて適宜省略することも可能である。このように、本発明の原理にしたがって構成された画像処理装置、当該画像処理装置にて実行される画像処理方法、当該画像処理装置を実現するためにコンピュータにて実行されるプログラム、ならびに、これらと均等な発明は、いずれも、本発明の範囲に含まれる。

0016

(画像処理装置が実現されるハードウェア)
本実施形態に係る画像処理装置は、典型的には、プログラムをコンピュータが実行することによって実現される。ここで、コンピュータとしては、サーバコンピュータデスクトップ型コンピュータノート型コンピュータタブレット型コンピュータ等のように、コンピュータとして製造、販売等されているもののほか、携帯電話スマートホンタブレット電話等のように、電話機として製造、販売等されているもの、携帯ゲーム機家庭用エンターテインメント装置等のように、ゲーム機マルチメディア端末として製造、販売等されているものも含まれる。本実施形態に係る画像処理装置は、高性能据置型コンピュータ、クラウド型コンピュータ、スマートホン、携帯ゲーム機等の上に実現される。

0017

コンピュータにて実行されるプログラムや、当該プログラムにより参照される各種のデータは、当該コンピュータが通信可能に接続されたサーバにより配布、販売することができるほか、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk ROM)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable ROM)などの非一時的(non-transitory)な情報記録媒体に記録した上で、当該情報記録媒体を配布、販売等することも可能である。

0018

プログラムは、コンピュータが有するハードディスクソリッドステートドライブ、フラッシュメモリ、EEPROMなどの非一時的な情報記録媒体にインストールされる。すると、当該コンピュータにより、本実施形態における画像処理装置が実現されることになる。一般的には、コンピュータのCPU(Central Processing Unit)は、コンピュータのOS(Operating System)による管理の下、情報記録媒体からRAM(Random Access Memory)へプログラムを読み出してから、当該プログラムに含まれるコードを解釈、実行する。ただし、携帯ゲーム機などでは、CPUがアクセス可能メモリ空間内に情報記録媒体をマッピングできるようなアーキテクチャが採用されることがある。この場合には、プログラムのインストールや、RAMへの明示的なプログラムのロードは不要である。

0019

なお、プログラムの実行の過程で必要とされる各種情報は、CPUのレジスタやRAM、キャッシュ内に一時的(temporary)に記録しておくことができる。

0020

また、人工知能における深層学習技術においては、グラフィックス計算の機能を有するGPU(Graphics Processing Unit)をコプロセッサとして利用して、計算の並列化、高速化を図ることも可能である。

0021

画像処理装置における処理の結果は、ディスプレイタッチスクリーン等の表示装置に表示することができる。また、情報記録媒体に記録して、後日自身が利用したり、他の機器で参照することが可能である。さらに、コンピュータ通信網等を介して、処理の結果を配布、販売することができる。

0022

ユーザは、キーボードマウストラックボールタッチパッドジョイスティック等のゲーム装置用コントローラ、タッチスクリーン等の入力装置を介して、画像処理装置に対する各種の指示を与えることができる。

0023

なお、汎用のコンピュータでプログラムを実行することにより本実施形態の画像処理装置を実現するのではなく、専用の電子回路を構築して本実施形態の画像処理装置を構成することも可能である。

0024

この態様においても、コンピュータに実行させる実行用プログラムと同様に記述をしたり、実行用プログラムを比較的簡単な手直しをして移行することによって得られる定義プログラムを利用することができる。定義プログラムは、一見実行用プログラムのように見えるが、実際には、定義プログラムに記載された処理を順次実行するのではなく、定義プログラムに記載された処理を実現する電子的な素子配線したり、各素子における演算タイミングチャート等を決定したりするための仕様定義として機能する。

0025

このような態様では、プログラムに定められる仕様を満たすような電子回路が、FPGA(Field Programmable Gate Array)やASIC(Application Specific IntegratedCircuit)により構成され、当該電子回路は、当該プログラムに定められた機能を果たす専用機器として機能して、本実施形態の画像処理装置を実現することができる。

0026

以下では、理解を容易にするため、コンピュータがプログラムを実行することによって、本実施形態に係る画像処理装置が実現される態様について説明する。

0027

図1は、本発明の実施形態に係る画像処理装置の構成を示す説明図である。図2は、本発明の実施形態に係る画像処理装置が実行する画像処理の制御の流れを示すフローチャートである。以下、これらの図を参照して説明する。

0028

本実施形態に係る画像処理装置101は、主認識部102、設定部103、変換部104、副認識部105、評価部106、制御部107、出力部108を備える。本実施形態では、これら各部は、コンピュータがプログラムを実行することによって実現される。

0029

画像処理装置101に対しては、処理の対象となる原画像が与えられ、処理の結果として変換済画像が出力される。すなわち、本実施形態に係る画像処理が開始されると、は、画像処理装置101は、処理の対象とすべき原画像を取得する(ステップS151)。

0030

ここで、原画像とは、建物の外観等が描画された画像であり、典型的には、現実の街中を撮影した風景写真やコンピュータグラフィックス技術によって生成された仮想世界の街中を表す画像から、非特許文献1に開示される技術等により、建物を表す領域を抽出した画像である。なお、風景写真等に複数の異なる建物が写っている場合には、建物毎に原画像を作るものとする。すなわち、1つの原画像には、建物が1つだけ描かれていることになる。

0031

図3Aは、原画像の例を示す説明図である。図3Bは、原画像と消失点の関係を示す説明図である。以下、本図を参照して説明する。

0032

原画像201に描かれている建物202は、互いに連結された2つの平面状の外壁203L, 203Rを有している。一般には、平面状の外壁の数は2以上であるが、建物の形状は略直方体であることが多い。このため、ほとんどの場合、原画像に描かれる建物の外壁は2つである。

0033

原画像201には建物202の外観が透視投影的に描かれている。本図に示す原画像201は、いわゆる3点透視に相当しているため、3つの消失点204L, 204U, 204Rを想定することができる。ここで、外壁203Lに対しては、消失点204L, 204Uが対応付けられ、外壁203Rに対しては、消失点204U, 204Rが対応付けられている。一般には、一つの外壁に対する消失点は、左右のいずれかに1つ、もしくは、左右のいずれか、および、上方の2つである。

0034

つぎに、画像処理装置101の主認識部102は、原画像において、主部材が描画されている主領域を、主画像認識により複数認識する(ステップS152)。

0035

本例に示す原画像201においては、主部材として、ガラス窓を採用し、非特許文献1に開示される技術等を利用して画像認識をすることにより、原画像201においてガラス窓が描画されている領域を複数認識する。この際に、画像認識においては、認識された各領域に対応付けて、当該領域の認識がどの程度尤もらしいかを表すスコア(信頼度)も取得する。

0036

図4は、画像認識された主領域と縦横の消失点および縦横の通過直線の位置関係を示す説明図である。以下、本図を参照して説明する。本図に示すように、原画像201に対して、主画像認識により、複数の主領域301が同定される。外壁203L側の主領域301は、消失点204L, 204Uから見て略直線状に複数の列をなして並んでおり、外壁203R側の主領域301は、消失点204U, 204Rから見て略直線状に複数の列をなして並んでいる。

0037

画像処理装置101では、主領域301の配置に関するこの性質を利用して、消失点204L, 204U, 204Rの位置を推定する。

0038

すなわち、画像処理装置101の設定部103は、
原画像において、複数の主領域に対する
右側と左側のいずれかの側の横消失点と、
上方と下方のいずれかの方の縦消失点と、
横消失点と、複数の主領域のいずれか2以上と、を通過する複数の横通過直線と、
縦消失点と、複数の主領域のいずれか2以上と、を通過する複数の縦通過直線と、
を、複数の主領域のそれぞれが、
複数の横通過直線のうち、多くとも1つの横通過直線に通過され、
複数の縦通過直線のうち、多くとも1つの縦通過直線に通過される
ように設定する(ステップS153)。

0039

以下では、「右側と左側のいずれかの側」として、「右側」を例にあげ、「上方と下方のいずれかの方」として「上方」を例にあげて説明するが、「左側」「下方」についても、同様の処理を実行することができる。

0040

上述の通り、図4には、設定されるべき右側の横消失点、上方の縦消失点、横通過直線、縦通過直線の関係が示されている。

0041

建物202の右側の外壁203Rにて認識された主領域301の並びに対しては、右側の横消失点204R、および、上方の縦消失点204Uが設定される。

0042

右側の横消失点204Rを通過する横通過直線302Hは概ね横方向(典型的には、水平線に対する角度が±45度以内)に伸び、いずれも、建物の右側の外壁203Rにおいて認識された主領域301を複数通過している。なお、1つの主領域301を通過する横通過直線302Hは、多くとも1つに限られる。

0043

上側の縦消失点204Uに対する縦通過直線302Vは概ね縦方向(典型的には、鉛直線に対する角度が±45度以内)に伸び、いずれも、建物の右側の外壁203Rにおいて認識された主領域301を複数通過している。なお、1つの主領域301を通過する縦通過直線302Vは、多くとも1つに限られる。

0044

なお、建物を撮影した際の撮影方向等によっては、横通過直線302Hが互いに平行となる場合もある。この場合には、横消失点204Rは無限遠点となる。縦通過直線302Vが互いに平行となる場合もある。この場合には、縦消失点204Uは無限遠点となる。

0045

このように、ホモグラフィ変換において通常の点、消失点、無限遠点を統一的に取り扱うため、斉次座標(同次座標射影画像とも呼ばれる)を採用することができる。斉次座標では、平行線の交点である無限遠点も、通常の点と同様に、一つの点として表現することができる。すなわち、斉次座標による表現では、右側の横通過直線302Hが互いに平行であるか否かを問わず、これらの交点である横消失点204Rは1つになり、上方の縦通過直線302Vが互いに平行であるか否かを問わず、これらの交点である縦消失点204Uは1つになる。

0046

このように、設定部103は、主画像認識により認識された主領域301の並びに基づいて、縦横の通過直線および縦横の消失点を設定するが、その処理の詳細については、後述する。

0047

なお、原画像201における建物の右側の外壁203Rと、左側の外壁203Lと、は、主領域301の並びに基づいて、分割することが可能である。すなわち、右側の横消失点204Rから発する横通過直線302Hに通過される主領域301が存在する側は、右側の外壁203Rであり、左側の横消失点204Lから発する横通過直線302Hに通過される主領域301が存在する側は、左側の外壁203Lである。

0048

したがって、各主領域301を通過する横通過直線が左右いずれの横消失点204R, 204Lに対するものであるか、によって、各主領域301の左右を割り当てて、各主領域301に割り当てられた左右の分布に合うように、縦消失点204Uを通過する直線を、外壁203R, 203Lの境界に定めれば良い。

0049

この処理の詳細については、後述することとし、以下の処理では、上記の例に沿って、右側の外壁203Rを処理の対象として説明する。

0050

ついで、画像処理装置101の変換部104は、
原画像を変換済画像へホモグラフィ変換する(ステップS154)。ここで、変換部104は、原画像における
複数の横通過直線、および、
複数の縦通過直線
が、それぞれ、変換済画像における
複数の主水平線、および、
複数の主鉛直線
に変換されるように、ホモグラフィ変換する。

0051

ホモグラフィ変換は一般的な透視変換であり、横通過直線302Hおよび縦通過直線302Vを水平および鉛直に射影する変換には、縦横比に関する任意性がある。図5Aは、縦横比が縦長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。図5Bは、縦横比が中庸になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。図5Cは、縦横比が横長になるように原画像をホモグラフィ変換した変換済画像の一例を示す説明図である。これらの図に示すように、変換部104は、原画像に対して、縦横の通過直線が水平/鉛直になり、多くの主部材が水平/鉛直に整列するようなホモグラフィ変換をして変換済画像401を得る。典型的には、変換部104は、変換済画像401の高さは固定し、横幅を任意に変化させる変換を施すことになる。

0052

そこで、横幅をいずれか1つに妥当に定めるために、以下の処理を繰り返し行う。

0053

すなわち、画像処理装置101の副認識部105は、変換済画像において副部材が描画されている副領域を、副画像認識により複数認識する(ステップS155)。

0054

上記の例では、主部材としてガラス窓を採用している。副部材としては、これとは異なる部材を採用するのが典型的であるが、主部材と副部材で同じ部材を採用することも可能である。以下では、副部材として柵を利用した場合を例に掲げて説明する。図6は、変換済画像において認識された副領域の位置関係を示す説明図である。本図には、図5Bに示す変換済画像401において認識された副領域402が図示されている。

0055

そして、副画像認識では、主画像認識と同様に、副部材が描画されていると認識された副領域と、当該副領域の認識の尤もらしさを表すスコア(信頼度)が出力される。

0056

副画像認識では、既存の副部材を正面から撮影した画像に基いて学習を行うことが一般的である。すると、ホモグラフィ変換によって得られる変換済画像の縦横比が適切であればあるほど、副画像認識によって認識される副領域の個数が多くなり、各副領域の信頼度が高くなると考えられる。

0057

たとえば、図5A乃至5Cに示す例では、図5Bに表される外壁における柵が最も尤もらしい縦横比であり、副部材である柵を画像認識した場合には、同図が、最も柵の認識数が多く、評価値も高い、と考えられる。

0058

そこで、画像処理装置101の評価部106は、少なくとも、副領域のそれぞれの副画像認識における信頼度に基づいて、変換済画像の評価値を計算する(ステップS156)。たとえば、評価値として、
各副領域におけるスコアの総和、
各副領域におけるスコアの平均、
認識された副領域の数、
これらの重み付き線形和
これらの重み付き自乗
等を採用することができる。

0059

このほか、
複数の主水平線のいずれかに通過される主領域の数、および、当該数の主水平線あたりの平均ならびにまとまり(分散や標準偏差が小さければ小さいほど大きくなるパラメータ。たとえば、分散や標準偏差に-1を乗じて得られる値や、分散や標準偏差の逆数等)、
複数の主鉛直線のいずれかに通過される主領域の数、および、当該数の主鉛直線あたりの平均ならびにまとまり、
複数の主水平線の間隔のまとまり、
複数の主鉛直線の間隔のまとまり
などを、評価値を計算するためのパラメータに含めることとしても良い。

0060

さらに、変換済画像に描画された副領域については、
変換済画像において、
水平に伸び、複数の副領域のいずれか2以上を通過する複数の副水平線と、
鉛直に伸び、複数の副領域のいずれか2以上を通過する複数の副鉛直線と、
を、複数の副領域のそれぞれが、
複数の副水平線のうち、多くとも1つの副水平線に通過され、
複数の副鉛直線のうち、多くとも1つの副鉛直線に通過される
ように同定し、
評価値は、さらに、
複数の副水平線のいずれかに通過される副領域の数、および、当該数の副水平線あたりの平均ならびにまとまり、
複数の副鉛直線のいずれかに通過される副領域の数、および、当該数の副鉛直線あたりの平均ならびにまとまり、
複数の副水平線の間隔のまとまり、
複数の副鉛直線の間隔のまとまり
に基づいて計算されるように構成しても良い。

0061

変換済画像においては、各副部材を正面から見た様子が描かれていると想定できるので、各副領域は水平ならびに鉛直に整列し、その消失点は無限遠点になると考えられる。そこで、変換済画像に対して副水平線および副鉛直線を設定して、評価値の計算に寄与させることができる。

0062

ここで例示した評価値は、各パラメータが増加すると評価値も増加するが、評価値として、各パラメータが増加すると評価値が減少するコスト関数を採用することも可能である。

0063

さて、そして、画像処理装置101の制御部107は、計算された評価値の最適化が完了したか否かを判定し(ステップS157)、完了していなければ(ステップS157;No)、ステップS153に制御を戻して、消失点等の設定(ステップS153)と、ホモグラフィ変換(ステップS154)と、副画像認識(ステップS155)と、評価値の計算(ステップS156)と、を再実行する処理を繰り返す制御をする。

0064

ここで、最適化とは、評価値を最大化もしくは最小化することを意味する。上記のように、副領域の数や信頼度に増減連動する評価値を採用する場合には、評価値を最大化すれば良い。また、評価値を計算するためにコスト関数を採用する場合には、評価値を最小化する。

0065

また、横消失点204R、縦消失点204U、横通過直線302H、縦通過直線302Vの位置を微小に変化させたり、横通過直線302Hや縦通過直線302Vの一部をスキップしたり、横通過直線302Hや縦通過直線302Vを追加して本数を増やしたり等しても良い。

0066

たとえば、主水平線や主鉛直線の間隔ができるだけ揃うように、横通過直線302Hや縦通過直線302Vを間引いたり、副水平線や副鉛直線の間隔ができるだけ揃うように、一部をスキップすることとしても良い。

0067

さらに、最初に原画像201に対して設定した横消失点204R、縦消失点204U、横通過直線302H、縦通過直線302Vはそのまま固定して、制御部107による繰り返しではホモグラフィ変換の縦横比のみを変化させることとしても良い。この態様では、画像処理装置101の制御部107は、ステップS153ではなく、ステップS154に制御を戻すこととすれば良い。

0068

そして、最適化がなされていれば(ステップS157;Yes)、画像処理装置101の制御部107は、繰り返す制御を完了し、画像処理装置101の出力部108が、変換済画像を出力して(ステップS158)、本処理を終了する。ここで出力される変換済画像は、図5Bに示す例のように、縦横比が妥当で合理的であると考えられるものである。

0069

主水平線同士の間隔や主鉛直線の間隔のまとまり・ばらつきが評価値に反映され、これらがほぼ同じ間隔にならぶような場合には、主水平線および主鉛直線を基準に、変換済画像を分割することにより、コンピュータグラフィックス等にて利用可能なテクスチャ素材を変換済画像から得ることができる。

0070

主水平線や主鉛直線は、主領域に交差するように配置されるから、これらを基準に分割する際には、隣り合う主水平線同士のちょうど真中に位置する水平線、および、隣り合う主鉛直線同士のちょうど真中に位置する鉛直線によって、変換済画像を分割すると、主部材が切断されないテクスチャ素材を得ることができる。

0071

さらに、副水平線および副鉛直線を同定する態様では、主水平線と副水平線のいずれか間隔が広い方、および、主鉛直線と副鉛直線のいずれか間隔が広い方を基準に、変換済画像を分割することとしても良い。

0072

たとえば、建物の外壁において、1つの部屋につき、ガラス窓2枚に対して柵が1つ割り当てられている場合には、1つの部屋を、主鉛直線2本と副鉛直線1本が通過することとなり、副鉛直線同士の間隔の方が広いことになる。そこで、隣り合う副鉛直線同士のちょうど真中に位置する鉛直線が、部屋と部屋の境界に相当する。

0073

また、主水平線同士の間隔と、副水平線同士の間隔と、が等しい場合には、隣り合う主水平線の中間水平線と、隣り合う副水平線の中間水平線と、のいずれかを、部屋同士の水平方向の候補とすることができる。また、分割線は、主領域や副領域を通過しないことが望ましい。そこで、上記2つの中間水平線のうち、主領域も副領域も通過しないものがあれば、それを水平方向の分割線としても良い。

0074

また、主水平線同士の間隔と、副水平線同士の間隔と、に基づいて、水平方向の分割線の間隔を決めた後、水平方向の分割線と直近の主領域・副領域との距離ができるだけ離れるように、水平方向の分割線の位置を調製することとしても良い。

0075

このような処理を行うことで、建物の外壁の1部屋に相当すると想定されるテクスチャ素材を得ることができる。

0076

(消失点及び通過直線の設定)
上述の通り、設定部103は、右側の横消失点204R、左側の横消失点204L、上方の縦消失点204U、および、これらと主領域301を通過する横通過直線302Hおよび縦通過直線302Vを設定する。ここで、右側、左側、上方の消失点204ならびに当該消失点204と主領域301を通過する通過直線302を設定する手法は、その向きを右、左、上に反転もしくは90度回転させた線対称もしくは点対称の関係にある。そこで、以下では、右左上からいずれかの所望の消失点204を求めて、当該消失点204を主領域301とを通過する通過直線302を設定する手法を、まとめて説明する。

0077

以下、消失点204の所望の側・方が右側もしくは左側である場合は、傾きの基準線を水平線とする。この場合、基準線に対する傾きが±45度以内であれば、当該傾きは、鉛直よりも水平に近いことになる。また、上方である場合は、傾きの基準線を鉛直線とする。この場合、基準線に対する傾きが±45度以内であれば、当該傾きは、水平よりも鉛直に近いことになる。

0078

図7は、消失点及び通過直線を設定する設定処理の制御の流れを示すフローチャートである。以下、本図を参照して詳細に説明する。

0079

まず、設定部103は、すべての主領域301を未設定状態、すなわち、各主領域301を通過する直線がまったくない状態に初期化する(ステップS401)。

0080

ついで、設定部103は、未設定の主領域301からいずれか1つを注目主領域に選択する(ステップS402)。たとえば、所望の側・方から順に、主領域301を選択しても良いし、ランダムに選択しても良い。

0081

ついで、設定部103は、選択された注目主領域を通過する直線を想定して注目主領域の代表点(中心)回りに、基準線との傾きが±45度以内で回転させ、当該直線が通過する未設定の主領域301の数もしくは密度が最大になる角度に、同定する(ステップS403)。以下、この直線を最大直線と呼ぶ。

0082

同定された最大直線が、閾値以上の数の未設定の主領域301を通過する場合(ステップS404;Yes)、設定部103は、当該同定された最大直線を、当該通過する未設定の主領域301に対する通過直線として設定する(ステップS405)。

0083

ここで、閾値の最小値は2である。このほか、主画像認識によって得られた主領域の個数の平方根は、基準線の方向に並ぶ主画像の個数に連動していると想定することもできる。そこで、たとえば、主領域の総数の平方根に基いて閾値を定めても良い。たとえば、当該平方根の2割乃至5割程度を、当該閾値とすることができる。

0084

一方、同定された直線が、閾値未満の数の主領域301を通過する場合(ステップS404;No)、設定部103は、当該注目主領域301に対して、「通過直線なし」を設定する(ステップS406)。

0085

ステップS405, S406の後、未だ設定がなされていない主領域が残っていれば(ステップS407;Yes)、設定部103は、処理をステップS402に戻す。

0086

一方、全主領域について設定がなされていれば(ステップS407;No)、設定部103は、設定された全通過直線のすべての対について、以下の処理を繰り返す(ステップS408)。

0087

まず、当該対に係る通過直線の交点を求める(ステップS409)。そして、当該交点が、当該対に係る通過直線に対して設定されたすべての主領域に対して、所望の側にあるか否かを判定する(ステップS410)。

0088

たとえば、所望の側を右側と想定すると、右側の消失点204Rから発する横通過直線302Hを考えると、当該消失点204Rは、当該横通過直線302Hが通過する主領域301のいずれよりも右側にあるはずである。図8は、対の通過直線が交わる交点と、当該通過直線が通過する主領域と、の位置関係を示す説明図である。本図では、対の通過直線を実線で、その交点を黒丸で、対の通過直線に通過される主領域を正方形で、それぞれ表現している。

0089

たとえば本図(A)に示すように、交点にて交差する対の通過直線に通過される通過主領域のいずれよりも、当該交点が所望の側にあれば(ステップS410;Yes)、当該交点を所望の側の消失点の候補に追加する(ステップS411)。

0090

一方、たとえば本図(B)-(E)に示すように、交点よりも所望の側に通過主領域が存在し、交点の位置が上記の関係を満たさなければ(ステップS410;No)、当該交点は消失点の候補とはせず、無視して、繰り返し処理を継続する(ステップS412)。

0091

なお、ここで、所望の側を反対側に想定した場合に、交点の位置が上記の関係を満たすのであれば、当該交点は、反対側の消失点の候補とすることができる。

0092

このようにして、すべての対から消失点の候補が得られたら、当該候補同士の距離に基づいて、当該候補をクラスタリングして、最大クラスタを選ぶ(ステップS413)。ここでクラスタリングを行うことにより、主部材の一部が不規則に並んでいる場合や主画像認識にて誤認識が生じた場合に対応することができる。

0093

そして、最大クラスタの凸包の中から、所望の消失点を同定する(ステップS414)。たとえば、当該最大クラスタの重心を消失点に設定するのが最も簡単である。また、当該最大クラスタの重心に最も近い候補の交点を消失点として採用しても良い。

0094

次に、当該最大クラスタに含まれる候補にて交わる通過直線のそれぞれが設定された消失点を通過するように調整する(ステップS415)。

0095

微調整の手法としては、通過直線を平行移動してから、消失点を中心に回転させて、当該通過直線が通過するものとして設定された主領域をできるだけ通過するようにすれば良い。

0096

なお、平行移動や回転の量が設定された閾値よりも大きく、微調整の範囲を超える場合や、元の通過主領域の所定割合以上が通過できるような微調整ができない場合には、当該通過直線の設定を除去する。また、ある通過直線に係る交点がいずれも最大クラスタに含まれない場合は、その通過直線の設定を除去する。

0097

最後に、同定された消失点、および、微調整がされた通過直線を、所望の側の消失点および通過直線に設定して(ステップS416)、本処理を終了する。

0098

なお、所望の側として左右の一方を採用する処理において、上述のように、反対側の消失点の候補となる候補も収集し、反対側の候補についてもクラスタリング以降の処理を同様に実行すれば、左右両方の消失点および横通過直線を設定することができる。

0099

(建物の外壁の分割)
左右の消失点が求められると、各主領域には、当該主領域を通過する通過直線が左右の消失点のいずれに対するものか、に基づいて、左右のラベルを付すことができる。すなわち、左のラベルが振られた主領域は、左側の外壁203Lに位置する可能性が高く、右のラベルが振られた主領域は、右側の外壁203Rに位置する可能性が高い。

0100

そこで、上側の消失点を中心に境界線を回転させて、付された左右のラベルにできるだけ矛盾しないような回転角度を同定すれば、当該境界線によって、外壁203L, 203Rを分割することができる。

0101

たとえば、境界線を回転させて、左右のラベルが矛盾する個数の変化を調べ、当該個数が極小となる角度の中央値を、境界線の回転角度とすれば良い。

0102

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

0103

本発明によれば、建物の壁面等が描画された原画像を、当該壁面等を正面から見た様子を表す変換済画像にホモグラフィ変換するのに好適な画像処理装置、画像処理方法、ならびに、プログラムを提供することができる。

0104

101画像処理装置
102 主認識部
103 設定部
104 変換部
105 副認識部
106 評価部
107 制御部
108 出力部
201原画像
202建物
203L 左側の外壁
203R 右側の外壁
204U 上方の縦消失点
204R 右側の横消失点
204L 左側の横消失点
301主領域
302H 横通過直線
302V 縦通過直線
401変換済画像
402 副領域

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 富士フイルム株式会社の「 電子機器、省電力制御方法及びプログラム」が 公開されました。( 2019/08/29)

    【課題・解決手段】ユーザの使い易さと省電力との両立を実現することができる電子機器、省電力制御方法及びプログラムを提供すること。第1の電力モードでユーザの無操作状態が基準時間続いたか否かを判定する判定部... 詳細

  • 富士フイルム株式会社の「 ブレ補正装置、撮像装置、及びブレ補正方法」が 公開されました。( 2019/08/29)

    【課題・解決手段】本発明は、平行ブレを精度良く補正できるブレ補正装置、撮像装置、及びブレ補正方法を提供することを目的とする。本発明の一の態様に係るブレ補正装置によれば、算出した回転半径と、算出した回転... 詳細

  • 株式会社エクサの「 類似度判定プログラム」が 公開されました。( 2019/08/22)

    【課題】任意のパラメータ列について、あらかじめ特徴量を設計して抽出する作業を実施することなく、類似するパラメータ列を探索する類似度判定プログラムを提供する。【解決手段】本発明の類似度判定プログラムは、... 詳細

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ