図面 (/)

技術 作業機械用周辺監視装置

出願人 住友重機械工業株式会社
発明者 清田芳永
出願日 2013年3月19日 (7年11ヶ月経過) 出願番号 2013-057401
公開日 2014年9月29日 (6年4ヶ月経過) 公開番号 2014-183500
状態 特許登録済
技術分野 閉回路テレビジョンシステム 建設機械の構成部品
主要キーワード 動体検出センサ 円筒中心軸 曲面領域 人検出センサ エネルギ変化 障害物検出器 ジンバルロック 固定式クレーン
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2014年9月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

作業機械の周囲に存在する人の位置を作業機械の操作者直感的に把握できるようにする作業機械用周辺監視装置を提供すること。

解決手段

周辺監視装置100Aは、ショベル60の周囲にある複数の監視空間のそれぞれにおける人の存否を判定する人存否判定手段12と、ショベル60のキャブ64内に設置され、操作者に対する警報を出力する複数の警報出力部7を制御する警報制御手段13とを有する。警報制御手段13は、右側方監視空間ZRで人が存在すると判定された場合に右側方警報出力部7Rから警報を出力させ、左側方監視空間ZLで人が存在すると判定された場合に左側方警報出力部7Lから警報を出力させ、後方監視空間ZBで人が存在すると判定された場合に後方警報出力部7Bから警報を出力させる。

概要

背景

従来、ショベルに搭載される障害物検出器監視範囲内作業者が検出された場合に警報音を発する周辺監視装置が知られている(例えば、特許文献1参照。)。また、ショベルの周囲に設定した作業エリア内に進入した作業者が共同作業者であるか否かをその作業者のヘルメットに取り付けられたLEDの発光パターンから判断して警報音を出力させるか否かを決定する警報システムが知られている(例えば、特許文献2参照。)。また、フォークリフトとその近傍(周り)で作業を行う作業者との間で通信を行い、この通信に基づいて警報音の出力を制御する安全装置が知られている(例えば、特許文献3参照。)。

概要

作業機械の周囲に存在する人の位置を作業機械の操作者直感的に把握できるようにする作業機械用周辺監視装置を提供すること。周辺監視装置100Aは、ショベル60の周囲にある複数の監視空間のそれぞれにおける人の存否を判定する人存否判定手段12と、ショベル60のキャブ64内に設置され、操作者に対する警報を出力する複数の警報出力部7を制御する警報制御手段13とを有する。警報制御手段13は、右側方監視空間ZRで人が存在すると判定された場合に右側方警報出力部7Rから警報を出力させ、左側方監視空間ZLで人が存在すると判定された場合に左側方警報出力部7Lから警報を出力させ、後方監視空間ZBで人が存在すると判定された場合に後方警報出力部7Bから警報を出力させる。

目的

本発明は、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握できるようにする作業機械用周辺監視装置を提供する

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

作業機械用周辺監視装置であって、前記作業機械の周囲にある複数の監視空間のそれぞれにおける人の存否を判定する人存否判定手段と、前記作業機械の運転室に設置され、操作者に対する警報を出力する複数の警報出力部を制御する警報制御手段と、を有し、前記複数の監視空間は、該複数の監視空間のうちの2つである、第1監視空間及び第2監視空間を含み、前記複数の警報出力部は、該複数の警報出力部のうちの2つである、前記第1監視空間に対応する第1警報出力部、及び、前記第2監視空間に対応する第2警報出力部を含み、前記警報制御手段は、前記第1監視空間に人が存在すると判定された場合に前記第1警報出力部から警報を出力させ、前記第2監視空間に人が存在すると判定された場合に前記第2警報出力部から警報を出力させる、作業機械用周辺監視装置。

請求項2

前記複数の監視空間は、前記作業機械の後方にある後方監視空間、及び、側方にある側方監視空間を含み、前記複数の警報出力部は、前記運転室の後方に設置される後方警報出力部、及び、前記運転室の側方に設置される側方警報出力部を含み、前記後方警報出力部は、前記後方監視空間に対応し、前記側方警報出力部は、前記側方監視空間に対応する、請求項1に記載の作業機械用周辺監視装置。

請求項3

前記警報出力部は、音及び光の少なくとも一方による警報を出力する、請求項1又は2に記載の作業機械用周辺監視装置。

請求項4

前記人存否判定手段は、前記作業機械に取り付けられる複数の動体検出センサ又は画像センサの出力に基づいて、前記複数の監視空間のそれぞれにおける人の存否を判定する、請求項1乃至3の何れか一項に記載の作業機械用周辺監視装置。

技術分野

0001

本発明は、作業機械の周囲における人の存否を判定する機能を備える作業機械用周辺監視装置に関する。

背景技術

0002

従来、ショベルに搭載される障害物検出器監視範囲内作業者が検出された場合に警報音を発する周辺監視装置が知られている(例えば、特許文献1参照。)。また、ショベルの周囲に設定した作業エリア内に進入した作業者が共同作業者であるか否かをその作業者のヘルメットに取り付けられたLEDの発光パターンから判断して警報音を出力させるか否かを決定する警報システムが知られている(例えば、特許文献2参照。)。また、フォークリフトとその近傍(周り)で作業を行う作業者との間で通信を行い、この通信に基づいて警報音の出力を制御する安全装置が知られている(例えば、特許文献3参照。)。

先行技術

0003

特開2008−179940号公報
特開2009−193494号公報
特開2007−310587号公報

発明が解決しようとする課題

0004

しかしながら、特許文献1〜3の技術は何れも、所定範囲内に進入した作業者がショベル等の作業者から見て何れの方向に存在する場合であっても、同じブザー又はスピーカから警報音を出力する。そのため、ショベル等の操作者は、警報音を聞いたとしても、作業者が何れの方向に存在するのかを直感的に把握することができない。

0005

上述の点に鑑み、本発明は、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握できるようにする作業機械用周辺監視装置を提供することを目的とする。

課題を解決するための手段

0006

上述の目的を達成するために、本発明の実施例に係る作業機械用周辺監視装置は、前記作業機械の周囲にある複数の監視空間のそれぞれにおける人の存否を判定する人存否判定手段と、前記作業機械の運転室に設置され、操作者に対する警報を出力する複数の警報出力部を制御する警報制御手段と、を有し、前記複数の監視空間は、該複数の監視空間のうちの2つである、第1監視空間及び第2監視空間を含み、前記複数の警報出力部は、該複数の警報出力部のうちの2つである、前記第1監視空間に対応する第1警報出力部、及び、前記第2監視空間に対応する第2警報出力部を含み、前記警報制御手段は、前記第1監視空間に人が存在すると判定された場合に前記第1警報出力部から警報を出力させ、前記第2監視空間に人が存在すると判定された場合に前記第2警報出力部から警報を出力させる。

発明の効果

0007

上述の手段により、本発明は、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握できるようにする作業機械用周辺監視装置を提供することができる。

図面の簡単な説明

0008

本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。
画像生成装置が搭載されるショベルの構成例を示す図である。
入力画像投影される空間モデルの一例を示す図である。
空間モデルと処理対象画像平面との間の関係の一例を示す図である。
入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
座標対応付け手段による座標間の対応付けを説明するための図である。
平行線群の作用を説明するための図である。
補助線群の作用を説明するための図である。
処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。
出力画像の表示例(その1)である。
画像生成装置が搭載されるショベルの上面図(その1)である。
ショベルに搭載された3台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図(その1)である。
2つのカメラのそれぞれの撮像空間重複部分における物体消失を防止する画像消失防止処理を説明するための図である。
図12で示される出力画像と、図12の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図である。
ショベルに搭載された3台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図(その2)である。
人存否判定手段の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表(その1)である。
出力画像の表示例(その2)である。
画像生成装置が搭載されるショベルの上面図(その2)である。
人存否判定手段の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表(その2)である。
出力画像の表示例(その3)である。
出力画像の表示例(その4)である。
警報制御処理の流れを示すフローチャートである。
警報制御処理中に表示される出力画像の推移の一例を示す図である。
周辺監視装置の別の構成例を概略的に示すブロック図である。

実施例

0009

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

0010

図1は、本発明の実施例に係る画像生成装置100の構成例を概略的に示すブロック図である。

0011

画像生成装置100は、作業機械の周辺監視する作業機械用周辺監視装置の1例であり、制御部1、カメラ2、入力部3、記憶部4、表示部5、人検出センサ6、及び警報出力部7で構成される。具体的には、画像生成装置100は、作業機械に搭載されたカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を操作者に提示する。また、画像生成装置100は、人検出センサ6の出力に基づいて、提示すべき出力画像の内容を切り換える。

0012

図2は、画像生成装置100が搭載される作業機械としてのショベル60の構成例を示す図であり、ショベル60は、クローラ式下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。

0013

また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)及び人検出センサ6(右側方人検出センサ6R、後方人検出センサ6B)を備えている。なお、キャブ64内の操作者が視認し易い位置には表示部5が設置されている。また、キャブ64内には、右側内壁及び後側内壁に警報出力部7(右側方警報出力部7R、後方警報出力部7B)が設置されている。

0014

次に、画像生成装置100の各構成要素について説明する。

0015

制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。本実施例では、制御部1は、例えば、後述する座標対応付け手段10、画像生成手段11、人存否判定手段12、及び警報制御手段13のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。

0016

カメラ2は、ショベル60の周囲を映し出す入力画像を取得するための装置である。本実施例では、カメラ2は、例えば、キャブ64にいる操作者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる右側方カメラ2R及び後方カメラ2Bである(図2参照。)。また、カメラ2は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

0017

また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲アオリ補正した補正済みの入力画像を制御部1に対して出力する。また、カメラ2は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正する。

0018

入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイスキーボード等である。

0019

記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク光学ディスク、又は半導体メモリ等である。

0020

表示部5は、画像情報を表示するための装置であり、例えば、ショベル60のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。

0021

人検出センサ6は、ショベル60の周囲に存在する人を検出するための装置である。本実施例では、人検出センサ6は、例えば、キャブ64にいる操作者の死角となる領域に存在する人を検出できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)。

0022

人検出センサ6は、人以外の物体から人を区別して検出するセンサであり、例えば、対応する監視空間内のエネルギ変化を検出するセンサであって、焦電赤外線センサボロメータ型赤外線センサ赤外線カメラ等の出力信号を利用した動体検出センサを含む。本実施例では、人検出センサ6は、焦電型赤外線センサを用いたものであり、動体(移動する熱源)を人として検出する。また、右側方人検出センサ6Rの監視空間は、右側方カメラの撮像空間に含まれ、後方人検出センサ6Bの監視空間は、後方カメラ2Bの撮像空間に含まれる。

0023

なお、人検出センサ6は、カメラ2と同様、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられてもよく、上部旋回体63の前面、左側面、右側面、及び後面のうちの何れか1つに取り付けられていてもよく、全ての面に取り付けられていてもよい。

0024

警報出力部7は、ショベル60の操作者に対する警報を出力する装置である。例えば、警報出力部7は、音及び光の少なくとも一方を出力する警報装置であり、ブザー、スピーカ等の音声出力装置、LED、フラッシュライト等の発光装置を含む。本実施例では、警報出力部7は、警報音を出力するブザーであり、キャブ64の右側内壁に取り付けられる右側方警報出力部7R、及び、キャブ64の後側内壁に取り付けられる後方警報出力部7Bで構成される(図2参照。)。

0025

また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。

0026

「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換処理アフィン変換処理、歪曲変換処理視点変換処理等である。)の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって生成される。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

0027

「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。

0028

なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

0029

図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3左図は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3右図は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。

0030

図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内側の平面領域R1とその側面内側の曲面領域R2とを有する。

0031

また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。

0032

次に、制御部1が有する各種手段について説明する。

0033

座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段である。本実施例では、座標対応付け手段10は、例えば、予め設定された、或いは、入力部3を介して入力されるカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。なお、カメラ2に関する各種パラメータは、例えば、カメラ2の光学中心焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル射影方式等である。そして、座標対応付け手段10は、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。

0034

なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。

0035

画像生成手段11は、出力画像を生成するための手段である。本実施例では、画像生成手段11は、例えば、処理対象画像にスケール変換アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値色相値彩度値等である。

0036

また、画像生成手段11は、予め設定された、或いは、入力部3を介して入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

0037

なお、画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。

0038

また、画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。

0039

また、画像生成手段11は、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成手段11は、例えば、人存否判定手段12の判定結果に基づいて出力画像の生成に用いる入力画像を切り換える。なお、出力画像の生成に用いる入力画像の切り換え、及び、切り換えた入力画像に基づいて生成される出力画像についてはその詳細を後述する。

0040

人存否判定手段12は、作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定する手段である。本実施例では、人存否判定手段12は、人検出センサ6の出力に基づいてショベル60の周囲の人の存否を判定する。

0041

また、人存否判定手段12は、カメラ2が撮像した入力画像に基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。具体的には、人存否判定手段12は、オプティカルフローパターンマッチング等の画像処理技術を用いて作業機械の周囲の人の存否を判定してもよい。なお、人存否判定手段12は、カメラ2とは別の画像センサの出力に基づいて作業機械の周囲の人の存否を判定してもよい。

0042

或いは、人存否判定手段12は、人検出センサ6の出力とカメラ2等の画像センサの出力とに基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。

0043

警報制御手段13は、警報出力部7を制御する手段である。本実施例では、警報制御手段13は、人存否判定手段12の判定結果に基づいて警報出力部7を制御する。なお、警報制御手段13による警報出力部7の制御についてはその詳細を後述する。

0044

次に、座標対応付け手段10及び画像生成手段11による具体的な処理の一例について説明する。

0045

座標対応付け手段10は、例えば、ハミルトン四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。

0046

図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表される。空間モデルは、XYZ直交座標系における立体面として表される。

0047

最初に、座標対応付け手段10は、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸にそれぞれ一致させるようXYZ座標系を回転させる。空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するためである。なお、「−W軸」の符号「−」は、Z軸の方向と−W軸の方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。

0048

なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有するので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。

0049

上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。そのため、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

0050

ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、

0051

で表される。

0052

また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から

0053

で表されることとなる。

0054

なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、

0055

を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、

0056

で表され、四元数Qの共役四元数は、

0057

で表される。

0058

四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

0059

更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Qは、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。

0060

ここで、本実施例において、Z軸を−W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、

0061

で表される。

0062

また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、

0063

で表される。

0064

以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、

0065

で表される。また、四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け手段10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。

0066

空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。なお、線分CP'は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分である。

0067

また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける偏角φ、及び線分EP'の長さを算出する。なお、線分EP'は、平面Hと光軸Gとの交点Eと、座標P'とを結ぶ線分であり、偏角φは、平面HにおけるU'軸と線分EP'とが形成する角度である。

0068

カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。

0069

その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値除算する。これにより、座標対応付け手段10は、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。

0070

なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、

0071

0072

で表される。

0073

このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。

0074

また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

0075

なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。

0076

次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。

0077

図6は、座標対応付け手段10による座標間の対応付けを説明するための図である。F6Aは、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図である。座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。

0078

F6Aの例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。

0079

なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。

0080

具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。

0081

F6Bは、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図である。座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入する。そして、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。

0082

F6Bの例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付ける。

0083

なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることも可能である。しかしながら、F6Bの例では、平面領域R1と処理対象画像平面R3とが共通の平面となっている。そのため、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有する。

0084

このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。

0085

F6Cは、処理対象画像平面R3上の座標と、一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図である。画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。

0086

F6Cの例では、画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。

0087

なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。

0088

具体的には、画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。

0089

このようにして、画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

0090

なお、F6Dは、F6A〜F6Cを組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。

0091

次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。

0092

図7左図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図である。一方、図7右図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7左図及び図7右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。また、図7左図における座標La〜Ldのそれぞれの間隔は、図7右図における座標La〜Ldのそれぞれの間隔と等しい。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。

0093

図7左図及び図7右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。

0094

これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。

0095

次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。

0096

図8左図は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図である。一方、図8右図は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8左図及び図8右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。なお、図8左図の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。また、図8左図における座標La〜Ldのそれぞれの間隔は、図8右図における座標La〜Ldのそれぞれの間隔と等しい。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、図7と同様、この場合のZ軸を「再投影軸」と称する。

0097

図8左図及び図8右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。

0098

これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。

0099

このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置100は、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。

0100

次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されている。

0101

最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。

0102

具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得する。そして、座標対応付け手段10は、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。

0103

また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。

0104

その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。

0105

具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得する。そして、座標対応付け手段10は、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。

0106

その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。そして、制御部1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返す。

0107

一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御部1は、画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。

0108

具体的には、画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成手段11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。

0109

或いは、画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。

0110

或いは、画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得する。そして、画像生成手段11は、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出する。そして、画像生成手段11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出す。このようにして、画像生成手段11は、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。

0111

その後、制御部1の画像生成手段11は、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照する。そして、画像生成手段11は、入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿る。そして、画像生成手段11は、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値最大値最小値中間値等である。

0112

その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。そして、制御部1は、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返す。

0113

一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。

0114

なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。

0115

以上の構成により、画像生成装置100は、ショベル60の周囲の物体とショベル60との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。

0116

また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行する。これにより、画像生成装置100は、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置100は、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。

0117

また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。

0118

また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像アフィン変換画像又は歪曲変換画像)を生成することができる。

0119

同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。

0120

図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。

0121

画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。そして、画像生成装置100は、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。このようにして、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する出力画像を生成する。以下では、このような出力画像を周辺監視仮想視点画像と称する。

0122

なお、周辺監視用仮想視点画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成される。

0123

また、周辺監視用仮想視点画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成される。そのため、周辺監視用仮想視点画像は、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。

0124

なお、空間モデルMDの半径は、例えば、5メートルである。また、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に物体(例えば、作業者である。)が存在する場合にその物体が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。

0125

更に、周辺監視用仮想視点画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置してもよい。ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、周辺監視用仮想視点画像は、方位等の各種情報を含む額縁画像をその周囲に配置してもよい。

0126

次に、図11図14を参照しながら、画像生成装置100が生成する周辺監視用仮想視点画像の詳細について説明する。

0127

図11は、画像生成装置100を搭載するショベル60の上面図である。図11に示す実施例では、ショベル60は、3台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)と3台の人検出センサ6(左側方人検出センサ6L、右側方人検出センサ6R、及び後方人検出センサ6B)とを備える。なお、図11の一点鎖線で示す領域CL、CR、CBは、それぞれ、左側方カメラ2L、右側方カメラ2R、後方カメラ2Bの撮像空間を示す。また、図11点線で示す領域ZL、ZR、ZBは、それぞれ、左側方人検出センサ6L、右側方人検出センサ6R、後方人検出センサ6Bの監視空間を示す。また、ショベル60は、キャブ64内に、表示部5と、3台の警報出力部7(左側方警報出力部7L、右側方警報出力部7R、及び後方警報出力部7B)とを備える。

0128

なお、本実施例では、人検出センサ6の監視空間がカメラ2の撮像空間よりも狭いが、人検出センサ6の監視空間は、カメラ2の撮像空間と同じでもよく、カメラ2の撮像空間より広くてもよい。また、人検出センサ6の監視空間は、カメラ2の撮像空間内において、ショベル60の近傍に位置するが、ショベル60からより遠い領域にあってもよい。また、人検出センサ6の監視空間は、カメラ2の撮像空間が重複する部分において、重複部分を有する。例えば、右側方カメラ2Rの撮像空間CRと後方カメラ2Bの撮像空間CBとの重複部分において、右側方人検出センサ6Rの監視空間ZRは、後方人検出センサ6Bの監視空間ZBと重複する。しかしながら、人検出センサ6の監視空間は、重複が生じないように配置されてもよい。

0129

図12は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。

0130

画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する周辺監視用仮想視点画像を生成する。なお、周辺監視用仮想視点画像の中央に表示される画像は、ショベル60のCG画像60CGである。

0131

図12において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像空間と後方カメラ2Bの撮像空間との重複部分内に人物を捉えている(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)。

0132

しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複部分内の人物を消失させてしまう(出力画像内の一点鎖線で囲まれる領域R12参照。)。

0133

そこで、画像生成装置100は、重複部分に対応する出力画像部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域とを混在させ、重複部分内の物体が消失するのを防止する。

0134

図13は、2つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理の一例であるストライプパタン処理を説明するための図である。

0135

F13Aは、右側方カメラ2Rの撮像空間と後方カメラ2Bの撮像空間との重複部分に対応する出力画像部分を示す図であり、図12の点線で示す矩形領域R13に対応する。

0136

また、F13Aにおいて、灰色で塗り潰された領域PR1は、後方カメラ2Bの入力画像部分が配置される画像領域であり、領域PR1に対応する出力画像平面上の各座標には後方カメラ2Bの入力画像平面上の座標が対応付けられる。

0137

一方、白色で塗り潰された領域PR2は、右側方カメラ2Rの入力画像部分が配置される画像領域であり、部分PR2に対応する出力画像平面上の各座標には右側方カメラ2Rの入力画像平面上の座標が対応付けられる。

0138

本実施例では、領域PR1と領域PR2とが縞模様(ストライプパタン処理)を形成するように配置され、領域PR1と領域PR2とが状に交互に並ぶ部分の境界線は、ショベル60の旋回中心を中心とする水平面上の同心円によって定められる。

0139

F13Bは、ショベル60の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ2B及び右側方カメラ2Rの双方によって撮像される空間領域の現在の状況を示す。また、F13Bは、ショベル60の右斜め後方に棒状の立体物OBが存在することを示す。

0140

F13Cは、F13Bが示す空間領域を後方カメラ2B及び右側方カメラ2Rで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。

0141

具体的には、画像OB1は、後方カメラ2Bの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、後方カメラ2Bと立体物OBとを結ぶ線の延長方向伸長されたものを表す。すなわち、画像OB1は、後方カメラ2Bの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。

0142

また、画像OB2は、右側方カメラ2Rの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、右側方カメラ2Rと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB2は、右側方カメラ2Rの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。

0143

このように、画像生成装置100は、重複部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域PR1と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域PR2とを混在させる。その結果、画像生成装置100は、1つの立体物OBに関する2つの画像OB1及び画像OB2の双方を出力画像上に表示させ、立体物OBが出力画像から消失するのを防止する。

0144

図14は、図12の出力画像と、図12の出力画像に画像消失防止処理(ストライプパタン処理)を適用することで得られる出力画像との違いを表す対比図であり、図14上図が図12の出力画像を示し、図14下図が画像消失防止処理(ストライプパタン処理)を適用した後の出力画像を示す。図14上図における一点鎖線で囲まれる領域R12では人物が消失しているのに対し、図14下図における一点鎖線で囲まれる領域R14では人物が消失せずに表示されている。

0145

なお、画像生成装置100は、ストライプパタン処理の代わりに、メッシュパタン処理、平均化処理等を適用して重複部分内の物体の消失を防止してもよい。具体的には、画像生成装置100は、平均化処理により、2つのカメラのそれぞれの入力画像における対応する画素の値(例えば、輝度値である。)の平均値を、重複部分に対応する出力画像部分の画素の値として採用する。或いは、画像生成装置100は、メッシュパタン処理により、重複部分に対応する出力画像部分において、一方のカメラの入力画像における画素の値が対応付けられる領域と、他方のカメラの入力画像における画素の値が対応付けられる領域とを網模様(メッシュパタン)を形成するように配置させる。これにより、画像生成装置100は、重複部分内の物体が消失するのを防止する。

0146

次に、図15図17を参照して、画像生成手段11が、人存否判定手段12の判定結果に基づいて複数の入力画像から出力画像の生成に用いる入力画像を決定する処理(以下、「第1入力画像決定処理」とする。)について説明する。なお、図15は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図であり、図12に対応する。また、図16は、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表である。また、図17は、第1入力画像決定処理で決定された入力画像に基づいて生成される出力画像の表示例である。

0147

図15に示すように、画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像と、ショベル60から水平方向に周囲を見た画像とを同時に表示する周辺監視用仮想視点画像を生成する。

0148

また、図15において、左側方カメラ2L、後方カメラ2B、及び右側方カメラ2Rのそれぞれの入力画像は、作業者が3人ずつ存在する状態を示す。また、出力画像は、ショベル60の周囲に9人の作業者が存在する状態を示す。

0149

ここで、図16の対応表を参照して、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係について説明する。なお、○印は、人存否判定手段12により人が存在すると判定されたことを表し、×印は、人が存在しないと判定されたことを表す。

0150

パターン1は、左側方監視空間ZLのみで人が存在すると判定され、後方監視空間ZB及び右側方監視空間ZRでは人が存在しないと判定された場合に、左側方カメラ2Lの入力画像を用いて出力画像が生成されることを表す。このパターン1は、例えば、ショベル60の左側方のみに作業者(この例では3人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D1で示すように、3人の作業者を捉えた左側方カメラ2Lの入力画像をそのまま出力画像として出力する。なお、以下では、入力画像をそのまま用いた出力画像を「スルー画像」と称する。

0151

パターン2は、後方監視空間ZBのみで人が存在すると判定され、左側方監視空間ZL及び右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2Bの入力画像を用いて出力画像が生成されることを表す。このパターン2は、例えば、ショベル60の後方のみに作業者(この例では3人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D2で示すように、3人の作業者を捉えた後方カメラ2Bの入力画像をそのまま出力画像として出力する。

0152

パターン3は、右側方監視空間ZRのみで人が存在すると判定され、左側方監視空間ZL及び後方監視空間ZBでは人が存在しないと判定された場合に、右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターン3は、例えば、ショベル60の右側方のみに作業者(この例では3人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D3で示すように、3人の作業者を捉えた右側方カメラ2Rの入力画像をそのまま出力画像として出力する。

0153

パターン4は、左側方監視空間ZL及び後方監視空間ZBで人が存在すると判定され、右側方監視空間ZRでは人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン4は、例えば、ショベル60の左側方及び後方に作業者(この例では3人ずつ合計6人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D4で示すように、3つの入力画像に基づいて生成する6人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。

0154

パターン5は、後方監視空間ZB及び右側方監視空間ZRで人が存在すると判定され、左側方監視空間ZLでは人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン5は、例えば、ショベル60の後方及び右側方に作業者(この例では3人ずつ合計6人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D5で示すように、3つの入力画像に基づいて生成する6人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。

0155

パターン6は、左側方監視空間ZL及び右側方監視空間ZRで人が存在すると判定され、後方監視空間ZBでは人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン6は、例えば、ショベル60の左側方及び右側方に作業者(この例では3人ずつ合計6人)が存在する場合に採用される。画像生成手段11は、図17の出力画像D6で示すように、3つの入力画像に基づいて生成する6人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。

0156

パターン7は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在すると判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン7は、例えば、ショベル60の左側方、後方、及び右側方に作業者(この例では3人ずつ合計9人)が存在する場合に採用される。画像生成手段11は、図15の出力画像で示すように、3つの入力画像に基づいて生成する9人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。

0157

パターン8は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在しないと判定された場合に、3つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン8は、例えば、ショベル60の左側方、後方、及び右側方に作業者が存在しない場合に採用される。画像生成手段11は、図17の出力画像D7で示すように、3つの入力画像に基づいて生成する、周囲に作業者が存在しない状態を映し出す周辺監視用仮想視点画像を出力画像として出力する。

0158

上述のように、画像生成手段11は、3つの監視空間のうちの1つのみで人が存在すると判定された場合には、対応するカメラのスルー画像を出力画像として出力する。監視空間に存在する人を表示部5上にできるだけ大きく表示させるためである。一方で、画像生成手段11は、3つの監視空間の2つ以上で人が存在すると判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。1つのスルー画像のみではショベル60の周囲に存在する全ての人を表示部5上に表示させることができないためであり、また、周辺監視用仮想視点画像を出力すればショベル60の周囲に存在する全ての人を表示部5上に表示させることができるためである。また、画像生成手段11は、3つの監視空間の何れにも人が存在しないと判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。拡大表示すべき人が存在しないためであり、また、ショベル60の周囲に存在する人以外の他の物体を広く監視できるようにするためである。

0159

また、画像生成手段11は、スルー画像を表示する場合には、何れの入力画像が用いられたかが分かるようなテキストメッセージを表示してもよい。

0160

次に、図18図20を参照して、人存否判定手段12の判定結果に基づいて複数の入力画像から出力画像の生成に用いる入力画像を決定する処理の別の例(以下、「第2入力画像決定処理」とする。)について説明する。なお、図18は、人検出センサ6の別の配置例を示す、ショベル60の上面図であり、図11に対応する。また、図19は、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表であり、図16に対応する。また、図20は、第2入力画像決定処理で決定された入力画像に基づいて生成される出力画像の表示例である。

0161

図18に示す実施例では、ショベル60は、2台のカメラ2(右側方カメラ2R及び後方カメラ2B)と3台の人検出センサ6(右側方人検出センサ6R、右後方人検出センサ6BR、後方人検出センサ6B)とを備える。なお、図18の一点鎖線で示す領域CR、CBは、それぞれ、右側方カメラ2R、後方カメラ2Bの撮像空間を示す。また、図18の点線で示す領域ZR、ZBR、ZBは、それぞれ、右側方人検出センサ6R、右後方人検出センサ6BR、後方人検出センサ6Bの監視空間を示す。また、図18斜線ハッチングで示す領域Xは、撮像空間CRと撮像空間CBの重複部分(以下、「重複撮像空間X」とする。)を示す。

0162

図18の配置例は、監視空間ZR及び監視空間ZBが重複部分を有しない点、及び、重複撮像空間Xを含む監視空間ZBRを有する右後方人検出センサ6BRを備える点において図11の配置例と相違する。

0163

人検出センサ6のこの配置により、画像生成装置100は、重複撮像空間Xに人が存在するか否かを判定することができる。そして、画像生成装置100は、出力画像の生成に用いる入力画像の決定にその判定結果を利用し、より適切に出力画像の内容を切り換えることができる。

0164

ここで、図19の対応表を参照して、人存否判定手段12の判定結果と、出力画像の生成に用いる入力画像との対応関係について説明する。

0165

パターンAは、後方監視空間ZB、右側方監視空間ZBR、及び右側方監視空間ZRの全てで人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンAは、例えば、ショベル60の周囲に作業者が存在しない場合に採用される。画像生成手段11は、図17の出力画像D7で示すように、周囲に作業者が存在しない状態を映し出す周辺監視用仮想視点画像を2つの入力画像に基づいて生成し且つ出力する。

0166

パターンBは、後方監視空間ZBのみで人が存在すると判定され、右後方監視空間ZBR及び右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2Bの入力画像を用いて出力画像が生成されることを表す。このパターンBは、例えば、ショベル60の後方に1人の作業者P1が存在する場合に採用される。画像生成手段11は、図20の出力画像D10で示すように、作業者P1を捉えた後方カメラ2Bの入力画像をそのまま出力画像として出力する。

0167

パターンCは、右側方監視空間ZRのみで人が存在すると判定され、後方監視空間ZB及び右後方監視空間ZBRでは人が存在しないと判定された場合に、右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンCは、例えば、ショベル60の右側方に1人の作業者P2が存在する場合に採用される。画像生成手段11は、図20の出力画像D11で示すように、作業者P2を捉えた右側方カメラ2Rの入力画像をそのまま出力画像として出力する。

0168

パターンDは、右後方監視空間ZBRのみで人が存在すると判定され、後方監視空間ZB及び右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンDは、例えば、ショベル60の右後方の重複撮像空間X内に1人の作業者P3が存在する場合に採用される。画像生成手段11は、図20の出力画像D12で示すように、作業者P3を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、同じ作業者P3を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。

0169

パターンEは、後方監視空間ZB及び右後方監視空間ZBRで人が存在すると判定され、右側方監視空間ZRでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンEは、例えば、ショベル60の後方に1人の作業者P4が存在し、且つ、ショベル60の右後方の重複撮像空間X内に1人の作業者P5が存在する場合に採用される。画像生成手段11は、図20の出力画像D13で示すように、作業者P4及び作業者P5を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P4のみを捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。

0170

パターンFは、後方監視空間ZB及び右側方監視空間ZRで人が存在すると判定され、右後方監視空間ZBRでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンFは、例えば、ショベル60の後方に1人の作業者P6が存在し、且つ、ショベル60の右側方に別の1人の作業者P7が存在する場合に採用される。画像生成手段11は、図20の出力画像D14で示すように、作業者P6を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P7を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。

0171

パターンGは、右後方監視空間ZBR及び右側方監視空間ZRで人が存在すると判定され、後方監視空間ZBでは人が存在しないと判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンGは、例えば、ショベル60の右後方の重複撮像空間X内に1人の作業者P8が存在し、且つ、ショベル60の右側方に別の1人の作業者P9が存在する場合に採用される。画像生成手段11は、図20の出力画像D15で示すように、作業者P8を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P8及び作業者P9を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。

0172

パターンHは、後方監視空間ZB、右後方監視空間ZBR、及び右側方監視空間ZRの全てで人が存在すると判定された場合に、後方カメラ2B及び右側方カメラ2Rの入力画像を用いて出力画像が生成されることを表す。このパターンHは、例えば、ショベル60の右後方の重複撮像空間X内に1人の作業者P10が存在し、ショベル60の後方に別の1人の作業者P11が存在し、且つ、ショベル60の右側方にさらに別の1人の作業者P12が存在する場合に採用される。画像生成手段11は、図20の出力画像D16で示すように、作業者P10及び作業者P11を捉えた後方カメラ2Bの入力画像をそのまま第1出力画像(図中左側)として出力し、作業者P10及び作業者P12を捉えた右側方カメラ2Rの入力画像をそのまま第2出力画像(図中右側)として出力する。

0173

第2入力画像決定処理では、画像生成手段11は、1つのカメラの入力画像のみに人が写っている場合には、対応するカメラのスルー画像を出力画像として出力する。監視空間に存在する人を表示部5上にできるだけ大きく表示させるためである。一方で、画像生成手段11は、2つのカメラの入力画像の何れにも人が写っている場合には、2つのカメラのそれぞれのスルー画像を同時に且つ個別に出力する。1つのスルー画像のみではショベル60の周囲に存在する全ての人を表示部5上に表示させることができないためであり、また、周辺監視用仮想視点画像を出力すればスルー画像を出力する場合に比べて作業者を視認し難くしてしまうためである。また、画像生成手段11は、3つの監視空間の何れにも人が存在しないと判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。拡大表示すべき人が存在しないためであり、また、ショベル60の周囲に存在する人以外の他の物体を広く監視できるようにするためである。

0174

また、画像生成手段11は、スルー画像を表示する場合には、第1入力画像決定処理のときと同様に、何れの入力画像が用いられたかが分かるようなテキストメッセージを表示してもよい。

0175

次に、図21を参照して、第1入力画像決定処理又は第2入力画像決定処理で決定された入力画像に基づいて生成される出力画像の別の表示例について説明する。

0176

図21に示すように、画像生成手段11は、周辺監視用仮想視点画像とスルー画像とを同時に表示してもよい。例えば、画像生成手段11は、ショベル60の後方に作業者が存在する場合、図21の出力画像D20で示すように、周辺監視用仮想視点画像を第1出力画像とし、後方カメラ2Bのスルー画像を第2出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の下側に表示される。ショベル60の後方に作業者がいることをショベル60の操作者に直感的に把握させるためである。また、画像生成手段11は、ショベル60の左側方に作業者が存在する場合、図21の出力画像D21で示すように、周辺監視用仮想視点画像を第1出力画像とし、左側方カメラ2Lのスルー画像を第2出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の左側に表示される。同様に、画像生成手段11は、ショベル60の右側方に作業者が存在する場合、図21の出力画像D22で示すように、周辺監視用仮想視点画像を第1出力画像とし、右側方カメラ2Rのスルー画像を第2出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の右側に表示される。

0177

或いは、画像生成手段11は、周辺監視用仮想視点画像と複数のスルー画像とを同時に表示してもよい。例えば、画像生成手段11は、ショベル60の後方及び右側方に作業者が存在する場合、図21の出力画像D23で示すように、周辺監視用仮想視点画像を第1出力画像とし、後方カメラ2Bのスルー画像を第2出力画像とし、右側方カメラ2Rのスルー画像を第3出力画像として表示してもよい。この場合、後方カメラ2Bのスルー画像は、周辺監視用仮想視点画像の下側に表示され、右側方カメラ2Rのスルー画像は、周辺監視用仮想視点画像の右側に表示される。

0178

なお、画像生成手段11は、複数の出力画像を同時に表示する場合、出力画像の内容を表す情報を表示してもよい。例えば、画像生成手段11は、後方カメラ2Bのスルー画像の上或いはその周辺に「後方カメラスルー画像」等のテキストを表示してもよい。

0179

また、画像生成手段11は、複数の出力画像を同時に表示する場合、周辺監視用仮想視点画像の上に1又は複数のスルー画像をポップアップ表示させてもよい。

0180

以上の構成により、画像生成装置100は、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成装置100は、例えば、個別の入力画像の内容を縮小し且つ変更して表示する周辺監視用仮想視点画像と、個別の入力画像の内容をそのまま表示するスルー画像とを切り換える。このように、画像生成装置100は、ショベル60の周辺に作業者を検出した場合にスルー画像を表示することによって、周辺監視用仮想視点画像のみを表示するときに比べ、ショベル60の操作者がその作業者を見落とすのをより確実に防止できる。作業者が大きく且つ分かり易く表示されるためである。

0181

また、上述の実施例では、画像生成手段11は、1つのカメラの入力画像に基づいて出力画像を生成する場合、そのカメラのスルー画像を出力画像とする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成手段11は、後方カメラ2Bの入力画像に基づいて後方監視用仮想視点画像を出力画像として生成してもよい。

0182

また、上述の実施例では、画像生成装置100は、1つのカメラの撮像空間に1つの人検出センサの監視空間を対応させるが、複数のカメラの撮像空間に1つの人検出センサの監視空間を対応させてもよく、1つのカメラの撮像空間に複数の人検出センサの監視空間を対応させてもよい。

0183

また、上述の実施例では、画像生成装置100は、隣接する2つの人検出センサの監視空間の一部を重複させるが、監視空間を重複させないようにしてもよい。また、画像生成装置100は、1つの人検出センサの監視空間が別の人検出センサの監視空間に完全に含まれるようにしてもよい。

0184

また、上述の実施例では、画像生成装置100は、人存否判定手段12の判定結果が変わった瞬間に出力画像の内容を切り換える。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、人存否判定手段12の判定結果が変わってから出力画像の内容を切り換えるまでに所定の遅延時間を設定してもよい。出力画像の内容が頻繁に切り換えられるのを抑制するためである。

0185

次に、図22及び図23を参照しながら、警報制御手段13が人存否判定手段12の判定結果に基づいて警報出力部7を制御する処理(以下、「警報制御処理」とする。)について説明する。なお、図22は、警報制御処理の流れを示すフローチャートであり、図23は、警報制御処理中に表示される出力画像の推移の一例である。また、警報制御手段13は、所定周期で繰り返しこの警報制御処理を実行する。また、画像生成装置100は、図11に示すショベル60に搭載される。

0186

最初に、人存否判定手段12は、ショベル60の周囲に人が存在するか否かを判定する(ステップS11)。このとき、画像生成手段11は、例えば、図23の出力画像D31に示すような周辺監視用仮想視点画像を生成して表示する。

0187

ショベル60の周囲に人が存在すると判定した場合(ステップS11のYES)、人存否判定手段12は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRのうちの何れの監視空間に人が存在するかを判定する(ステップS12)。

0188

そして、人存否判定手段12は、左側方監視空間ZLのみに人が存在すると判定した場合(ステップS12の左側方)、警報制御手段13に対して左側方検出信号を出力する。そして、左側方検出信号を受けた警報制御手段13は、左側方警報出力部7Lに対して警報開始信号を出力し、左側方警報出力部7Lから警報を出力させる(ステップS13)。また、画像生成手段11は、例えば、図23の出力画像D32に示すような左側方カメラ2Lのスルー画像を出力画像として表示する。或いは、画像生成手段11は、例えば、図23の出力画像D33に示すように、周辺監視用仮想視点画像を第1出力画像(図中右側の画像)とし、左側方カメラ2Lのスルー画像を第2出力画像(図中左側の画像)として表示してもよい。

0189

また、人存否判定手段12は、後方監視空間ZBのみに人が存在すると判定した場合(ステップS12の後方)、警報制御手段13に対して後方検出信号を出力する。そして、後方検出信号を受けた警報制御手段13は、後方警報出力部7Bに対して警報開始信号を出力し、後方警報出力部7Bから警報を出力させる(ステップS14)。また、画像生成手段11は、例えば、後方カメラ2Bのスルー画像を出力画像として表示する。或いは、画像生成手段11は、周辺監視用仮想視点画像を第1出力画像とし、後方カメラ2Bのスルー画像を第2出力画像として表示してもよい。

0190

また、人存否判定手段12は、右側方監視空間ZRのみに人が存在すると判定した場合(ステップS12の右側方)、警報制御手段13に対して右側方検出信号を出力する。そして、右側方検出信号を受けた警報制御手段13は、右側方警報出力部7Rに対して警報開始信号を出力し、右側方警報出力部7Rから警報を出力させる(ステップS15)。また、画像生成手段11は、例えば、右側方カメラ2Rのスルー画像を出力画像として表示する。或いは、画像生成手段11は、周辺監視用仮想視点画像を第1出力画像とし、右側方カメラ2Rのスルー画像を第2出力画像として表示してもよい。

0191

一方、ショベル60の周囲に人が存在しないと判定した場合(ステップS11のNO)、人存否判定手段12は、警報制御手段13に対して検出信号を出力することなく、今回の警報制御処理を終了する。

0192

なお、警報制御手段13は、人存否判定手段12により左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRのうちの2つ以上の監視空間で人が存在すると判定された場合には、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rのうちの対応する2つ以上の警報出力部から警報を出力させる。また、画像生成手段11は、人存否判定手段12により左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRのうちの2つ以上の監視空間で人が存在すると判定された場合には、上述の実施例で説明されたような方法で出力画像を表示する。具体的には、画像生成手段11は、図23の出力画像D34で示すように周辺監視用仮想視点画像のみを表示してもよい。また、画像生成手段11は、図23の出力画像D35で示すように2つ以上のスルー画像を同時に表示してもよい。また、画像生成手段11は、図23の出力画像D36で示すように周辺監視用仮想視点画像と2つ以上のスルー画像とを同時に表示してもよい。

0193

また、画像生成装置100は、警報出力部7から警報音を出力する構成では、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rのそれぞれの警報音の内容(高低出力間隔等)を異ならせるようにしてもよい。同様に、画像生成装置100は、警報出力部7から光を出力する構成では、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rのそれぞれの光の内容(色、発光間隔等)を異ならせるようにしてもよい。警報の内容の違いによりショベル60の周辺に存在する人の大まかな位置をショベル60の操作者がより直感的に認識できるようにするためである。

0194

以上の構成により、画像生成装置100は、ショベル60の周囲に存在する作業者の大まかな位置をショベル60の操作者が直感的に把握できるようにする。例えば、画像生成装置100は、作業者の正確な位置を検出しなくとも、ショベル60の左側方、後方、右側方の何れに作業者が存在するかを判定しさえすれば、その判定した方向をショベル60の操作者に直感的に伝えることができる。

0195

なお、上述の実施例では、警報出力部7は、独立した3つのブザーで構成されるが、複数のスピーカを含むサラウンドシステムを用いて音を定位させてもよい。

0196

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

0197

例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。

0198

また、画像生成装置100は、バケットアームブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及び人検出センサと共に搭載される。そして、画像生成装置100は、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置100は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。或いは、画像生成装置100は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。そして、画像生成装置100は、それら作業機械の操作を支援する操作支援システムを構成してもよい。

0199

また、周辺監視装置は、カメラ2及び表示部5を含む画像生成装置100を1例として説明されたが、カメラ2、表示部5等による画像表示機能を含まない装置として構成されてもよい。例えば、警報制御処理を実行する装置としての周辺監視装置100Aは、図24に示すように、カメラ2、入力部3、記憶部4、表示部5、座標対応付け手段10、及び画像生成手段11を省略してもよい。

0200

1・・・制御部 2・・・カメラ2L・・・左側方カメラ2R・・右側方カメラ2B・・後方カメラ3・・・入力部 4・・・記憶部 5・・・表示部 6・・・人検出センサ6L・・・左側方人検出センサ 6R・・・右側方人検出センサ 6B・・・後方人検出センサ 7・・・警報出力部 7L・・・左側方警報出力部 7B・・・後側方警報出力部 7R・・・右側方警報出力部 10・・・座標対応付け手段 11・・・画像生成手段 12・・・人存否判定手段 13・・・警報制御手段 40・・・入力画像・空間モデル対応マップ41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル61・・・下部走行体62・・・旋回機構63・・・上部旋回体64・・・キャブ100・・・画像生成装置100A・・・周辺監視装置

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ