図面 (/)

技術 投写型表示装置及び投写制御方法

出願人 富士フイルム株式会社
発明者 藤田広大
出願日 2016年3月9日 (4年9ヶ月経過) 出願番号 2017-540528
公開日 2018年3月1日 (2年9ヶ月経過) 公開番号 WO2017-047131
状態 特許登録済
技術分野 電気信号の光信号への変換
主要キーワード 遮蔽情報 作業用機械 外部物体 くい環 乗り物用 燃料情報 投写範囲 遮蔽状態
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年3月1日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (15)

課題・解決手段

投写面投写される画像光物体によって遮られている状態でも、乗り物操作者に的確に情報提示を行うことが可能な投写型表示装置投写制御方法を提供する。ウインドシールド(5)を有する建設機械(100)に搭載されるHUD(10)は、ウインドシールド(5)に投写されている画像光が物体により遮られている状態であることを検知した場合に、この状態にあることを報知する。

概要

背景

自動車等の乗り物ウインドシールド、または、ウインドシールドの手前付近に配置されるコンバイナスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のHUD(Head−up Display)が知られている(例えば特許文献1参照)。このHUDによれば、利用者は、HUDから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者視認させることができる。

概要

投写面に投写される画像光物体によって遮られている状態でも、乗り物の操作者に的確に情報提示を行うことが可能な投写型表示装置投写制御方法を提供する。ウインドシールド(5)を有する建設機械(100)に搭載されるHUD(10)は、ウインドシールド(5)に投写されている画像光が物体により遮られている状態であることを検知した場合に、この状態にあることを報知する。

目的

特開2013−67209号公報




建設機械においては、自動車等の輸送を主目的とする

効果

実績

技術文献被引用数
0件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光乗り物に搭載された投写面投写する投写表示部と、前記画像光の少なくとも一部が物体により遮られている状態を検知する検知部と、前記画像光の少なくとも一部が物体により遮られている状態が前記検知部により検知された場合、報知処理を行う制御部と、を備える投写型表示装置

請求項2

請求項1記載の投写型表示装置であって、前記制御部が行う報知処理は、前記状態にあることを報知する処理である投写型表示装置。

請求項3

請求項2記載の投写型表示装置であって、前記制御部は、前記画像情報において、前記画像光のうちの前記物体により遮られている部分を除く部分に対応する情報を、前記状態にあることを示す報知情報を含む情報に変更することによって、前記状態にあることを報知する投写型表示装置。

請求項4

請求項2記載の投写型表示装置であって、前記制御部は、音により前記報知を行う投写型表示装置。

請求項5

請求項1記載の投写型表示装置であって、前記制御部が行う報知処理は、前記画像情報のうちの前記画像光における前記物体により遮られている部分に対応する情報に含まれる前記乗り物の操作者提示すべき遮蔽情報を報知する処理である投写型表示装置。

請求項6

請求項5記載の投写型表示装置であって、前記制御部は、前記画像情報のうちの前記画像光における前記物体により遮られている部分を除く部分に対応する情報に前記遮蔽情報を含ませることによって、前記遮蔽情報を報知する投写型表示装置。

請求項7

請求項5記載の投写型表示装置であって、前記制御部は、音により前記遮蔽情報を報知する投写型表示装置。

請求項8

請求項5記載の投写型表示装置であって、前記制御部は、前記遮蔽情報を前記乗り物に搭載される表示装置に表示させることによって前記遮蔽情報を報知する投写型表示装置。

請求項9

請求項1〜8のいずれか1項記載の投写型表示装置であって、前記投写面は前記乗り物のウインドシールドであり、前記投写面前方の外部物体の位置を検知する外部物体検知部を更に備え、前記制御部は、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲と、前記外部物体検知部により検知される外部物体の前記投写面における位置と、に基づいて、前記報知処理を行うか否かを決定する投写型表示装置。

請求項10

請求項9記載の投写型表示装置であって、前記制御部は、前記外部物体検知部により検知された外部物体の位置が、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲外にある場合に前記報知処理を禁止する投写型表示装置。

請求項11

請求項1〜10のいずれか1項記載の投写型表示装置であって、前記乗り物は作業用機械である投写型表示装置。

請求項12

請求項1〜11のいずれか1項記載の投写型表示装置であって、前記投写表示部は、前記乗り物の室内空間において、前記乗り物の運転席よりも前記投写面から遠い位置に配置される投写型表示装置。

請求項13

光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写制御方法であって、前記画像光の少なくとも一部が物体により遮られている状態を検知する検知ステップと、前記画像光の少なくとも一部が物体により遮られている状態が前記検知ステップにより検知された場合、報知処理を行う制御ステップと、を備える投写制御方法。

請求項14

請求項13記載の投写制御方法であって、前記報知処理は、前記状態にあることを報知する処理である投写制御方法。

請求項15

請求項14記載の投写制御方法であって、前記制御ステップは、前記画像情報において、前記画像光のうちの前記物体により遮られている部分を除く部分に対応する情報を、前記状態にあることを示す報知情報を含む情報に変更することによって、前記状態にあることを報知する投写制御方法。

請求項16

請求項14記載の投写制御方法であって、前記制御ステップは、音により前記報知を行う投写制御方法。

請求項17

請求項13記載の投写制御方法であって、前記報知処理は、前記画像情報のうちの前記画像光における前記物体により遮られている部分に対応する情報に含まれる前記乗り物の操作者に情報提示を行うための遮蔽情報を報知する処理である投写制御方法。

請求項18

請求項17記載の投写制御方法であって、前記制御ステップは、前記画像情報のうちの前記画像光における前記物体により遮られている部分を除く部分に対応する情報に前記遮蔽情報を含ませることによって、前記遮蔽情報を報知する投写制御方法。

請求項19

請求項17記載の投写制御方法であって、前記制御ステップは、音により前記遮蔽情報を報知する投写制御方法。

請求項20

請求項17記載の投写制御方法であって、前記制御ステップは、前記遮蔽情報を前記乗り物に搭載される表示装置に表示させることによって前記遮蔽情報を報知する投写制御方法。

請求項21

請求項13〜20のいずれか1項記載の投写制御方法であって、前記投写面は前記乗り物のウインドシールドであり、前記投写面前方の外部物体の位置を検知する外部物体検知ステップを更に備え、前記制御ステップは、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲と、前記外部物体検知ステップにより検知される外部物体の前記投写面における位置と、に基づいて、前記報知処理を行うか否かを決定する投写制御方法。

請求項22

請求項21記載の投写制御方法であって、前記制御ステップは、前記外部物体検知ステップにより検知された外部物体の位置が、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲外にある場合に、前記報知処理を禁止する投写制御方法。

請求項23

請求項13〜22のいずれか1項記載の投写制御方法であって、前記乗り物は作業用機械である投写制御方法。

技術分野

0001

本発明は、投写型表示装置及び投写制御方法に関する。

背景技術

0002

自動車等の乗り物ウインドシールド、または、ウインドシールドの手前付近に配置されるコンバイナスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のHUD(Head−up Display)が知られている(例えば特許文献1参照)。このHUDによれば、利用者は、HUDから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者視認させることができる。

先行技術

0003

特開2013−67209号公報

発明が解決しようとする課題

0004

建設機械においては、自動車等の輸送を主目的とする乗り物とは違い、操作者視線移動が特に縦方向において頻繁に行われる。また、輸送を主目的とする乗り物と違って操作者の縦方向における視線移動範囲は広い。また、建設機械では、操作対象となるパワーショベルおよび/またはバケット動きに合わせて操作者の視線が動くことになる。このような事情から、操作席前方にウインドシールドがある建設機械においては、このウインドシールドの広範囲にて虚像および実像を視認できるようにすることが好ましい。

0005

このようにウインドシールドの広範囲に画像光が投写されるようになると、操作者の身体の一部(例えば手および/または頭等)が画像光を遮る可能性が高くなる。HUDによって操作者に提示される情報は、常時表示が必要な常在情報と、警告表示等のように特定の条件下でのみ表示が必要な非常在情報とが存在する。

0006

非常在情報が表示される範囲に投写される画像光が操作者の身体の一部によって遮られていることを想定する。この場合、この範囲には常に情報が表示されているわけではないため、画像光が遮られていることを操作者が認識することは難しい。この状態で非常在情報を表示するための画像光が投写されてしまうと、操作者は非常在情報を確認することができない。

0007

常在情報が表示される範囲であっても、周囲が明るい場合等、情報自体の視認性が低くなる状況においては、操作者は、常在情報が身体の一部によって遮られていることに気付かない可能性がある。

0008

ここでは建設機械を例に説明したが、画像光が利用者の身体の一部等によって遮られる状態は、建設機械およびトラクタ等の農作機械等の作業用機械および輸送を主目的とする乗り物に搭載されるHUDにおいても同様に発生しうる。そして、こういった乗り物であっても、運転に集中している環境下においては、画像光が利用者の身体の一部等によって遮られている状態に気付くことは難しい。

0009

特許文献1には、画像光が利用者の身体によって遮られる可能性が高くなる位置である天井部分にHUDが設けられた車両が記載されている。しかし、画像光が遮られている状態を利用者が認識するのが難しいという課題については考慮されていない。

0010

本発明は、上記事情に鑑みてなされたものであり、投写面に投写される画像光が物体によって遮られている状態でも、乗り物の操作者に的確に情報提示を行うことが可能な投写型表示装置と投写制御方法を提供することを目的とする。

課題を解決するための手段

0011

本発明の投写型表示装置は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写表示部と、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知部と、上記画像光の少なくとも一部が物体により遮られている状態が上記検知部により検知された場合、報知処理を行う制御部と、を備えるものである。

0012

本発明の投写制御方法は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写制御方法であって、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知ステップと、上記画像光の少なくとも一部が物体により遮られている状態が上記検知ステップにより検知された場合、報知処理を行う制御ステップと、を備えるものである。

発明の効果

0013

本発明によれば、投写面に投写される画像光が物体によって遮られている状態でも、乗り物の操作者に的確に情報提示を行うことが可能な投写型表示装置と投写制御方法を提供することができる。

図面の簡単な説明

0014

本発明の投写型表示装置の一実施形態であるHUD10を搭載する建設機械100の概略構成を示す模式図である。
図1に示す建設機械100における運転室内の構成例を示す図である。
図1に示すHUD10を構成するユニット2の内部構成を示す模式図である。
図1に示すHUD10を構成するユニット3の内部構成を示す模式図である。
図1に示すHUD10を構成するユニット4の内部構成を示す模式図である。
図3に示すユニット2を構成するメイン制御部70の機能ブロックを示す図である。
画像光遮蔽状態を示す模式的に示す図である。
第一の報知処理について説明するための模式図である。
第一の報知処理について説明するための模式図である。
第三の報知処理について説明するための模式図である。
図1に示すHUD10の動作を説明するためのフローチャートである。
図3に示すメイン制御部70の変形例であるメイン制御部70Aの機能ブロックを示す図である。
メイン制御部70Aの機能を説明するための模式図である。
図12に示すメイン制御部70Aを有するHUD10の動作を説明するためのフローチャートである。

実施例

0015

以下、本発明の実施形態について図面を参照して説明する。

0016

図1は、本発明の投写型表示装置の一実施形態であるHUD10を搭載する建設機械100の概略構成を示す模式図である。

0017

図1に示すHUD10は、建設機械および農作機械等の作業用機械、自動車、電車航空機、又は船舶等の乗り物に搭載して用いられる。

0018

HUD10は、運転室内において運転席1の上方かつ後方に配置されるユニット2と、運転室内において運転席1後方に配置されるユニット3と、運転室内において運転席1の下方かつ後方に配置されるユニット4と、を備える。運転室とは、建設機械100の室内空間のことを言う。

0019

ユニット2〜4は、建設機械100の運転室内に、重力方向(図1の上下方向)で離間して設けられている。ユニット2〜4は、それぞれ、建設機械100のウインドシールド5の前方において虚像を視認可能な条件により画像光を投写する。

0020

建設機械100の操作者は、ウインドシールド5に投写され、ここで反射された画像光を見ることによって、建設機械100の操作を支援するための絵および文字等の情報を視認することができる。また、ウインドシールド5は、ユニット2〜4の各々から投写された画像光を反射すると同時に、外部(外界)からの光を透過する機能を持つ。このため、操作者は、ユニット2〜4の各々から投写された画像光に基づく虚像を外界の景色に重ねて視認することができる。

0021

HUD10では、ユニット2〜4が、建設機械100の運転室内に、重力方向で離間して設けられていることにより、ウインドシールド5の広範囲にわたって操作者に虚像を提示することができる。

0022

建設機械100の操作者上方の運転室内には撮像部6が設けられている。撮像部6は、ユニット2〜4の各々から投写される画像光の光路を全てカバーする運転室内の範囲を撮像する。

0023

撮像部6は、例えば2つの撮像素子を用いたステレオカメラが用いられる。撮像部6は、HUD10を構成するユニット2と無線又は有線により接続されており、運転室内を撮像することによって得られた撮像画像データをユニット2に転送する。

0024

建設機械100のダッシュボード7には、液晶ディスプレイ等からなる表示装置8が設けられている。表示装置8は、HUD10を構成するユニット2と無線又は有線により接続されており、ユニット2の制御によって情報を表示する。

0025

建設機械100の運転室の天井には、スピーカ等からなる音出力装置9が設けられている。音出力装置9は、HUD10を構成するユニット2と無線又は有線により接続されており、ユニット2の制御によって音を出力する。

0026

図2は、図1に示す建設機械100における運転室内の構成例を示す模式図である。図2では、ウインドシールド5を運転席1から見た正面図を示している。

0027

建設機械100は、機体前方中央部に、アーム21及びバケット22を備える油圧ショベルである。

0028

運転室は、フロントウィンドウとしてのウインドシールド5、右サイドウィンドウ23、左サイドウィンドウ24等の透明ウィンドウに取り囲まれている。

0029

運転室には、少なくとも、アーム21の曲げ伸ばしを操作するための左操作レバー25、並びに、バケット22の掘削および開放を操作するための右操作レバー26等が運転席1回りに設けられている。

0030

ウインドシールド5には、第一の投写範囲5A、第二の投写範囲5B、第三の投写範囲5Cの3つの投写範囲が割り当てられており、これらの投写範囲は、重力方向(縦方向)に並んで配置されている。ウインドシールド5におけるこれら3つの投写範囲を合わせた範囲が、建設機械100に搭載された投写面を構成する。

0031

第一の投写範囲5Aは、ユニット2から投写された画像光が投写される領域であり、この画像光を反射すると同時に、外部(外界)からの光を透過する。

0032

第二の投写範囲5Bは、ユニット3から投写された画像光が投写される領域であり、この画像光を反射すると同時に、外部(外界)からの光を透過する。

0033

第三の投写範囲5Cは、ユニット4から投写された画像光が投写される領域であり、この画像光を反射すると同時に、外部(外界)からの光を透過する。

0034

図3は、図1に示すHUD10を構成するユニット2の内部構成を示す模式図である。

0035

ユニット2は、光源ユニット40と、駆動部45と、投写光学系46と、拡散板47と、反射ミラー48と、拡大鏡49と、光源制御部40A及び駆動部45を制御するシステム制御部60と、メイン制御部70と、を備えている。

0036

光源ユニット40は、光源制御部40Aと、赤色光を出射する赤色光源であるR光源41rと、緑色光を出射する緑色光源であるG光源41gと、青色光を出射する青色光源であるB光源41bと、ダイクロイックプリズム43と、R光源41rとダイクロイックプリズム43の間に設けられたコリメータレンズ42rと、G光源41gとダイクロイックプリズム43の間に設けられたコリメータレンズ42gと、B光源41bとダイクロイックプリズム43の間に設けられたコリメータレンズ42bと、光変調素子44と、を備えている。

0037

ダイクロイックプリズム43は、R光源41r、G光源41g、及びB光源41bの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム43は、コリメータレンズ42rによって平行光化された赤色光を透過させて光変調素子44に出射する。また、ダイクロイックプリズム43は、コリメータレンズ42gによって平行光化された緑色光を反射させて光変調素子44に出射する。さらに、ダイクロイックプリズム43は、コリメータレンズ42bによって平行光化された青色光を反射させて光変調素子44に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

0038

R光源41r、G光源41g、及びB光源41bは、それぞれ、レーザLED(Light Emitting Diode)等の発光素子が用いられる。本実施形態では、光源ユニット40の光源として、R光源41rとG光源41gとB光源41bの3つの光源を含むHUDを例にするが、この光源の数は1つ、2つまたは4つ以上であってもよい。

0039

光源制御部40Aは、R光源41r、G光源41g、及びB光源41bの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってR光源41r、G光源41g、及びB光源41bから光を順次出射させる制御を行う。

0040

光変調素子44は、ダイクロイックプリズム43から出射された光を画像情報である投写用画像データに基づいて空間変調し、投写用画像データに応じた光(赤色画像光、青色画像光、及び緑色画像光)を投写光学系46に出射する。

0041

光変調素子44としては、例えば、LCOS(Liquid crystal on silicon)、DMD(Digital Micromirror Device)、MEMS(Micro Electro Mechanical Systems)素子、及び液晶表示素子等を用いることができる。

0042

駆動部45は、システム制御部60から入力される投写用画像データにしたがって光変調素子44を駆動し、投写用画像データに応じた光(赤色画像光、青色画像光、及び緑色画像光)を投写光学系46に出射させる。

0043

投写光学系46は、光源ユニット40の光変調素子44から出射された光を、拡散板47に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板47により拡散させて面光源化してもよい。

0044

反射ミラー48は、拡散板47により拡散された光を拡大鏡49側に反射させる。

0045

拡大鏡49は、反射ミラー48により反射されてきた光に基づく像を拡大させてウインドシールド5の第一の投写範囲5Aに投写する。

0046

システム制御部60は、メイン制御部70から画像光投写指令を受けると、メイン制御部70から送信されてきた投写用画像データに基づく画像光を第一の投写範囲5Aに投写させる。

0047

メイン制御部70は、HUD10全体を統括制御するものであり、ユニット3とユニット4の各々と無線又は有線により通信可能となっている。またメイン制御部70は、表示装置8と音出力装置9とも無線又は有線により通信可能となっている。メイン制御部70の詳しい機能は後述する。

0048

図4は、図1に示すHUD10を構成するユニット3の内部構成を示す模式図である。図4において図3と同じ構成要素には同一符号を付してある。

0049

ユニット3は、図3に示したユニット2においてメイン制御部70を削除し、システム制御部60をシステム制御部61に変更した構成である。

0050

ユニット3のシステム制御部61は、ユニット3内の駆動部45及び光源制御部40Aを制御して、メイン制御部70から送信されてきた投写用画像データに基づく画像光を第二の投写範囲5Bに投写させる。

0051

システム制御部61は、ユニット2のメイン制御部70と通信可能となっており、メイン制御部70から画像光投写指令を受けると、メイン制御部70から送信されてきた投写用画像データに基づく画像光を第二の投写範囲5Bに投写させる。

0052

図5は、図1に示すHUD10を構成するユニット4の内部構成を示す模式図である。図5において図3と同じ構成要素には同一符号を付してある。

0053

ユニット4は、図3に示したユニット2においてメイン制御部70を削除し、システム制御部60をシステム制御部62に変更した構成である。

0054

ユニット4のシステム制御部62は、ユニット4内の駆動部45及び光源制御部40Aを制御して、メイン制御部70から送信されてきた投写用画像データに基づく画像光を第三の投写範囲5Cに投写させる。

0055

システム制御部62は、ユニット2のメイン制御部70と通信可能となっており、メイン制御部70から画像光投写指令を受けると、投写用画像データに基づく画像光を第三の投写範囲5Cに投写させる。

0056

ユニット2内の光源ユニット40、投写光学系46、拡散板47、反射ミラー48、及び、拡大鏡49は、投写用画像データに基づく画像光を第一の投写範囲5Aに投写する投写ユニットを構成する。

0057

ユニット3内の光源ユニット40、投写光学系46、拡散板47、反射ミラー48、及び、拡大鏡49は、投写用画像データに基づく画像光を第二の投写範囲5Bに投写する投写ユニットを構成する。

0058

ユニット4内の光源ユニット40、投写光学系46、拡散板47、反射ミラー48、及び、拡大鏡49は、投写用画像データに基づく画像光を第三の投写範囲5Cに投写する投写ユニットを構成する。

0059

これら3つの投写ユニットにより、HUD10の投写表示部が構成される。HUD10の投写表示部は、建設機械100の運転室内において、運転席1よりも、投写面であるウインドシールド5から遠い位置に配置されている。

0060

図6は、図3に示すユニット2を構成するメイン制御部70の機能ブロックを示す図である。図6に示すように、メイン制御部70は、撮像画像データ取得部71と、検知部72と、報知処理部73と、を備える。

0061

撮像画像データ取得部71は、図1に示す撮像部6により撮像して得られた撮像画像データを取得し、検知部72に入力する。

0062

検知部72は、ユニット2〜4から建設機械100の投写面(第一の投写範囲5A、第二の投写範囲5B、及び第三の投写範囲5Cを合わせた全範囲)に投写される画像光の少なくとも一部が物体(例えば操作者)により遮られている状態(以下、画像光遮蔽状態という)を検知する。

0063

図7は、画像光遮蔽状態を示す模式的に示す図である。

0064

図7には、ユニット2から投写された画像光の通る範囲100と、ユニット3から投写された画像光の通る範囲300と、ユニット4から投写された画像光の通る範囲400とが図示されている。図7の例では、範囲300及び範囲400に跨って物体が重なっており、この状態が画像光遮蔽状態である。

0065

画像光遮蔽状態を検知するために、検知部72は、撮像画像データ取得部71により取得された撮像画像データを用いる。

0066

この撮像画像データからは、運転室内において、図7の範囲100、範囲300、及び範囲400の各々の三次元形状が分かる。また、HUD10は、通常の使用状態では、範囲100、範囲300、及び範囲400の各々には物体が存在しないことを前提としている。

0067

このため、検知部72は、撮像画像データにおける、範囲100に対応する部分、範囲300に対応する部分、及び範囲400に対応する部分のいずれか1つに、ある程度以上の大きさの物体像が含まれているか否かによって、画像光遮蔽状態を検知する。

0068

検知部72は、上述した方法によって画像光遮蔽状態を検知した場合には、検知信号を報知処理部73に出力する。

0069

この検知信号には、撮像画像データにおける物体像が検出された範囲(図7の例では、範囲300及び範囲400)の情報、および、この範囲における物体像の位置情報が含まれる。

0070

報知処理部73は、検知部72から検知信号が入力された場合報知処理を行う。報知処理部73は制御部を構成する。

0071

報知処理部73が行う報知処理は、例えば以下に示す第一の報知処理〜第五の報知処理が挙げられるが、これらの方法に限られない。

0072

(第一の報知処理) 報知処理部73は、検知部72から検知信号が入力された場合、例えば、投写用画像データを、画像光遮蔽状態であることを示す報知情報を付加した投写用画像データに変更(更新)し、その投写用画像データに基づく画像光をウインドシールド5に投写させることにより、画像光遮蔽状態にあることを報知する。

0073

第一の報知処理について、図8及び図9を用いて具体的に説明する。

0074

図8(a)は、ウインドシールド5に投写される画像光の元となる投写用画像データ200を示す図である。

0075

投写用画像データ200のうちのデータ200Aは、ユニット2から第一の投写範囲5Aに投写される画像光に対応するデータである。データ200Bは、ユニット3から第二の投写範囲5Bに投写される画像光に対応するデータである。データ200Cは、ユニット4から第三の投写範囲5Cに投写される画像光に対応するデータである。

0076

図8の例では、データ200Aはアイコン201を含む。データ200Bはアイコン202を含む。アイコン201及びアイコン202は、作業を支援するための情報(工事計画情報警告情報等)、建設機械100の走行速度、又は建設機械100の燃料情報等の操作者に情報提示を行うための情報である。

0077

図8(b)は、図8(a)に示す投写用画像データ200に基づく画像光がウインドシールド5に投写された状態を示す図である。図8に示すように、ウインドシールド5の投写面前方には、アイコン201に対応する虚像211が表示される。

0078

図8は、図7に示したように、範囲300と範囲400に跨って物体が存在している場合を示しており、投写面には、この物体により遮られている画像光が本来投写されるべき範囲(以下、欠落範囲という)214を図示している。欠落範囲214は、投写用画像データ200に基づく画像光のうちの物体により遮られている部分に対応している。投写面のうち欠落範囲214以外の範囲は、投写用画像データ200に基づく画像光のうちの物体により遮られている部分以外の部分に対応している。

0079

報知処理部73は、検知部72から入力された検知信号に含まれる物体が存在している範囲の情報と、この範囲における物体の位置情報とに基づいて、図8(b)に示した投写面(第一の投写範囲5A、第二の投写範囲5B、及び第三の投写範囲5Cを合わせた全範囲)における欠落範囲214の位置を判定する。欠落範囲214の位置は、欠落範囲214の周縁における座標データのことを言う。

0080

そして、報知処理部73は、投写用画像データ200において、投写面における欠落範囲214以外の範囲に対応するデータを、画像光遮蔽状態であることを報知するための報知情報(例えばアイコン又は文字等)を含むデータに変更した投写用画像データ200aを生成し、この投写用画像データ200aのデータ200A、データ200B、及びデータ200Cをシステム制御部60〜62に送信する。

0081

図9(a)は、投写用画像データ200aを示す図である。投写用画像データ200aは、投写用画像データ200に対して、アイコン201の下の位置に報知情報としての文字情報203が追加されたものとなっている。

0082

システム制御部60は、ユニット2内の駆動部45及び光源制御部40Aを制御して、投写用画像データ200aのデータ200Aに基づく画像光をウインドシールド5の第一の投写範囲5Aに投写させる。また、ユニット3のシステム制御部61は、ユニット3内の駆動部45及び光源制御部40Aを制御して、投写用画像データ200aのデータ200Bに基づく画像光をウインドシールド5の第二の投写範囲5Bに投写させる。更に、ユニット4のシステム制御部62は、ユニット4内の駆動部45及び光源制御部40Aを制御して、投写用画像データ200aのデータ200Cに基づく画像光をウインドシールド5の第三の投写範囲5Cに投写させる。

0083

図9(b)は、図9(a)に示す投写用画像データ200aに基づく画像光がウインドシールド5に投写された状態を示す図である。図9(b)には、投写用画像データ200aに含まれる文字情報203に対応した虚像215が示されている。なお、図8及び図9に示した欠落範囲214はイメージであり、実際には操作者には見えない。

0084

操作者は、図9(b)に示す虚像215を見ることによって、画像光遮蔽状態にあることを認識することができる。

0085

この第一の報知処理により、画像光が、操作者の身体の一部により遮られている状態であったとしても、操作者はこの状態にあることを容易に認識することができる。このため、操作者が身体を動かして画像光遮蔽状態にならないよう対応をとることができ、必要な情報を操作者に的確に提供することが可能となる。

0086

(第二の報知処理) 報知処理部73は、画像光遮蔽状態であることを音により報知する。

0087

具体的には、報知処理部73は、音出力装置9から例えば「表示情報が物体により一部遮られている可能性があります」等の音声を出力させる。音声メッセージに限らず、ブザー音またはメロディ音によって画像光遮蔽状態であることを報知してもよい。

0088

第二の報知処理により、画像光が、操作者の身体の一部により遮られている状態であったとしても、操作者は、この状態であることを音によって容易に認識することができる。

0089

なお、第一の報知処理と第二の報知処理とを組み合わせることによって、操作者に対し、画像光遮蔽状態であることをより確実に認識させることができる。

0090

(第三の報知処理) 報知処理部73は、検知部72から検知信号が入力された場合、投写用画像データのうちの画像光における物体により遮られている部分に対応するデータから、このデータに含まれる建設機械100の操作者に提示すべき遮蔽情報(作業および運転をする上で支障がでる恐れのある重要情報、時刻情報等の作業に支障をきたさない情報は除く)を抽出し、この遮蔽情報を報知する。

0091

第三の報知処理について、図8及び図10を用いて具体的に説明する。

0092

報知処理部73は、検知部72から入力された検知信号に含まれる物体が存在している範囲の情報と、この範囲における物体の位置情報とに基づいて、図8(b)に示した投写面(第一の投写範囲5A、第二の投写範囲5B、及び第三の投写範囲5Cを合わせた全範囲)における欠落範囲214の位置を判定する。

0093

そして、報知処理部73は、投写用画像データ200において、欠落範囲214に対応する部分のデータに、作業を支援するための情報、建設機械100の走行速度、又は建設機械100の燃料情報等の操作者に提示すべき遮蔽情報が含まれているか否かを判定する。

0094

報知処理部73は、投写用画像データ200において、欠落範囲214に対応する部分のデータに操作者に提示すべき遮蔽情報が含まれていると判定した場合には、欠落範囲214に対応する部分のデータに含まれる遮蔽情報を、投写用画像データ200において、欠落範囲214を除く部分に対応するデータに付加した投写用画像データ200bを生成し、投写用画像データ200bのデータ200A、データ200B、及びデータ200Cをシステム制御部60〜62に送信する。

0095

図10(a)は、投写用画像データ200bを示す図である。図10(b)は、図10(a)に示す投写用画像データ200bに基づく画像光がウインドシールド5に投写された状態を示す図である。

0096

図10(a)に示すように、投写用画像データ200において破線で示す位置にあったアイコン202は、投写用画像データ200bではアイコン201の下に移動されている。これは、投写用画像データ200において、アイコン202が欠落範囲214に対応するデータに含まれているためである。

0097

このように、報知処理部73は、投写用画像データ200において遮蔽情報であるアイコン201を削除し、投写用画像データ200における欠落範囲214に対応するデータ以外の部分にアイコン202を追加した投写用画像データ200bを生成する。

0098

投写用画像データ200bが生成された場合、システム制御部60は、ユニット2内の駆動部45及び光源制御部40Aを制御して、投写用画像データ200bのデータ200Aに基づく画像光をウインドシールド5の第一の投写範囲5Aに投写させる。また、ユニット3のシステム制御部61は、ユニット3内の駆動部45及び光源制御部40Aを制御して、投写用画像データ200bのデータ200Bに基づく画像光をウインドシールド5の第二の投写範囲5Bに投写させる。更に、ユニット4のシステム制御部62は、ユニット4内の駆動部45及び光源制御部40Aを制御して、投写用画像データ200bのデータ200Cに基づく画像光をウインドシールド5の第三の投写範囲5Cに投写させる。

0099

これにより、図8(b)の状態から図10(b)の状態に遷移する。図10(b)には、投写用画像データ200bに含まれるアイコン202に対応した虚像216が示されている。なお、図10に示した欠落範囲214はイメージであり、実際には操作者には見えない。

0100

第三の報知処理によれば、操作者に提示すべき情報(図10のアイコン202)が操作者の身体の一部等により遮られている状態であったとしても、このアイコン202に対応する虚像216が視認可能な位置に移動されるため、操作者は、遮蔽情報を容易に認識することができる。したがって作業支援を的確に行うことができる。

0101

(第四の報知処理) 報知処理部73は、第三の報知処理で説明した遮蔽情報を音により報知する。

0102

具体的には、報知処理部73は、遮蔽情報があると判定した場合には、この遮蔽情報に対応するメッセージ、ブザー音、又はメロディ音等を、音出力装置9から出力させる。

0103

例えば、報知処理部73は、遮蔽情報が燃料不足を警告するためのアイコンであった場合には、「燃料が少なくなっています。補給してください」といったメッセージを音出力装置9から出力させる。

0104

第四の報知処理によれば、操作者に提示すべき情報が操作者の身体の一部等により遮られている状態であったとしても、遮られている情報を音で報知することができ、操作者は、遮蔽情報を容易に認識することができる。このため、作業支援を的確に行うことができる。

0105

なお、第三の報知処理と第四の報知処理とを組み合わせることによって、操作者に対し、遮蔽情報をより確実に認識させることができる。

0106

(第五の報知処理) 報知処理部73は、第三の報知処理で説明した遮蔽情報を表示装置8に表示させることで報知する。

0107

具体的には、報知処理部73は、遮蔽情報があると判定した場合には、この遮蔽情報に対応するメッセージ(例えば、「燃料が少なくなっています。補給してください」)を表示装置8に表示させる。この構成によれば、音が聞こえにくい環境であっても、遮蔽情報を容易に認識させることができる。

0108

図11は、図1に示すHUD10の動作を説明するためのフローチャートである。

0109

HUD10が起動すると、メイン制御部70は、システム制御部60、システム制御部61、システム制御部62を制御して、投写用画像データに基づく画像光をウインドシールド5に投写させる。

0110

撮像部6は、HUD10が起動すると撮像を開始し、撮像により得られた撮像画像データをユニット2のメイン制御部70に転送する。撮像画像データ取得部71は、撮像部6で撮像された撮像画像データを取得する(ステップS1)。

0111

検知部72は、撮像画像データ取得部71で取得された撮像画像データと、ユニット2〜4の各々の画像光の光路を示す範囲の情報(予め内部メモリに記憶されている)と、に基づいて、画像光遮蔽状態にあるか否かを検知する処理を行う(ステップS2)。

0112

検知部72は、画像光遮蔽状態にあると判定した場合(ステップS3:YES)、検知信号を報知処理部73に入力する。

0113

報知処理部73は、この入力された検知信号に基づいて、上述してきたいずれかの方法で報知処理を行う(ステップS4)。ステップS4の処理の後は、ステップS1に戻り、上述した処理が繰り返される。

0114

ステップS3において画像光遮蔽状態ではないと判定された場合(ステップS3:NO)には、報知処理は行われず、ステップS1に処理が戻る。

0115

以上のように、図1に示すHUD10によれば、画像光遮蔽状態であると検知された場合には、画像光遮蔽状態にあることを示す報知情報を虚像により表示したり、画像光遮蔽状態にあることを音により報知したり、物体により遮られているアイコンを虚像により表示したり、物体により遮られているアイコンに対応するメッセージを音および/または表示によって報知したりすることができる。

0116

これによって、操作者が作業に集中している環境下において、画像光が操作者の身体の一部等によって遮られている状態であっても、操作者は、その状態を容易に認識したり、遮られている情報を確認したりすることができる。このため、操作者は、的確な作業支援を受けることができ、作業をスムーズに行うことができる。

0117

建設機械および農作機械等の作業用機械は室内空間が狭い。このように狭い室内空間にて広範囲での投写を行うような場合においては、操作者の身体の一部等による画像光の遮りが発生しやすい。このため、HUD10を建設機械および農作機械等の作業用機械に適用した場合には特に効果が大きい。

0118

以上の説明では、ウインドシールド5に設定される複数の投写範囲を重力方向(縦方向)に並べるものとしたが、ウインドシールド5に設定される複数の投写範囲を水平方向(横方向)に並べてもよい。この場合、建設機械100の運転室内には、各投写範囲に画像光を投写するユニットを水平方向で離間して設ける構成とすればよい。

0119

また、以上の説明では、ウインドシールド5に設定される複数の投写範囲が一方向に並ぶものとしたが、複数の投写範囲を二次元状に配置する設定とすることもできる。

0120

また、図1に示すHUD10において、ユニット3とユニット4を削除した構成としてもよい。つまり、投写ユニットは少なくとも1つあればよい。この構成でも、画像光が遮られる可能性は生じるため、メイン制御部70の構成が有効となる。

0121

また、以上の説明では、ユニット2内にメイン制御部70が設けられているが、メイン制御部70を含む制御ユニットを別体として有し、この制御ユニットが、ユニット2〜4のシステム制御部を統括制御する構成としてもよい。

0122

さらに、以上の説明では、ユニット2〜4がいずれも虚像を視認可能な条件により画像光を投写するものとしたが、ユニット2〜4の少なくとも1つが実像を視認可能な条件により画像光を投写するものとしてもよい。

0123

図12は、図3に示すユニット2のメイン制御部70の変形例であるメイン制御部70Aの機能ブロックを示す図である。図12において図6と同じ構成には同一符号を付して説明を省略する。

0124

図12に示すように、メイン制御部70Aは、メイン制御部70の構成に加えて、外部物体検知部74が新たに設けられている。

0125

外部物体検知部74には、建設機械100の機体前方中央部にある外部物体(本実施形態ではバケット22)の画像特徴情報が予め設定されている。

0126

外部物体検知部74は、撮像画像データ取得部71により取得された撮像画像データにおける投写面に対応する部分に対し、上記の画像特徴情報によるマッチングを行うことによって、この投写面前方に外部物体があるか否かを検知する。外部物体検知部74は、外部物体があることを検知した場合には、投写面における外部物体の位置の情報を報知処理部73に出力する。

0127

報知処理部73は、検知部72から入力される検知信号に含まれる物体の位置情報(図7に示した範囲100,300,400の各々における物体の位置の情報)と、外部物体検知部74から入力された外部物体の位置情報とに基づいて、上述してきた報知処理を行うか否かを決定する。

0128

以下、図13を用いて具体的に説明する。

0129

図13(a)は、メイン制御部70Aにより生成される投写用画像データ200cを示す図である。図13(b)は、図13(a)に示す投写用画像データ200cに基づく画像光がウインドシールド5に投写された状態を示す図である。図13(b)には、図8と同様に欠落範囲214を図示している。

0130

図13(b)に示す状態では、メイン制御部70Aの外部物体検知部74が、撮像部6により撮像して得られた撮像画像データにおける投写面に対応するデータに基づいて、このデータから外部物体としてのバケット22を検知する。外部物体検知部74は、検知結果としてバケット22の位置情報を報知処理部73に出力する。なお、バケット22の位置情報は、バケット22を取り囲む所定の大きさの領域220の位置情報としている。

0131

報知処理部73は、検知部72から入力された投写面における欠落範囲214の位置情報と、外部物体検知部74から入力された投写面におけるバケット22の位置情報とを比較する。

0132

報知処理部73は、この比較により、領域220が欠落範囲214の外にあると判定した場合には上述した報知処理を行わず、領域220が欠落範囲214内にあると判定した場合には上述した報知処理を行う。

0133

建設機械100では、基本的には、操作者がバケット22の近傍を見ながら作業を行う。したがって、操作者に提示すべき情報については、バケット22の近傍に集中させるのが、目線の移動が少なくなり好ましい。

0134

そこで、メイン制御部70Aは、バケット22を含む領域220内に虚像211,216が表示されるように投写用画像データ200cを生成する。このように、領域220内に虚像を表示させることを前提にした場合には、この領域220に投写される画像光が遮られていなければ、作業支援には特に影響がない。

0135

したがって、報知処理部73は、領域220が欠落範囲214の外にあると判定した場合には報知処理を行わないようにしている。

0136

図14は、図12に示すメイン制御部70Aを有するHUD10の動作を説明するためのフローチャートである。図14に示すフローチャートは、ステップS5〜S8を追加した点を除いては、図11に示したフローチャートと同じである。図14において図11に示した処理と同じものには同一符号を付して説明を省略する。

0137

図14では、ステップS3の判定がYESの場合に、外部物体検知部74が、投写面前方にある外部物体を検知する(ステップS5)。

0138

そして、外部物体検知部74は、外部物体を検知したか否かを判定し(ステップS6)、外部物体を検知したと判定した場合(ステップS6:YES)、外部物体の位置情報を報知処理部73に入力する。外部物体が検知されなかった場合には(ステップS6:NO)、ステップS1に処理が戻る。

0139

報知処理部73は、外部物体検知部74により検知された外部物体が、検知部72から入力された投写面における欠落範囲内にあるか否かを判定する(ステップS7)。

0140

報知処理部73は、図13の例では、欠落範囲214と外部物体を含む領域220とで重複する部分があれば、外部物体が欠落範囲内にあると判定し、欠落範囲214と領域220とで重複する部分が無ければ、外部物体が欠落範囲外にあると判定する。

0141

ステップS7の判定がYESの場合には、報知処理部73は報知処理を行う(ステップS4)。ステップS4の処理の後は、ステップS1に戻り、上述した処理が繰り返される。

0142

ステップS7の判定がNOの場合には、報知処理部73は報知処理を禁止する(ステップS8)。ステップS8の処理の後は、ステップS1に戻り、上述した処理が繰り返される。

0143

以上ように、変形例のHUD10では、外部物体を含む領域220と欠落範囲214とが重なる場合には報知処理が行われ、外部物体を含む領域220と欠落範囲214とが重ならない場合には報知処理が行われない。これによって、報知処理が必要以上に行われるのを防ぐことができ、作業を効率的に進めることが可能となる。

0144

なお、バケット22の位置は、左操作レバー25及び右操作レバー26の操作信号によって一意に決まる。このため、外部物体検知部74は、この操作信号に基づいて、外部物体の位置を検知してもよい。

0145

以上説明してきたように、本明細書には以下の事項が開示されている。

0146

開示された投写型表示装置は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写表示部と、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知部と、上記画像光の少なくとも一部が物体により遮られている状態が上記検知部により検知された場合、報知処理を行う制御部と、を備えるものである。

0147

開示された投写型表示装置は、上記制御部が行う報知処理は、上記状態にあることを報知する処理であるものである。

0148

開示された投写型表示装置は、上記制御部は、上記画像情報において、上記画像光のうちの上記物体により遮られている部分を除く部分に対応する情報を、上記状態にあることを示す報知情報を含む情報に変更することによって、上記状態にあることを報知するものである。

0149

開示された投写型表示装置は、上記制御部は、音により上記報知を行うものである。

0150

開示された投写型表示装置は、上記制御部が行う報知処理は、上記画像情報のうちの上記画像光における上記物体により遮られている部分に対応する情報に含まれる上記乗り物の操作者に提示すべき遮蔽情報を報知する処理であるものである。

0151

開示された投写型表示装置は、上記制御部は、上記画像情報のうちの上記画像光における上記物体により遮られている部分を除く部分に対応する情報に上記遮蔽情報を含ませることによって、上記遮蔽情報を報知するものである。

0152

開示された投写型表示装置は、上記制御部は、音により上記遮蔽情報を報知するものである。

0153

開示された投写型表示装置は、上記制御部は、上記遮蔽情報を上記乗り物に搭載される表示装置に表示させることによって上記遮蔽情報を報知するものである。

0154

開示された投写型表示装置は、上記投写面は上記乗り物のウインドシールドであり、上記投写面前方の外部物体の位置を検知する外部物体検知部を更に備え、上記制御部は、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲と、上記外部物体検知部により検知される外部物体の上記投写面における位置と、に基づいて、上記報知処理を行うか否かを決定するものである。

0155

開示された投写型表示装置は、上記制御部は、上記外部物体検知部により検知された外部物体の位置が、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲外にある場合に上記報知処理を禁止するものである。

0156

開示された投写型表示装置は、上記乗り物は作業用機械であるものである。

0157

開示された投写型表示装置は、上記投写表示部は、上記乗り物の室内空間において、上記乗り物の運転席よりも上記投写面から遠い位置に配置されるものである。

0158

開示された投写制御方法は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写制御方法であって、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知ステップと、上記画像光の少なくとも一部が物体により遮られている状態が上記検知ステップにより検知された場合、報知処理を行う制御ステップと、を備えるものである。

0159

開示された投写制御方法は、上記報知処理は、上記状態にあることを報知する処理であるものである。

0160

開示された投写制御方法は、上記制御ステップは、上記画像情報において、上記画像光のうちの上記物体により遮られている部分を除く部分に対応する情報を、上記状態にあることを示す報知情報を含む情報に変更することによって、上記状態にあることを報知するものである。

0161

開示された投写制御方法は、上記制御ステップは、音により上記報知を行うものである。

0162

開示された投写制御方法は、上記報知処理は、上記画像情報のうちの上記画像光における上記物体により遮られている部分に対応する情報に含まれる上記乗り物の操作者に情報提示を行うための遮蔽情報を報知する処理であるものである。

0163

開示された投写制御方法は、上記制御ステップは、上記画像情報のうちの上記画像光における上記物体により遮られている部分を除く部分に対応する情報に上記遮蔽情報を含ませることによって、上記遮蔽情報を報知するものである。

0164

開示された投写制御方法は、上記制御ステップは、音により上記遮蔽情報を報知するものである。

0165

開示された投写制御方法は、上記制御ステップは、上記遮蔽情報を上記乗り物に搭載される表示装置に表示させることによって上記遮蔽情報を報知するものである。

0166

開示された投写制御方法は、上記投写面は上記乗り物のウインドシールドであり、上記投写面前方の外部物体の位置を検知する外部物体検知ステップを更に備え、上記制御ステップは、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲と、上記外部物体検知ステップにより検知される外部物体の上記投写面における位置と、に基づいて、上記報知処理を行うか否かを決定するものである。

0167

開示された投写制御方法は、上記制御ステップは、上記外部物体検知ステップにより検知された外部物体の位置が、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲外にある場合に、上記報知処理を禁止するものである。

0168

開示された投写制御方法は、上記乗り物は作業用機械であるものである。

0169

本発明は、建設機械および農作機械等の作業用機械に適用して利便性が高く、有効である。

0170

2,3,4ユニット5ウインドシールド8表示装置9音出力装置10 HUD40光源ユニット45 駆動部60,61,62システム制御部70,70Aメイン制御部72 検知部73報知処理部74外部物体検知部100 建設機械

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

(分野番号表示ON)※整理標準化データをもとに当社作成

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ