図面 (/)

技術 情報通信方法、情報通信装置およびプログラム

出願人 パナソニックインテレクチュアルプロパティコーポレーションオブアメリカ
発明者 大嶋光昭中西幸司青山秀紀渕上郁雄秦秀彦向井務松下陽介飯田恵大山田和範
出願日 2017年3月23日 (2年6ヶ月経過) 出願番号 2017-058286
公開日 2017年8月17日 (2年1ヶ月経過) 公開番号 2017-143553
状態 特許登録済
技術分野 光通信システム
主要キーワード 調光機 範囲外領域 汚れ情報 類似機器 緩衝部分 光信号パターン 設置設定 音声スピーカー
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年8月17日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (20)

課題

多様な機器通信を可能とする情報通信方法を提供する。

解決手段

この情報通信方法は、送信対象の信号を変調することによって、輝度変化パターンを決定する決定ステップと、発光体が、決定された輝度変化のパターンにしたがって輝度変化することによって、送信対象の信号を送信する送信する送信ステップとを含み、決定ステップでは、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように輝度変化のパターンを決定する。

概要

背景

近年のホームネットワークでは、Ethernet(登録商標)や無線LAN(Local Area Network)でのIP(Internet Protocol)接続によるAV家電連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ON/OFFといった機能を持つホームエネルギーマネジメントシステムHEMS)によって、多様な家電機器ネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。

このような問題を解決するため、特許文献1では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。

概要

多様な機器で通信を可能とする情報通信方法を提供する。この情報通信方法は、送信対象の信号を変調することによって、輝度変化パターンを決定する決定ステップと、発光体が、決定された輝度変化のパターンにしたがって輝度変化することによって、送信対象の信号を送信する送信する送信ステップとを含み、決定ステップでは、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように輝度変化のパターンを決定する。

目的

本発明は、このような課題を解決し、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された輝度変化のパターンにしたがって輝度変化することによって、前記送信対象の信号を送信する送信ステップとを含み、前記送信対象の信号はそれぞれ、識別部と、ボディ部とを有し、前記決定ステップでは、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、前記送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように前記輝度変化のパターンを決定する、情報通信方法。

請求項2

輝度変化によって信号を送信する情報通信装置であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定手段と、発光体が、決定された輝度変化のパターンにしたがって輝度変化することによって、前記送信対象の信号を送信する送信手段とを含み、前記送信対象の信号はそれぞれ、識別部と、ボディ部とを有し、前記決定手段では、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、前記送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように前記輝度変化のパターンを決定する、情報通信装置。

請求項3

輝度変化によって信号を送信する情報通信装置を制御するプログラムであって、前記情報通信装置のコンピュータに対して、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された輝度変化のパターンにしたがって輝度変化することによって、前記送信対象の信号を送信する送信ステップとを実行させ、前記送信対象の信号はそれぞれ、識別部と、ボディ部とを有し、前記決定ステップでは、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、前記送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように前記輝度変化のパターンを決定する、プログラム。

請求項4

送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された輝度変化のパターンを、輝度変化することによって、前記送信対象の信号を送信する送信機に出力する出力ステップとを含み、前記送信対象の信号はそれぞれ、識別部と、ボディ部とを有し、前記決定ステップでは、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、前記送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように前記輝度変化のパターンを決定する、情報通信方法。

請求項5

送信対象の信号を変調することによって、輝度変化のパターンを決定する決定手段と、発光体が、決定された輝度変化のパターンを、輝度変化することによって、前記送信対象の信号を送信する送信機に出力する出力手段とを含み、前記送信対象の信号はそれぞれ、識別部と、ボディ部とを有し、前記決定手段では、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、前記送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように前記輝度変化のパターンを決定する、情報通信装置。

請求項6

情報通信装置を制御するプログラムであって、前記情報通信装置のコンピュータに対して、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された輝度変化のパターンを、輝度変化することによって、前記送信対象の信号を送信する送信機に出力する出力ステップとを実行させ、前記送信対象の信号はそれぞれ、識別部と、ボディ部とを有し、前記決定ステップでは、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、前記送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように前記輝度変化のパターンを決定する、プログラム。

技術分野

背景技術

0002

近年のホームネットワークでは、Ethernet(登録商標)や無線LAN(Local Area Network)でのIP(Internet Protocol)接続によるAV家電連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ON/OFFといった機能を持つホームエネルギーマネジメントシステムHEMS)によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。

0003

このような問題を解決するため、特許文献1では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。

先行技術

0004

特開2002−290335号公報

発明が解決しようとする課題

0005

しかしながら、前記従来の方式では、適用される機器照明のような3色光源を持つ場合に限定される。本発明は、このような課題を解決し、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を提供する。

課題を解決するための手段

0006

本発明の一形態に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された輝度変化のパターンにしたがって輝度変化することによって、前記送信対象の信号を送信する送信ステップとを含み、前記送信対象の信号はそれぞれ、識別部と、ボディ部とを有し、前記決定ステップでは、第1のボディ部、第1の識別部、および、第2のボディ部を一組として変調を行い、前記第1のボディ部と、前記第2のボディ部は同じデータであり、前記第1の識別部は、前記第1のボディ部と、前記第2のボディ部とに共通に用いられ、前記送信対象の信号に含まれる異なる符号に対して、所定の開始タイミングから、第1の輝度値から第2の輝度値への輝度変化が生じるタイミングまでの時間が異なるように前記輝度変化のパターンを決定する。

0007

なお、これらの包括的または具体的な態様は、システム、方法、集積回路コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

発明の効果

0008

本発明によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を実現できる。

図面の簡単な説明

0009

実施の形態1の原理を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態1の動作の一例を示す図である。
実施の形態2の情報通信装置における送信信号のタイミング図である。
実施の形態2における送信信号と受信信号の関係を示す図である。
実施の形態2における送信信号と受信信号の関係を示す図である。
実施の形態2における送信信号と受信信号の関係を示す図である。
実施の形態2における送信信号と受信信号の関係を示す図である。
実施の形態2における送信信号と受信信号の関係を示す図である。
実施の形態3における発光部の輝度観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における発光部の輝度の観測方法の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における信号変調方式の一例を示す図である。
実施の形態3における発光部の検出方法の一例を示す図である。
実施の形態3における発光部の検出方法の一例を示す図である。
実施の形態3における発光部の検出方法の一例を示す図である。
実施の形態3における発光部の検出方法の一例を示す図である。
実施の形態3における発光部の検出方法の一例を示す図である。
実施の形態3における送信信号のタイムラインと、発光部を撮像した画像を示す図である。
実施の形態3における位置パターンによる信号の伝送の一例を示す図である。
実施の形態3における受信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における送信装置の一例を示す図である。
実施の形態3における発光部の構造の一例を示す図である。
実施の形態3における信号搬送波の一例を示す図である。
実施の形態3における撮像部の一例を示す図である。
実施の形態3における受信装置の位置の推定の一例を示す図である。
実施の形態3における受信装置の位置の推定の一例を示す図である。
実施の形態3における受信装置の位置の推定の一例を示す図である。
実施の形態3における受信装置の位置の推定の一例を示す図である。
実施の形態3における受信装置の位置の推定の一例を示す図である。
実施の形態3における送信情報の設定の一例を示す図である。
実施の形態3における送信情報の設定の一例を示す図である。
実施の形態3における送信情報の設定の一例を示す図である。
実施の形態3における受信装置の構成要素の一例を示すブロック図である。
実施の形態3における送信装置の構成要素の一例を示すブロック図である。
実施の形態3における受信の手順の一例を示す図である。
実施の形態3における自己位置推定の手順の一例を示す図である。
実施の形態3における送信制御の手順の一例を示す図である。
実施の形態3における送信制御の手順の一例を示す図である。
実施の形態3における送信制御の手順の一例を示す図である。
実施の形態3における駅構内での情報提供の一例を示す図である。
実施の形態3における乗車サービスの一例を示す図である。
実施の形態3における店舗内サービスの一例を示す図である。
実施の形態3における無線接続確立の一例を示す図である。
実施の形態3における通信範囲の調整の一例を示す図である。
実施の形態3における屋内での利用の一例を示す図である。
実施の形態3における屋外での利用の一例を示す図である。
実施の形態3における道順の指示の一例を示す図である。
実施の形態3における複数の撮像装置の利用の一例を示す図である。
実施の形態3における送信装置自律制御の一例を示す図である。
実施の形態3における送信情報の設定の一例を示す図である。
実施の形態3における送信情報の設定の一例を示す図である。
実施の形態3における送信情報の設定の一例を示す図である。
実施の形態3における2次元バーコードとの組み合わせの一例を示す図である。
実施の形態3における地図の作成と利用の一例を示す図である。
実施の形態3における電子機器状態取得と操作の一例を示す図である。
実施の形態3における電子機器の認識の一例を示す図である。
実施の形態3における拡張現実オブジェクトの表示の一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態3におけるユーザインタフェースの一例を示す図である。
実施の形態4におけるITSへの応用例を示す図である。
実施の形態4におけるITSへの応用例を示す図である。
実施の形態4における位置情報報知システムおよび施設システムへの応用例を示す図である。
実施の形態4におけるスーパーマーケットのシステムへの応用例を示す図である。
実施の形態4における携帯電話端末カメラの通信への応用例を示す図である。
実施の形態4における水中通信への応用例を示す図である。
実施の形態5におけるユーザへのサービス提供例を説明するための図である。
実施の形態5におけるユーザへのサービス提供例を説明するための図である。
実施の形態5における受信機送信機から受信した複数の信号を同時に処理する場合を示すフローチャートである。
実施の形態5における相互通信により機器間のコミュニケーションを実現する場合の一例を示す図である。
実施の形態5における指向性の特性を利用したサービスを説明するための図である。
実施の形態5におけるユーザへのサービス提供例の別の例を説明するための図である。
実施の形態5における送信機が発する光源に含まれる信号のフォーマット例を示す図である。
実施の形態6における宅内の環境の例を示す図である。
実施の形態6における家電機器とスマートフォンの通信の例を示す図である。
実施の形態6における送信側装置の構成の1例を示す図である。
実施の形態6における受信側装置の構成の1例を示す図である。
実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。
実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。
実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。
実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。
実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。
実施の形態7における可視光を用いてユーザと機器の通信を行う手順を説明するための図である。
実施の形態7における可視光を用いてユーザと機器の通信を行う手順を説明するための図である。
実施の形態7におけるユーザが機器を購入して、機器の初期設定を行うまでの手順を説明するための図である。
実施の形態7における機器が故障した場合の、サービスマン専用のサービスについて説明するための図である。
実施の形態7における掃除機可視光通信を用いた、掃除状況を確認するためのサービスについて説明するための図である。
実施の形態8における光通信を用いた宅配サービス支援の概略図である。
実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
実施の形態9におけるサーバへユーザと使用中の携帯電話を登録する処理を説明するための図である。
実施の形態9におけるユーザ音声特性の解析を行う処理を説明するための図である。
実施の形態9における音声認識処理の準備を行う処理を説明するための図である。
実施の形態9における周辺集音機器からの集音を行う処理を説明するための図である。
実施の形態9における環境音特性の解析処理を説明するための図である。
実施の形態9における周辺に存在する音声出力機器からの音声キャンセルする処理を説明するための図である。
実施の形態9における調理メニューの選択と電子レンジへの運転内容設定を行う処理を説明するための図である。
実施の形態9における電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定する処理を説明するための図である。
実施の形態9における電子レンジの通知音の調整を行う処理を説明するための図である。
実施の形態9における電子レンジに設定する通知音の波形の例を示す図である。
実施の形態9における調理内容の表示を行う処理を説明するための図である。
実施の形態9における電子レンジの通知音の認識を行う処理を説明するための図である。
実施の形態9における周辺の集音機器からの集音と電子レンジ通知音の認識を行う処理を説明するための図である。
実施の形態9における電子レンジの運転終了をユーザへ通知する処理を説明するための図である。
実施の形態9における携帯電話操作状態の確認を行う処理を説明するための図である。
実施の形態9におけるユーザ位置の追跡を行う処理を説明するための図である。
音声出力装置からの音声をキャンセルしつつ、家電の通知音を認識し、通信可能な電子機器にユーザ(操作者)の現在位置を認識させ、ユーザ位置の認識結果から、ユーザ位置に近い位置にある機器にユーザへの通知を行わせることを示した図である。
実施の形態9におけるサーバ、または、携帯電話、または、電子レンジに保持するデータベースの内容を示す図である。
実施の形態9におけるユーザが携帯電話に表示された調理手順を基に調理を行い、また、「次へ」「戻る」等の音声によって携帯電話の表示内容をユーザが操作することを示す図である。
実施の形態9における電子レンジの運転を開始し、運転終了を待っている間や、煮物煮込んでいる間等の時間に、ユーザが他の場所へ移動していることを示す図である。
ネットワークを介して携帯電話と接続されており、かつ、カメラやマイクや人感センサ等の、ユーザの位置の認識やユーザが存在していることを認識することができる機器に対して、携帯電話からユーザを探知する命令を送信することを示す図である。
実施の形態9におけるユーザの探知の例として、テレビ付属したカメラでユーザの顔を認識し、また、エアコンの人感センサでユーザの移動や存在を認識していることを示す図である。
ユーザを探知した機器から、ユーザを探知したことや、探知した機器からユーザまでの相対位置を、携帯電話に送信することを示す図である。
実施の形態9における電子レンジの運転終了音を、携帯電話が認識することを示す図である。
電子レンジの運転終了を認識した携帯電話が、ユーザを探知している機器のうち、画面表示機能音声出力機能を持った機器に、電子レンジの運転終了をユーザへ通知させる命令を送信することを示す図である。
実施の形態9における命令を受け取った機器が、通知内容をユーザへ通知することを示す図である。
電子レンジの運転終了音を、ネットワークを介して携帯電話と接続されており、マイクを備えており、電子レンジの付近に存在する機器が認識することを示す図である。
電子レンジの運転終了を、これを認識した機器から携帯電話へ通知することを示す図である。
携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近にあれば、携帯電話の画面表示や音声出力等を用いて、電子レンジの運転終了をユーザへ通知することを示す図である。
電子レンジの運転終了をユーザへ通知することを示す図である。
電子レンジの運転終了の通知を受けたユーザがキッチンに移動することを示す図である。
電子レンジから無線通信で携帯電話に、運転終了等の情報を送信し、携帯電話から、ユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。
電子レンジから無線通信で、ユーザの見ているテレビに運転終了などの情報を送信し、テレビの画面表示や音声を用いてユーザに通知を行うことを示す図である。
テレビの画面表示や音声でユーザに通知を行うことを示す図である。
遠隔地にいるユーザへ情報の通知を行うことを示す図である。
電子レンジから、ハブとなる携帯電話へ直接通信が行えない場合に、パソコン等を経由して、携帯電話に情報を送信することを示した図である。
図180の通信を受けた携帯電話から、情報通信経路を逆に辿って電子レンジに操作命令等の情報を送信することを示す図である。
情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、ユーザに情報の通知を行なうことを示した図である。
700〜900MHzの電波を用いた通信装置を利用したシステムについて説明するための図である。
遠隔地の携帯電話がユーザに情報を通知することを示す図である。
遠隔地の携帯電話がユーザへ情報の通知を行うことを示す図である。
図185と同様の場合において、通知認識機器情報通知機器中継を行う機器に代わって、2階のテレビが中継機器役割を果たした場合の図である。
実施の形態10における宅内の環境の例を示す図である。
実施の形態10における家電機器とスマートフォンの通信の例を示す図である。
実施の形態10における送信側装置の構成を示す図である。
実施の形態10における受信側装置の構成を示す図である。
図187において、送信側端末(TV)が受信側端末(タブレット)と光通信を用いて無線LAN認証を行う場合のシーケンス図である。
実施の形態10におけるアプリケーションでの認証を行う場合のシーケンス図である。
実施の形態10における送信側端末の動作を表すフローチャートである。
実施の形態10における受信側端末の動作を表すフローチャートである。
実施の形態11におけるモバイルAV端末1がモバイルAV端末2にデータを送信するシーケンス図である。
実施の形態11におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。
実施の形態11におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。
実施の形態11におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。
実施の形態11におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。
実施の形態11におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の状態を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の状態を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の状態を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の状態を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の状態を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の輝度変化を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の輝度変化を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の輝度変化を示す図である。
実施の形態12における送信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の輝度変化を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の構成例を示す図である。
実施の形態12における送信機の構成例を示す図である。
実施の形態12における送信機の構成例を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機による表示と撮影の例を示す図である。
実施の形態12における送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の状態を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の状態を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の波長の一例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機の適用例を示す図である。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
実施の形態12における受信機の処理動作の一例を示すフローチャートである。
実施の形態12における送信機の構成の一例を示す図である。
実施の形態12における送信機の構成の他の例を示す図である。
実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。
実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
実施の形態13における送信機の適用例を示す図である。
実施の形態13における送信機の適用例を示す図である。
実施の形態13における送信機の適用例を示す図である。
実施の形態13における送信機と受信機の適用例を示す図である。
実施の形態13における送信機と受信機の適用例を示す図である。
実施の形態13における送信機と受信機の適用例を示す図である。
実施の形態13における送信機と受信機の適用例を示す図である。
実施の形態13における送信信号の例を示す図である。
実施の形態13における送信信号の他の例を示す図である。
実施の形態13における送信信号の例を示す図である。
実施の形態13における送信信号の例を示す図である。
実施の形態13における送信信号の他の例を示す図である。
実施の形態13における送信信号の例を示す図である。
実施の形態13における送信信号の例を示す図である。
実施の形態13における送信信号の例を示す図である。
実施の形態13における送信機の適用例を示す図である。
実施の形態13における送信機の適用例を示す図である。
実施の形態13における撮像素子を説明するための図である。
実施の形態13における撮像素子を説明するための図である。
実施の形態13における撮像素子を説明するための図である。
各実施の形態の変形例に係る受信装置(撮像装置)の処理動作を示すフローチャートである。
各実施の形態の変形例に係る通常撮像モードマクロ撮像モードとを対比して示す図である。
各実施の形態の変形例に係る、映像などを表示する表示装置を示す図である。
各実施の形態の変形例に係る表示装置の処理動作の一例を示す図である。
各実施の形態の変形例に係る表示装置における信号を送信する部分の例を示す図である。
各実施の形態の変形例に係る表示装置の処理動作の他の例を示す図である。
各実施の形態の変形例に係る表示装置における信号を送信する部分の他の例を示す図である。
各実施の形態の変形例に係る表示装置による処理動作のさらに他の例を示す図である。
各実施の形態の変形例に係る送信機および受信機を含む通信システムの構成を示す図である。
各実施の形態の変形例に係る通信システムの処理動作を示すフローチャートである。
各実施の形態の変形例に係る信号伝送の例を示す図である。
各実施の形態の変形例に係る信号伝送の例を示す図である。
各実施の形態の変形例に係る信号伝送の例を示す図である。
各実施の形態の変形例に係る信号伝送の例を示す図である。
各実施の形態の変形例に係る信号伝送の例を示す図である。
各実施の形態の変形例に係る信号伝送の例を示す図である。
各実施の形態の変形例に係る、ディスプレイまたはプロジェクタと受信機とを含む通信システムの処理動作を示すフローチャートである。
各実施の形態の変形例に係る送信信号の例を示す図である。
各実施の形態の変形例に係る送信信号の例を示す図である。
各実施の形態の変形例に係る送信信号の例を示す図である。
各実施の形態の変形例に係る受信機の撮像素子の一例を示す図である。
各実施の形態の変形例に係る受信機の撮像装置の内部回路の構成例を示す図である。
各実施の形態の変形例に係る送信信号の例を示す図である。
各実施の形態の変形例に係る送信信号の例を示す図である。
各実施の形態の変形例に係る受信機の撮像モードを説明するための図である。
各実施の形態の変形例に係る受信機の特別撮像モードAを用いた処理動作を示すフローチャートである。
各実施の形態の変形例に係る受信機の他の撮像モードを説明するための図である。
各実施の形態の変形例に係る受信機の特別撮像モードBを用いた処理動作を示すフローチャートである。
各実施の形態の変形例に係る受信機のさらに他の撮像モードを説明するための図である。
各実施の形態の変形例に係る受信機の特別撮像モードCを用いた処理動作を示すフローチャートである。
本発明の一態様に係る情報通信方法のフローチャートである。
本発明の一態様に係る情報通信装置のブロック図である。
本発明の一態様に係る情報通信方法のフローチャートである。
本発明の一態様に係る情報通信装置のブロック図である。
本発明の一態様に係る情報通信方法によって得られる画像の一例を示す図である。
本発明の他の態様に係る情報通信方法のフローチャートである。
本発明の他の態様に係る情報通信装置のブロック図である。
本発明のさらに他の態様に係る情報通信方法のフローチャートである。
本発明のさらに他の態様に係る情報通信装置のブロック図である。
図335は、実施の形態14における受信機の各モードの一例を示す図である。
図336は、実施の形態14における受信機の撮影動作の一例を示す図である。
図337は、実施の形態14における受信機の撮影動作の他の例を示す図である。
図338Aは、実施の形態14における受信機の撮影動作の他の例を示す図である。
図338Bは、実施の形態14における受信機の撮影動作の他の例を示す図である。
図338Cは、実施の形態14における受信機の撮影動作の他の例を示す図である。
図339Aは、実施の形態14における受信機のカメラ配置の一例を示す図である。
図339Bは、実施の形態14における受信機のカメラ配置の他の例を示す図である。
図340は、実施の形態14における受信機の表示動作の一例を示す図である。
図341は、実施の形態14における受信機の表示動作の一例を示す図である。
図342は、実施の形態14における受信機の動作の一例を示す図である。
図343は、実施の形態14における受信機の動作の他の例を示す図である。
図344は、実施の形態14における受信機の動作の他の例を示す図である。
図345は、実施の形態14における受信機の動作の他の例を示す図である。
図346は、実施の形態14における受信機の動作の他の例を示す図である。
図347は、実施の形態14における受信機の動作の他の例を示す図である。
図348は、実施の形態14における受信機の動作の他の例を示す図である。
図349は、実施の形態14における受信機と送信機とサーバとの動作の一例を示す図である。
図350は、実施の形態14における受信機の動作の他の例を示す図である。
図351は、実施の形態14における受信機の動作の他の例を示す図である。
図352は、実施の形態14における受信機の初期設定の例を示す図である。
図353は、実施の形態14における受信機の動作の他の例を示す図である。
図354は、実施の形態14における受信機の動作の他の例を示す図である。
図355は、実施の形態14における受信機の動作の他の例を示す図である。
図356は、実施の形態14における受信機の動作の他の例を示す図である。
図357は、実施の形態14における受信機の動作の他の例を示す図である。
図358は、実施の形態14における受信機の動作の他の例を示す図である。
図359Aは、実施の形態14における受信機の操作に用いられるペンを示す図である。
図359Bは、実施の形態14におけるペンを用いた受信機の動作を示す図である。
図360は、実施の形態14における受信機の外観の一例を示す図である。
図361は、実施の形態14における受信機の外観の他の例を示す図である。
図362は、実施の形態14における受信機の動作の他の例を示す図である。
図363Aは、実施の形態14における受信機の動作の他の例を示す図である。
図363Bは、実施の形態14における受信機を用いた応用例を示す図である。
図364Aは、実施の形態14における受信機の動作の他の例を示す図である。
図364Bは、実施の形態14における受信機を用いた応用例を示す図である。
図365Aは、実施の形態14における送信機の動作の一例を示す図である。
図365Bは、実施の形態14における送信機の動作の他の例を示す図である。
図366は、実施の形態14における送信機の動作の他の例を示す図である。
図367は、実施の形態14における送信機の動作の他の例を示す図である。
図368は、実施の形態14における複数の送信機と受信機との間の通信形態の一例を示す図である。
図369は、実施の形態14における複数の送信機の動作の一例を示す図である。
図370は、実施の形態14における複数の送信機と受信機との間の通信形態の他の例を示す図である。
図371は、実施の形態14における受信機の動作の他の例を示す図である。
図372は、実施の形態14における受信機の応用例を示す図である。
図373は、実施の形態14における受信機の応用例を示す図である。
図374は、実施の形態14における受信機の応用例を示す図である。
図375は、実施の形態14における送信機の応用例を示す図である。
図376は、実施の形態14における送信機の応用例を示す図である。
図377は、実施の形態14における受信方法の応用例を示す図である。
図378は、実施の形態14における送信機の応用例を示す図である。
図379は、実施の形態14における送信機の応用例を示す図である。
図380は、実施の形態14における送信機の応用例を示す図である。
図381は、実施の形態14における受信機の動作の他の例を示す図である。
図382は、実施の形態15における受信機の動作の一例を示すフローチャートである。
図383は、実施の形態15における受信機の動作の他の例を示すフローチャートである。
図384Aは、実施の形態15における送信機の一例を示すブロック図である。
図384Bは、実施の形態15における送信機の他の例を示すブロック図である。
図385は、実施の形態15における複数の送信機を含むシステムの構成例を示す図である。
図386は、実施の形態15における送信機の他の例を示すブロック図である。
図387Aは、実施の形態15における送信機の一例を示す図である。
図387Bは、実施の形態15における送信機の一例を示す図である。
図387Cは、実施の形態15における送信機の一例を示す図である。
図388Aは、実施の形態15における送信機の一例を示す図である。
図388Bは、実施の形態15における送信機の一例を示す図である。
図389は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。
図390は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。
図391は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。
図392Aは、実施の形態15における複数の送信機の同期を説明するための説明図である。
図392Bは、実施の形態15における複数の送信機の同期を説明するための説明図である。
図393は、実施の形態15における送信機および受信機の動作の一例を示す図である。
図394は、実施の形態15における送信機および受信機の動作の一例を示す図である。
図395は、実施の形態15における送信機、受信機およびサーバの動作の一例を示す図である。
図396は、実施の形態15における送信機および受信機の動作の一例を示す図である。
図397は、実施の形態15における受信機の外観の一例を示す図である。
図398は、実施の形態15における送信機、受信機およびサーバの動作の一例を示す図である。
図399は、実施の形態15における送信機および受信機の動作の一例を示す図である。
図400は、実施の形態15における送信機および受信機の動作の一例を示す図である。
図401は、実施の形態15における送信機および受信機の動作の一例を示す図である。
図402は、実施の形態15における送信機および受信機の動作の一例を示す図である。
図403Aは、実施の形態15における送信機によって送信される情報の構成の一例を示す図である。
図403Bは、実施の形態15における送信機によって送信される情報の構成の他の例を示す図である。
図404は、実施の形態15における送信機による4値PPM変調方式の一例を示す図である。
図405は、実施の形態15における送信機によるPPM変調方式の一例を示す図である。
図406は、実施の形態15における送信機におけるPPM変調方式の一例を示す図である。
図407Aは、実施の形態15におけるヘッダプリアンブル部)に対応する輝度変化のパターンの一例を示す図である。
図407Bは、実施の形態15における輝度変化のパターンの一例を示す図である。
図408Aは、実施の形態15における輝度変化のパターンの一例を示す図である。
図408Bは、実施の形態15における輝度変化のパターンの一例を示す図である。
図409は、実施の形態16における、店前のシチュエーションでの受信機の動作の一例を示す図である。
図410は、実施の形態16における、店前のシチュエーションでの受信機の動作の他の例を示す図である。
図411は、実施の形態16における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。
図412は、実施の形態16における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。
図413は、実施の形態16における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。
図414は、実施の形態16における、店内のシチュエーションでの表示装置の動作の一例を示す図である。
図415は、実施の形態16における、店内のシチュエーションでの表示装置の次の動作の一例を示す図である。
図416は、実施の形態16における、店内のシチュエーションでの表示装置の次の動作の一例を示す図である。
図417は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。
図418は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。
図419は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。
図420は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。
図421は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。
図422は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。
図423は、実施の形態16における、店探しのシチュエーションでの受信機の動作の一例を示す図である。
図424は、実施の形態16における、店探しのシチュエーションでの受信機の次の動作の一例を示す図である。
図425は、実施の形態16における、店探しのシチュエーションでの受信機の次の動作の一例を示す図である。
図426は、実施の形態16における、映画広告のシチュエーションでの受信機の動作の一例を示す図である。
図427は、実施の形態16における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。
図428は、実施の形態16における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。
図429は、実施の形態16における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。
図430は、実施の形態16における、美術館のシチュエーションでの受信機の動作の一例を示す図である。
図431は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。
図432は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。
図433は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。
図434は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。
図435は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。
図436は、実施の形態16における、バス停留所のシチュエーションでの受信機の動作の一例を示す図である。
図437は、実施の形態16における、バス停留所のシチュエーションでの受信機の次の動作の一例を示す図である。
図438は、実施の形態16における撮像を説明するための図である。
図439は、実施の形態16における送信および撮像を説明するための図である。
図440は、実施の形態16における送信を説明するための図である。
図441は、実施の形態17における送信機の動作の一例を示す図である。
図442は、実施の形態17における送信機の動作の一例を示す図である。
図443は、実施の形態17における送信機の動作の一例を示す図である。
図444は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図445は、実施の形態17における受信機の動作の一例を示す図である。
図446は、実施の形態17における受信機の動作の一例を示す図である。
図447は、実施の形態17における送信機、受信機およびサーバを有するシステムの動作の一例を示す図である。
図448は、実施の形態17における送信機の構成を示すブロック図である。
図449は、実施の形態17における受信機の構成を示すブロック図である。
図450は、実施の形態17における送信機の動作の一例を示す図である。
図451は、実施の形態17における送信機の動作の一例を示す図である。
図452は、実施の形態17における送信機の動作の一例を示す図である。
図453は、実施の形態17における送信機の動作の一例を示す図である。
図454は、実施の形態17における送信機の動作の一例を示す図である。
図455は、実施の形態17における送信機の動作の一例を示す図である。
図456は、実施の形態17における送信機の動作の一例を示す図である。
図457は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図458は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図459は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図460は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図461は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図462は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図463は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図464は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図465は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図466は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図467は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図468は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図469は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図470は、実施の形態17における符号化方式を示す図である。
図471は、実施の形態17における斜方向から撮像した場合でも受光可能な符号化方式を示す図である。
図472は、実施の形態17における距離によって情報量が異なる符号化方式を示す図である。
図473は、実施の形態17における距離によって情報量が異なる符号化方式を示す図である。
図474は、実施の形態17におけるデータを分割した符号化方式を示す図である。
図475は、実施の形態17における逆相画像を挿入の効果を示す図である。
図476は、実施の形態17における逆相画像を挿入の効果を示す図である。
図477は、実施の形態17における超解像処理を示す図である。
図478は、実施の形態17における可視光通信に対応していることの表示を示す図である。
図479は、実施の形態17における可視光通信信号を用いた情報取得を示す図である。
図480は、実施の形態17におけるデータフォーマットを示す図である。
図481は、実施の形態17における立体形状を推定して受信を示す図である。
図482は、実施の形態17における立体形状を推定して受信を示す図である。
図483は、実施の形態17における立体投影を示す図である。
図484は、実施の形態17における立体投影を示す図である。
図485は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図486は、実施の形態17における送信機および受信機の動作の一例を示す図である。
図487は、実施の形態18の送信信号の一例を示す図である。
図488は、実施の形態18の送信信号の一例を示す図である。
図489Aは、実施の形態18における受信機の撮像画像輝線画像)の一例を示す図である。
図489Bは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図489Cは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図490Aは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図490Bは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図491Aは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図491Bは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図491Cは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図492は、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
図493は、実施の形態18における送信信号の一例を示す図である。
図494は、実施の形態18における受信機の動作の一例を示す図である。
図495は、実施の形態18における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。
図496は、実施の形態18における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。
図497は、実施の形態18における信号送信方法の一例を示す図である。
図498は、実施の形態18における信号送信方法の一例を示す図である。
図499は、実施の形態18における信号送信方法の一例を示す図である。
図500は、実施の形態18における信号送信方法の一例を示す図である。
図501は、実施の形態18におけるユースケースを説明するための図である。
図502は、実施の形態18におけるスマートフォンがサーバーに送信する情報テーブルを示す図である。
図503は、実施の形態18におけるサーバーのブロック図である。
図504は、実施の形態18におけるシステムの全体の処理を示すフローチャートである。
図505は、実施の形態18におけるサーバーがスマートフォンへ送信する情報テーブルを示す図である。
図506は、実施の形態18におけるユーザーが店舗前でサーバーから情報を受け取ってから実際に商品を購入するまでのウェアラブルデバイスに表示される画面フローを示す図である。
図507は、実施の形態18における他のユースケースを説明するための図である。
図508は、各実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
図509は、サービス提供のフローを示すフローチャートである。
図510は、他の例におけるサービス提供を示すフローチャートである。
図511は、他の例におけるサービス提供を示すフローチャートである。
図512は、実施の形態20における受信しやすい変調方式を説明するための図である。
図513は、実施の形態20における受信しやすい変調方式を説明するための図である。
図514は、実施の形態20における輝線による通信と画像認識の併用を説明するための図である。
図515は、実施の形態20における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。
図516は、実施の形態20における可視光信号の受信に適した撮像画像サイズを示す図である。
図517は、実施の形態20における可視光信号の受信に適した撮像画像サイズを示す図である。
図518は、実施の形態20におけるズームを利用した可視光信号の受信を説明するための図である。
図519は、実施の形態20における可視光信号の受信に適した画像データサイズ圧縮方法を説明するための図である。
図520は、実施の形態20における受信エラー検出精度が高い変調方式を説明するための図である。
図521は、実施の形態20における状況の違いによる受信機の動作の変更を説明するための図である。
図522は、実施の形態20における人間への可視光通信の通知を説明するための図である。
図523は、実施の形態20における散光板による受信範囲の拡大を説明するための図である。
図524は、実施の形態20における複数プロジェクタからの信号送信同期方法を説明するための図である。
図525は、実施の形態20における複数ディスプレイからの信号送信の同期方法を説明するための図である。
図526は、実施の形態20における照度センサイメージセンサによる可視光信号の受信を説明するための図である。
図527は、実施の形態20における受信開始トリガを説明するための図である。
図528は、実施の形態20における受信開始のジェスチャを説明するための図である。
図529は、実施の形態20におけるカーナビへの応用例を説明するための図である。
図530は、実施の形態20におけるカーナビへの応用例を説明するための図である。
図531は、実施の形態20におけるコンテンツ保護への応用例を説明するための図である。
図532は、実施の形態20における電子錠としての応用例を説明するための図である。
図533は、実施の形態20における来店情報伝達としての応用例を説明するための図である。
図534は、実施の形態20における場所に応じた注文制御の応用例を説明するための図である。
図535は、実施の形態20における道案内への応用例を説明するための図である。
図536は、実施の形態20における所在連絡への応用例を説明するための図である。
図537は、実施の形態20における利用ログ蓄積と解析への応用例を説明するための図である。
図538は、実施の形態20における画面共有への応用例を説明する他めの図である。
図539は、実施の形態20における画面共有への応用例を説明する他めの図である。
図540は、実施の形態20における無線アクセスポイントを利用した位置推定の応用例を説明するための図である。
図541は、実施の形態20における可視光通信と無線通信とによる位置推定を行う構成を示す図である。
図542Aは、本発明の一態様に係る情報通信方法のフローチャートである。
図542Bは、本発明の一態様に係る情報通信装置のブロック図である。
図543は、光センサを搭載した時計を示す図である。
図544は、本発明の一態様に係る情報通信方法の応用例を示す図である。
図545は、本発明の一態様に係る情報通信方法の応用例を示す図である。
図546は、本発明の一態様に係る情報通信方法の応用例を示す図である。

実施例

0010

本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、複数の送信対象の信号のそれぞれを変調することによって、複数の輝度変化のパターンを決定する決定ステップと、複数の発光体のそれぞれが、決定された複数の輝度変化のパターンのうちの何れか1つのパターンにしたがって輝度変化することによって、前記何れか1つのパターンに対応する送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の発光体のうちの2つ以上の発光体のそれぞれは、当該発光体に対して予め定められた時間単位ごとに、互いに輝度の異なる2種類の光のうちの何れか一方の光が出力されるように、且つ、前記2つ以上の発光体のそれぞれに対して予め定められた前記時間単位が互いに異なるように、互いに異なる周波数で輝度変化する。

0011

これにより、例えば後述する図441などを用いて説明した動作のように、2つ以上の発光体(例えば、照明機器として構成された送信機)のそれぞれが互いに異なる周波数で輝度変化するため、それらの発光体から送信対象の信号(例えば、発光体のID)を受信する受信機は、それらの送信対象の信号を容易に区別して取得することができる。

0012

また、前記送信ステップでは、前記複数の発光体のそれぞれは、少なくとも4種類の周波数のうちの何れか1つの周波数で輝度変化し、前記複数の発光体のうちの2つ以上の発光体は、同一の周波数で輝度変化してもよい。例えば、前記送信ステップでは、前記複数の送信対象の信号を受信するためのイメージセンサの受光面に、前記複数の発光体が投影される場合に、前記受光面上で互いに隣接する全ての発光体間で輝度変化の周波数が異なるように、前記複数の発光体のそれぞれは輝度変化する。

0013

これにより、例えば後述する図442などを用いて説明した動作のように、輝度変化に用いられる周波数が少なくとも4種類あれば、同一の周波数で輝度変化する発光体が2つ以上ある場合であっても、つまり、周波数の種類の数が複数の発光体の数よりも少ない場合であっても、四色問題または四色定理に基づいて、イメージセンサの受光面上で互いに隣接する全ての発光体間で輝度変化の周波数を確実に異なるせることができる。その結果、受信機は、複数の発光体から送信される送信対象の信号のそれぞれを容易に区別して取得することができる。

0014

また、前記送信ステップでは、前記複数の発光体のそれぞれは、送信対象の信号のハッシュ値によって特定される周波数で輝度変化することによって、前記送信対象の信号を送信してもよい。

0015

これにより、例えば後述する図441などを用いて説明した動作のように、複数の発光体のそれぞれは、送信対象の信号(例えば、発光体のID)のハッシュ値によって特定される周波数で輝度変化するため、受信機は、送信対象の信号を受信したときには、実際の輝度変化から特定される周波数と、ハッシュ値によって特定される周波数とが一致するか否かを判定することができる。つまり、受信機は、受信された信号(例えば、発光体のID)にエラーがあったか否かを判定することができる。

0016

また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって、当該送信対象の信号に対応する周波数を第1の周波数として算出する周波数算出ステップと、周波数記憶部に記憶されている第2の周波数と、算出された前記1の周波数とが一致するか否かを判定する周波数判定ステップと、前記第1の周波数と前記第2の周波数とが一致しないと判定された場合には、エラーを報知する周波数エラー報知ステップとを含み、前記第1の周波数と前記第2の周波数とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって、前記第1の周波数で輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。

0017

これにより、例えば後述する図448などを用いて説明した動作のように、周波数記憶部に記憶されている周波数と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出された周波数とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能異常検出を容易に行うことができる。

0018

また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって第1のチェック値を算出するチェック値算出ステップと、チェック値記憶部に記憶されている第2のチェック値と、算出された前記1のチェック値とが一致するか否かを判定するチェック値判定ステップと、前記第1のチェック値と前記第2のチェック値とが一致しないと判定された場合には、エラーを報知するチェック値エラー報知ステップとを含み、前記第1のチェック値と前記第2のチェック値とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。

0019

これにより、例えば後述する図448などを用いて説明した動作のように、チェック値記憶部に記憶されているチェック値と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出されたチェック値とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。

0020

また、前記情報通信方法は、さらに、前記複数の発光体のうちの1つである被写体のイメージセンサによる撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンに基づいて、前記被写体の輝度変化の周波数を特定する周波数特定ステップとを含んでもよい。例えば、前記周波数特定ステップでは、前記複数の輝線のパターンに含まれる、それぞれヘッダを示すために予め定められた複数のパターンである複数のヘッダパターンを特定し、前記複数のヘッダパターン間の画素数に応じた周波数を、前記被写体の輝度変化の周波数として特定する。

0021

これにより、例えば後述する図443などを用いて説明した動作のように、被写体の輝度変化の周波数が特定されるため、輝度変化の周波数が異なる複数の被写体が撮影される場合には、それらの被写体からの情報を容易に区別して取得することができる。

0022

また、前記画像取得ステップでは、それぞれ輝度変化する複数の被写体を撮影することによって、それぞれ複数の輝線によって表される複数のパターンを含む前記輝線画像を取得し、前記情報取得ステップでは、取得された前記輝線画像に含まれる前記複数のパターンのそれぞれの一部が重なっている場合には、前記複数のパターンのそれぞから前記一部を除く部分によって特定されるデータを復調することにより、前記複数のパターンのそれぞれから情報を取得してもよい。

0023

これにより、例えば後述する図445などを用いて説明した動作のように、複数のパターン(複数の輝線パターン)が重なっている部分からはデータの復調が行われないため、誤った情報を取得してしまうことを防ぐことができる。

0024

また、前記画像取得ステップでは、前記複数の被写体を互いに異なるタイミングで複数回撮影することによって、複数の輝線画像を取得し、前記周波数特定ステップでは、輝線画像ごとに、当該輝線画像に含まれる前記複数のパターンのそれぞれに対する周波数を特定し、前記情報取得ステップでは、前記複数の輝線画像から、同一の周波数が特定された複数のパターンを検索し、検索された前記複数のパターンを結合し、結合された前記複数のパターンによって特定さるデータを復調することにより情報を取得してもよい。

0025

これにより、複数の輝線画像から、同一の周波数が特定された複数のパターン(複数の輝線パターン)が検索され、検索された複数のパターンが結合され、結合された複数のパターンから情報が取得されるため、複数の被写体が移動している場合であっても、それらの複数の被写体からの情報を容易に区別して取得することができる。

0026

また、前記情報通信方法は、さらに、識別情報のそれぞれに対して周波数が登録されているサーバに対して、前記情報取得ステップで取得された情報に含まれる前記被写体の識別情報と、前記周波数特定ステップで特定された周波数を示す特定周波数情報とを送信する周波数送信ステップと、前記識別情報と、前記特定周波数情報によって示される周波数とに関連付けられた関連情報を前記サーバから取得する関連情報取得ステップとを含んでもよい。

0027

これにより、例えば後述する図447などを用いて説明した動作のように、被写体(送信機)の輝度変化に基づいて取得された識別情報(ID)と、その輝度変化の周波数とに関連付けられた関連情報が取得される。したがって、被写体の輝度変化の周波数を変更し、サーバに登録されている周波数を変更後の周波数に更新することによって、周波数の変更前に識別情報を取得した受信機がサーバから関連情報を取得することを防ぐことができる。つまり、被写体の輝度変化の周波数の変更に合わせて、サーバに登録されている周波数も変更することによって、被写体の識別情報を過去に取得した受信機が無期限にサーバから関連情報を取得し得る状態になってしまうことを防ぐことができる。

0028

また、前記情報通信方法は、さらに、前記情報取得ステップで取得された前記情報から一部を抽出することによって、前記被写体の識別情報を取得する識別情報取得ステップと、前記情報取得ステップで取得された前記情報のうち、前記一部以外の残りの部分によって示される数を、前記被写体に対して設定されている輝度変化の設定周波数として特定する設定周波数特定ステップとを含んでもよい。

0029

これにより、例えば後述する図444などを用いて説明した動作のように、複数の輝線のパターンから得られる情報に、被写体の識別情報と、被写体に設定されている輝度変化の設定周波数とを互いに依存することなく含めることができるため、識別情報と設定周波数との自由度を高めることができる。

0030

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

0031

以下、実施の形態について、図面を参照しながら具体的に説明する。

0032

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

0033

(実施の形態1)
図1は、実施の形態1の原理を示す図である。図2図14は、実施の形態1の動作の一例を示す図である。

0034

図1の(a)に示すイメージセンサは、各ライン1の露光時間はライン毎に遅れを生じる。通常のシャッタ速度では時間的に各ラインは重なる部分を持つため、同一時間の光信号は各ラインに混合されるため判別できない。ここでシャッタの開時間を短くする場合、ある一定のシャッタ速度以下に露光時間が短くなると図1の(a)のように重ならなくなるため、ライン毎に光信号を時間的に分離して読むことができる。

0035

この状態で図1の(a)の上部のような「1011011」の光信号を与えると、最初の「1」の光信号はライン1のシャッタ開時間に入光するためライン1で光電変換され、図1の(b)の電気信号2aの「1」として出力される。同様にして次の光信号「0」は(b)の電気信号「0」となり、7bitの「1011011」の光信号は正確に電気信号に変換される。

0036

実際には、図1の(b)のように垂直ブランキング時間により不感時間があるため、一部の時間帯の光信号は取り出せない。これを解決するため、本実施の形態では「通常の撮影モード」から「光信号の読み出しモード」に切り換わった時にCMOS等の撮像デバイスアクセスアドレスを変更して一番下にある最後の読み出しライン1hの次に、最初の読み出しライン1aを読み出すことによりブランク期間の問題を解決している。画質に若干悪い影響を与えるが、連続的に(シームレスに)読み出せるという効果が得られ伝送効効率が大幅に向上する。

0037

本実施の形態では1ラインに最高で1個のシンボル割り当てることができるため、後に述べるような同期方式をとった場合、1000ラインで30fpsの撮像素子を用いたとき、最大で30kbpsの伝送が理論上可能となる。

0038

なお、同期をとる場合は、図2のようにカメラの受光素子の信号を見て、最もコントラストが得られるように、もしくは、データのエラーレートが低くなるようにラインのアクセス用のクロックを上下に変更することにより同期をとることができる。光信号よりイメージセンサのラインのクロックが速い場合は、図2のように2ラインもしくは3ラインのnラインで光信号の1シンボルを受信することにより、同期をとることができる。

0039

また、図3のTVや図4の左図のTVのようなディスプレイや、縦にn個例えば10個分割された光源を、携帯電話のカメラで本発明の高速電子シャッタやブランキング無し等の検出モード切り替えて撮影すると、図4の右図のように本実施の形態特有ストライプ状のパターンがそれぞれ独立して10本検出できるため、10倍(n倍)の転送レートとなる。

0040

例えば30fps1000ラインのイメージセンサを10分割した場合、300kbpsとなる。HD映像では水平に1980ピクセルあるため、50本に分割できる。すると1.5Mbpsとなり、動画の映像データが受信可能となる。200本ならHD映像が伝送できる。

0041

本実施の形態での効果を得るためには、検出できる最も長い露出時間をT0とすると、T0以下にシャッタ時間を短くする必要がある。図1の右上図のようにフレーム波数をfpとすると、シャッタ時間は1/fpの半分以下にする必要がある。なぜなら、撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fpとなるからである。

0042

しかし、チラツキを抑えるためには4値PPM等が必要なため、1(fp×2×4)分の1、つまり、8fp分の1となる。通常の携帯電話のカメラはfp=30、60であるため、1/240、1/480、つまり、1/480以下のシャッタ速度に設定すれば、互換性を保ちながら、本実施の形態の可視光の光通信が携帯電話等のカメラを用いて受信できる。

0043

実際には、本実施の形態での同期方式を採用していない携帯電話が世の中に数多く存在するため、当初は非同期型の通信となる。この場合は、光信号のクロックの2倍以上、具体的な2〜10倍の走査ラインを用いて1シンボルを受信することにより、情報レート落ちるが互換性のある通信が実現する。

0044

チラツキを防ぐ必要がある照明機器の場合、4値PPM、つまり4つのbitのうち1つの時間帯に消灯もしくは減光して発光させる。この場合ビットレートは半分に落ちるが、チラツキがなくなるため、照明機器に使用でき明かりとデータを送ることができる。

0045

図5は屋内で共通時間帯に全体の照明機から共通信号おくり、個別時間帯に、個別の照明機L4から個別の副情報が送られている状況で、光信号を受信する状況を示している。L4は面積が狭いため大量のデータを送るには時間がかかる。従って個別時間帯に数ビットのIDだけ送り、共通時間帯にL1、L2、L3、L4、L5の全てが同じ内容の共通情報を送る。

0046

図6Aを用いて詳しく説明すると、図6A下の時間帯Aでは共通情報である、「部屋の基準位置の位置情報、各IDの個別機器の配置情報(基準位置からの差分位置情報)、サーバのURL、データ放送、LAN送信データ」を部屋の中の全ての照明である主領域Mの2本の照明と、その一部にあるS1、S2、S3、S4が一斉に同じ光信号を発信させる。部屋中が同一の光信号で照らされるため、共通時間帯に、携帯のカメラ部が確実にデータ受信できるという効果がある。

0047

一方、時間帯Bでは、右上の上面図に示すように、主領域Mは点滅しないで、通常の1/nの光量で連続的に発光する。4値PPMの場合、通常の3/4つまり75%で発光すると平均光量が変わらないためチラツキが防げる。平均光量が変わらない範囲で点滅すればチラツキはないが、時間帯Bにおける部分領域S1、S2、S3、S4の受信にノイズとなるため好ましくない。時間帯Bにおいては、S1、S2、S3、S4が各々別のデータ内容の光信号を送る。主領域Mは変調信号を送らないため、右上の携帯の画面のように、位置的に分離されている。このため、例えばS1の領域の画像を取り出した場合、ノイズが少ないため、領域の中に発生するストライプを検出することが容易になるため、安定してデータが得られる。

0048

図6Bは、本実施の形態における送信機および受信機の動作を説明するための図である。

0049

送信機8161は、例えばサイネージとして構成されており、「A shop」と記載されている領域Aと、「B shop」と記載されている領域Bとを輝度変化させる。これにより、それぞれの領域から信号Aおよび信号Bが送信される。例えば、信号Aおよび信号Bのそれぞれには、共通の内容を示す共通部分と、互いに異なる内容を示す固有部分とが含まれている。信号Aおよび信号Bのそれぞれの共通部分は同時に送信される。その結果、受信機8162は、信号Aの共通部分および信号Bの共通部分のうちの少なくとも一方を受信すると、そのサイネージ全体の画像を表示する。また、送信機は、信号Aの固有部分と信号Bの固有部分とを同時に送信してもよく、互いに異なるタイミングに送信してもよい。受信機8162は、例えば信号Bの固有部分を受信すると、上述の領域Bに対応する例えば店舗の詳細な情報を表示する。

0050

図6Cは、本実施の形態における送信機および受信機の動作を説明するための図である。

0051

例えば、送信機8161は、上述のように、信号Aおよび信号Bの共通部分を同時に送信し、次に、信号Aおよび信号Bのそれぞれの互いに異なる内容を示す独自部分を同時に送信する。受信機8162は送信機8161を撮像することによって、その送信機8161から信号を受信する。

0052

ここで、送信機8161が信号Aおよび信号Bの共通部分を送信しているときには、送信機8161を2つの領域に分けることなく1つの大きな領域として捉えることができる。その結果、受信機8162は、送信機8161から遠い位置にあってもその共通部分を受信することができる。このときには、受信機8162は、その共通部分に対応付けられている情報をサーバから取得して表示する。例えば、サーバは、送信機8161であるサイネージに示されている全ての店舗の情報を受信機8162に送信する。または、サーバは、それらの店舗の中から任意の店舗の情報を選択して受信機8162に送信する。例えば、サーバは、それらの店舗の中で最も多い登録金額支払っている店舗の情報を優先的に受信機8162に送信する。または、サーバは、受信機8162のカメラで撮影されている範囲の中心にある領域(領域Aまたは領域B)に対応する店舗の情報を送信する。または、サーバは、ランダムに店舗を選んで、その店舗の情報を受信機8162に送信する。

0053

また、受信機8162は、送信機8161に近い位置にあるときには、信号Aまたは信号Bの独自部分を受信することができる。このときには、受信機8162は、その独自部分に関連付けられた情報をサーバから取得する。

0054

例えば、図7に示すようにカメラが横方向(水平方向)の走査をしている時は4値PPMの場合、照明L2がフェースカメラにより撮影され、右側のように3本のストライプが見えると「0101」つまりフレームあたり4bitのデータが復調できる。この中にIDのデータがあるため、共通データ基準位置情報と、個別データの各IDとの距離差情報もしくは配置情報を演算することにより、高速つまり短時間に携帯端末の位置を検出できるという効果がある。このように例えば2bitのIDを送るだけで4つの光源のデータと位置を1枚のフレーム情報で瞬時に認識できる。

0055

図8を用いて、この個別光源の低ビットのID情報を使った例を説明する。

0056

本実施の形態では図8の共通データ101で、図に示すように基準位置、サーバのURL、各IDの配置情報。エリア別データ放送の大容量データが全ての照明を用いて共通時間帯に送られる。

0057

前述のように図8の(a)のL1、L2、L3、L4〜L8の個別IDが3bit復調できる。

0058

図8の(b)のように周波数f1と周波数f2の信号を送っても各照明部に本発明特有のストライプが検出され、周波数に対応したIDや変調データに対応したIDデータに変換される。このパターンを、配置情報を用いて演算するとどの位置から撮影したかわかる。つまり、L0から各IDの配置情報と基準位置情報が得られるため、端末の位置を特定できる。

0059

図8の(b)のように、周波数f1,f2を各IDに割り当て、例えば、f1=1000Hz,f2=1100Hz,…,f16=2500Hzとすることで、16値つまり4ビットの値を周波数によって表現できる。送信周波数を一定時間ごとに変化させることで、さらに多くの信号を送信することができる。周波数を変更する際や変調を開始/終了する際には、変更の前後で平均輝度を一定に保つことで、人間の目にちらつきを感じさせないという効果を得る。

0060

なお、受信機は信号の周期から周波数を求めるため、周波数を等間隔に信号に割り当てるよりも、周波数の逆数対数が等間隔になるように信号を割り当てるほうが、受信エラーを低減できる。

0061

例えば、1/15秒ごとに信号を変化させると、60ビット毎秒で送信できる。一般的な撮像装置は、1秒間に30フレームの画像を撮影するため、1/15秒間同じ周波数で信号を送信すると、送信機が撮像画像の1部にしか写っていなくても、確実に撮像を行うことができる。

0062

また、1/15秒間同じ周波数で信号を送信することで、受信機の負荷が高く処理できないフレームがある場合や、1秒間に15フレームの画像しか撮影できない撮像装置の場合でも、信号を受信することができる。

0063

露光ラインに垂直な方向に輝度値をフーリエ変換等により周波数解析を行うと、送信信号の周波数がピークとして現れる。周波数の切替部分など、複数の周波数が1フレーム内に撮像された場合は、単一周波数信号をフーリエ変換した場合よりも弱いピークとして、複数のピークが得られる。周波数の切替部分には、前後の周波数がまじりあうことをさけるために、保護部分を設けても良い。

0064

この方法によれば、一つの画面内に複数の周波数で順次送信している光を撮像した場合でも、送信周波数を解析することができ、1/15秒や、1/30秒より短い時間で送信信号の周波数を変更しても、受信することができる。

0065

送信信号の順序を認識するためには、1画面よりも短い範囲でフーリエ変換を行えば良い。また、撮像した画面を連結して、1画面より長い範囲でフーリエ変換を行なっても良い。この場合は、撮像のブランキング時間の輝度値は不明として扱う。保護部分は、特定の周波数の信号とするか、輝度変化をさせない(周波数0Hz)とする。

0066

図8の(b)のように、周波数f2のFM変調信号を送信し、続けてPPM変調信号を送信し、FM変調信号とPPM変調信号を交互に送信することで、どちらかの方法にしか対応していない受信機でも受信が可能になり、また、重要度の高い情報を比較的受信の容易なFM変調信号に割り当てることで、重要度の高い情報を優先的に送信することができる。

0067

本実施の形態では、各機器のIDと画面上の位置が同時に得られるため、照明とリンクしたURLにあるクラウド型のサーバのデータベースの中の、照明の各IDにリンクした画像情報、位置情報やアプリプログラムダウンロードし、ARの手法を用いて関連した商品等の画像をIDの照明を持つ機器の映像上に重ねて表示することができる。この場合、本実施の形態の復調モードを撮影モードに切り替えることにより美しい映像の上に重量されたAR画像が得られるという効果がある。

0068

さて、図5に示すように時間帯Aに、各IDの光源と基準位置との東西南北の距離差dを送ることにより、照明L4のcm単位の正確な位置がわかる。次に天井の高さH、携帯電話の持ち主身長より高さhを求め、携帯電話の姿勢情報を9軸センサにより補正して、正確なカメラ方向の角度θ2と照明と携帯電話との角度θ1を求め、d=(H−h)×arctan・θ1等の演算により、dを算出する。

0069

こうして、携帯電話の位置を高い精度で求めることができる。このように時間帯Aに共通光信号を送り、時間帯Bに個別光信号を送ることにより、確実に大容量の共通情報と、ID等の小容量の個別情報を、ほぼ同時に送ることができるという効果が得られる。

0070

図6Aの右上部の携帯端末のように個別光源S1〜S4が撮影される。図6Aの下のタイムチャートのように、時間Cでは、S1のみが光信号を送る。図9のt=Cのように1つだけストライプが発生するため、ノイズの影響を受けることなく検出できるという効果がある。

0071

また、t=D、Eのように2つの個別データを送ってもよい。t=H、Iのように、最も空間的に離れた個別データを送ることにより画面上で分離しやすいためエラー率が低くなるという効果がある。

0072

図9のt=Cの状況下においては、S1だけ復調すればよいため、他の領域のイメージセンサの走査は不要である。従ってt=CのようS1の領域が入るように走査本数を減少させることにより、S1領域だけ走査され、データを復調できる。このため、高速化するだけでなくS1の狭い領域だけで大容量のデータを復調することができるという効果がある。

0073

ただし、この場合、手振れにより領域S1がイメージセンサの走査範囲内からはずれる恐れがある。

0074

従って、図10に示すような手振れ補正が重要となる。携帯電話に内蔵されているジャイロセンサは手振れのような範囲の狭い微細な回転は通常検出できない。

0075

従って、図10の左図のようにL2の光信号をフェースカメラで受信する場合は、走査を限定した場合など、フェースカメラからの画像を使って画像から手振れを検出することは難しい。従ってインカメラをONにしてインカメラの画像から手振れを検出し、走査範囲もしくは検出範囲を補正することにより手振れの影響を軽減できる。これはフェースカメラの手振れとインカメラの手振れは同一だからである。

0076

フェースカメラの光信号パターン以外の走査領域のシャッタ速度を遅くして、正常な画像をこの領域から得て、この画像から手振れ補正することができる。この場合、1つのカメラで手振れ検出と信号検出ができる。このことは図10、右図のインカメラを使った場合にも同様の効果がある。

0077

図11は、フェースカメラで光信号検出を行ない、まず、端末の位置情報を入手する。

0078

この時の地点から移動距離l2を求める場合、携帯電話用の9軸センサは精度が悪いため、実用的でない。この場合、フェースカメラと反対のインカメラを使って、端末の姿勢と床面の模様の変化から図11のようにして移動距離l2を求めることができる。フェースカメラで天井の模様を検出してもよい。

0079

以下、実際の応用例を説明する。

0080

図12の構内で天井の照明から共通データであるデータ放送を受信し、個別データから自分の位置を入手している様子を示す図である。

0081

図13に示すように、コーヒー店バーコードの表示された携帯端末から認証情報を表示して、店の端末が読みとった後、店の端末の発光部から発光させ、携帯端末が本発明を用いて受信し、相互認証を行ない、セキュリティを向上させることができる。認証は逆に行っても良い。

0082

その携帯端末を持った客がテーブルに座ると入手した位置情報を店の端末に無線LAN等で送信するため、店員の端末に客の位置が表示されるため、注文した飲物を注文した客の位置情報のテーブルへと店員は運搬することができる。

0083

図14は、列車航空機の中で乗客は自分の位置を、本実施の形態の方法を用いて知り、端末で食物等の商品を注文する。搭乗員カートに本発明の端末があり、画面の注文した客の位置に注文した商品のIDナンバーが表示されるため客のところへ注文したIDの商品が的確に配達される。

0084

図4はTV等のディスプレイのバックライトに本実施の形態の方法または装置を用いた場合を示す図である。蛍光灯やLEDや有機ELは低迷の輝度変調をかけることができるため、本実施の形態の送信が可能である。ただし、特性上、走査方向が重要である。スマートフォンのように縦で使う場合は水平方向に走査されるため、画面の下部に横長の発光領域を設け、TV等の映像のコントラストをうすく、白色に近づけることにより容易に信号を受信できるという効果がある。

0085

デジタルカメラのように垂直方向に走査される場合は、図3の画面右側のようなタテ長の表示を設ける。

0086

これらの2つをひとつの画面内に設け、両者から同一の光信号を発光させることにより、どちらの走査方向のイメージセンサでも信号を受信することができる。

0087

なお、水平方向に走査するイメージセンサで垂直方向の発光部を受信しようとした場合、端末の画面に「横方向に回転させて撮影して下さい」のような表示を出すことにより、より的確で高速に受信することを使用者に促すことができる。

0088

なお、図2のように発光部の発光パターンにカメラのイメージセンサの走査ライン読み取りクロックを制御して同期をとることにより通信速度を大幅に上げることができる。

0089

図2の(a)のように発光パターンの1シンボルを2ラインで検出する場合、左のようなパターンでは同期している。中図のようなパターンの場合、イメージセンサの読み取りが早いため、映像素子読み出しクロックを低速化して同期させる。右図のようなパターンの場合、高速化し同期させる。

0090

図2の(b)の1シンボルを3つのラインで検出する場合は中図のようなパターンでは低速化し、右図では高速化させる。

0091

こうして高速な光通信が可能となる。

0092

なお、双方向通信する場合は、発光部の照明機器に人感センサとして赤外線受光部が設けられているので、これを受信に兼用することにより照明機において双方向受信が部品の追加なしでできる。端末側は、カメラ用のストロボライトを用いて送信することもできるし、別途安価な赤外発光部を設けても良い。こうして部品をあまり追加することなしに双方向通信が実現する。

0093

(実施の形態2)
位相変調による信号伝送)
図15は、実施の形態2の情報通信装置における送信信号のタイミング図である。

0094

図15において、基準波形(a)は周期Tのクロック信号であり、送信信号のタイミングの基準となる。送信シンボル(b)は、送信するデータ列に基づいて作成されるシンボル列を示している。ここでは、一例として1シンボル当たり1ビットの場合を示しているため、送信データのバイナリと同一となっている。送信波形(c)は、基準波形に対して送信シンボルに従って位相変調した送信波形であり、この波形に従って送信光源が駆動される。位相変調は、基準波形についてシンボルに対応して位相をずらすことで実施されており、この例においては、シンボル0は位相0°、シンボル1は位相180°の割り当てとなっている。

0095

図16は、実施の形態2における送信信号と受信信号の関係を示す図である。

0096

送信信号は図15と同様であり、送信信号が1の期間だけ光源が発光しており、この発光期間が右下がり斜線の領域で示されている。右上がり斜線で塗られた帯は、イメージセンサの画素が露光される期間(露光時間tE)を表しており、発光期間を示す右下がり斜線と重なる領域でイメージセンサの画素の信号電荷が生成される。画素値pは、この重複領域の面積に比例している。ここで、露光時間tEと周期Tとの間には、式1の関係が成り立つ。

0097

tE=T/2×(2n+1) n:自然数(式1)

0098

なお、図16図20は、n=2の場合を示す。即ちtE=2.5T。

0099

受信波形は、各ラインの画素値pを示している。ここで画素値軸の値は、1周期分の受光量を1として正規化されている。上述の通り露光時間tEは、T(n+1/2)の区間を持つため、画素値pは、常にn≦p≦n+1の範囲に存在し、図16の例については、2≦p≦3となる。

0100

図17図19は、図16とはそれぞれ異なるシンボル列について送信信号と受信信号の関係を示した図である。

0101

送信信号は、(図示されていない)連続する同一のシンボル列(例えば連続するシンボル0の列)を含むプリアンブルを持ち、受信側は、このプリアンブル中の連続するシンボル列により、受信のための基準信号を作成して、受信波形からシンボル列を読み出すタイミング信号としている。具体的には、連続するシンボル0について、図16で示している通り、受信波形は2→3→2を繰り返す一定の波形を返し、この画素値3が出力されるタイミングを基にクロック信号を基準信号として生成する。

0102

次に、受信波形からのシンボルの読み出しは、上記基準信号の1区間における受信信号を読み出して、画素値3の場合はシンボル0、画素値2の場合はシンボル1として読み出すことができる。図17図19においては、第4周期に位置するシンボルが読み出される様子を示している。

0103

図20は、図16図19をまとめた図であり、ラインが密に並んだ状態であるため、ライン方向の画素の区切りは省略して連続化して作図されている。ここでは、第4周期から第8周期のシンボル値が読み出される様子を示している。

0104

かかる構成により、本実施の形態においては、基準波の周期より十分長い時間について光信号の強度の平均を取った場合、常に一定となる。そして、基準波の周波数を適度に高く設定すれば、その時間を人が光量変化知覚する時間より短く設定することができるため、人の目から送信発光源を観察した場合、光源は一定に光っているように知覚される。そのため、光源のちらつきとして知覚されることはなく、前実施の形態における人に煩わしさを感じさせることがなくなる利点を持つ。

0105

また、各ラインの露光時間が長く、隣接ライン露光期間と重複する時間が長くなる状況において、前述の実施の形態における振幅変調オンオフ変調)では、信号の周波数(シンボルレート)を高めることができずに十分な信号伝送速度が得られない課題が生じるが、本実施の形態においては、このような状況においても信号の立ち上がり立ち下りエッジを検出可能であるため、信号の周波数を高めることができ、高い信号伝送速度を実現することができる。

0106

なお、ここで記述している「位相変調」は、基準信号波形に対する位相変調を意味している。本来の意味では、搬送波は光であり、これを振幅変調(オンオフ変調)して伝送しているため、この信号伝送における変調方式は振幅変調の一種である。

0107

また、上述の送信信号は一例であり、シンボル当りビット数は2以上に設定することも可能であり、また、シンボルと位相シフトの対応も0°、180°に限るものではなく、オフセットを有してもよい。

0108

なお、上記では説明を省略したが、以下の図124図200で説明する実施の形態6〜11で説明する光信号発生手段と光信号受信手段の構成および動作、効果は、図21以降の図面を用いて、実施の形態3以降で説明する、高速型光発光手段と光信号受信手段と置き換えて構成し動作させても、同様の効果があることは言うまでもない。また、逆に実施の形態3以降の高速型の光発光手段や受信手段を低速型の光発光手段や受信手段に置き換えても同様である。

0109

例えば、図11、で、携帯電話の表示部側のカメラであるフェースカメラと、図10では反対側にあるインカメラを使って照明機からの光信号からの位置情報等のデータを受信する例を示した。この場合、9軸センサを使うことにより、重力で上下方向を検出できる。

0110

図13のように、レストランでテーブルの上にある携帯電話で光信号を受信する場合、9軸センサの信号に応じて携帯電話の表側が上を向いている場合は、フェースカメラを作動させ、下を向いている場合は、インカメラに切り替えて光信号を受信することにより、電力消費を削減したり、迅速に光信号を受信したりすることができ、無駄なカメラの動作を停止することができる。この場合、カメラの明るさから、テーブルの上にあるカメラの向きを検知し同様の動作をさせることもできる。また、カメラが撮影モードから光信号の受信モード時に切り替わるときにシャッタ速度を早くするコマンドを送るとともに、撮像素子の感度を高めるコマンドを撮像回路部に送ると感度があがり、画像が明るくなるという効果がある。感度を高めるとノイズが増えるがホワイトノイズである。一方、光信号は特定の周波数域にあるため、周波数フィルターで分離もしくは除去することにより、検出感度を高めることができる。このため、暗い照明機器からの光信号を検出することができる。

0111

本発明は主に屋内にある空間の照明機器から光信号を発生させ、通信部と音声マイク音声スピーカーと表示部とインカメラとフェースカメラのカメラ部を持つ携帯端末のカメラ部により光信号を受信し、位置情報等を得るが、屋内から屋外に出ると、衛星を利用したGPSにより位置情報を検知できる。このため、光信号領域からの境界の位置情報を得て、GPSからの信号受信起動し、この切り替えを自動的に行うことにより、シームレスに位置検知ができるという効果がある。

0112

屋外から屋内に移動する時は、GPS等の位置情報により境界を検知して光信号の位置情報への自動切り替えを行う。また、携帯電話の表示部にバーコードを表示させ商店や、航空機の搭乗口POS端末で認証を行う場合、サーバを使うと応答時間がかかるため、現実的でないため片方向の認証しかできない。

0113

しかし、本発明を用いてPOS等の端末の読み取り機の発光部から携帯電話のフェースカメラ部に光信号を送信することにより相互認証が行えるため、セキュリティが向上する。

0114

(実施の形態3)
以下、実施の形態3について説明する。

0115

(発光部の輝度の観測
1枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図21は、1列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。

0116

この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図22のように、撮像画像上に露光ラインに沿った輝線(画素値の明暗の線)が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が2種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー(LO),高い方の輝度値をハイ(HI)と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。

0117

この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。

0118

一枚の撮像画像中に、露光時間が重ならない露光ラインが20ラインあり、撮像のフレームレートが30fpsのときは、1.67ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが1000ラインある場合は、3万分の1秒(約33マイクロ秒)周期の輝度変化を認識できる。なお、露光時間は例えば10ミリ秒よりも短く設定される。

0119

図22は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。

0120

この場合、1秒あたりのフレーム数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でflビット毎秒の速度で情報を伝送することができる。

0121

なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。

0122

このとき、露光ラインあたりの画素数がm画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でflmビット毎秒となる。

0123

図23のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。

0124

露光状態をElv段階で認識可能である場合には、最大でflElvビット毎秒の速度で情報を伝送することができる。

0125

また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。

0126

図24Aは、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、(1)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、(2)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、S/N比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。

0127

この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。

0128

なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの2値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。

0129

図24Bは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。7500aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7500bはそれより露光時間を長くとった場合である。7500bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。

0130

図24Cは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。7501aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7501bは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。7501bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔(=露光開始時刻の差)が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。

0131

図24B図24Cで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を1/480秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数=fとすると、露光時間<1/8×fと設定する必要がある。撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fとなる。更に、1/2fの時間内において、4値の情報を受ける必要があるため、少なくとも露光時間は、1/(2f×4)よりも短くする必要が生じる。通常フレームレートは、60フレーム/秒以下であることから、1/480秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。

0132

図24Dは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は7502aのように2値の輝度変化をしていたとしても、撮像画像では7502eのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、7502dのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、7502fのような、より適切な輝線パターンを検出することが可能となる。7502dのように、所定の露光しない空き時間を設ける構成は、露光時間tEを各露光ラインの露光開始時刻の時間差tDよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、7502gのように、各露光ラインの露光開始時刻の間隔tDを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、7502hのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。

0133

なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート(30fps、60fps)にて撮影を行う通常撮影モードと、可視光通信を行う1/480秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。

0134

図24Eは、光源輝度の最小変化時間tSと、露光時間tEと、各露光ラインの露光開始時刻の時間差tDと、撮像画像との関係を示している。tE+tD<tSとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、7503dのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。2tE>tSとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。

0135

図24Fは、光源輝度の遷移時間tTと、各露光ラインの露光開始時刻の時間差tDとの関係を示している。tTに比べてtDが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。tD>tTのとき中間色の露光ラインは連続で2ライン以下になり、望ましい。tTは、光源がLEDの場合は1マイクロ秒以下、光源が有機ELの場合は5マイクロ秒程度となるため、tDを5マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。

0136

図24Gは、光源輝度の高周波ノイズHTと、露光時間tEとの関係を示している。tHTに比べてtEが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。tEがtHTの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、tE>tHTであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路由来し、多くの電灯用スイッチング電源ではtHTは20マイクロ秒以下であるため、tEを20マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。

0137

図24Hは、tHTが20マイクロ秒の場合の、露光時間tEと高周波ノイズの大きさとの関係を表すグラフである。tHTは光源によってばらつきがあることを考慮すると、グラフより、tEは、ノイズ量極大をとるときの値と等しくなる値である、15マイクロ秒以上、または、35マイクロ秒以上、または、54マイクロ秒以上、または、74マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはtEは大きいほうが望ましいが、前述のとおり、tEが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が15〜35マイクロ秒のときはtEは15マイクロ秒以上、光源輝度の変化の周期が35〜54マイクロ秒のときはtEは35マイクロ秒以上、光源輝度の変化の周期が54〜74マイクロ秒のときはtEは54マイクロ秒以上、光源輝度の変化の周期が74マイクロ秒以上のときはtEは74マイクロ秒以上として設定すると良い。

0138

図24Iは、露光時間tEと認識成功率との関係を示す。露光時間tEは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期tSを露光時間tEで割った値(相対露光時間)を横軸としている。グラフより、認識成功率をほぼ100%としたい場合は、相対露光時間を1.2以下にすれば良いことがわかる。例えば、送信信号を1kHzとする場合は露光時間を約0.83ミリ秒以下とすれば良い。同様に、認識成功率を95%以上としたい場合は相対露光時間を1.25以下に、認識成功率を80%以上としたい場合は相対露光時間を1.4以下にすれば良いということがわかる。また、相対露光時間が1.5付近で認識成功率が急激に下がり、1.6でほぼ0%となるため、相対露光時間が1.5を超えないように設定すべきであることがわかる。また、認識率が7507cで0になった後、7507dや、7507e、7507fで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が1.9から2.2、2.4から2.6、2.8から3.0となる露光時間を利用すれば良い。例えば、図335中間モードとして、これらの露光時間を使うと良い。

0139

図25のように、撮像装置によっては、露光を行わない時間(ブランキング)が存在することがある。

0140

ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。

0141

発光部が同じ信号を2回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。

0142

発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。

0143

(信号変調方式)
搬送波に可視光を用いる場合、人間の視覚時間分解能(5ミリ秒から20ミリ秒程度)を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させることで、図26のように、人間には送信装置の発光部が一様な輝度で発光しているように見えると同時に、受信装置は発光部の輝度変化を観察することができる。

0144

人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図27に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は、発光時の輝度の約50%になる。

0145

なお、発光/非発光の切り替えは人間の視覚の時間分解能と比べて十分に高速であるとする。

0146

人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図28に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約75%になる。

0147

図27の変調方式と比較して、符号化効率は0.5で同等であるが、平均輝度を高くすることができる。

0148

人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図29に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約87.5%になる。

0149

図27図28に示す変調方式と比較して、符号化効率は0.375と劣るが、平均輝度を高く保つことができる。

0150

以下同様にして、符号化効率とトレードオフで平均輝度を高くする変調が可能である。

0151

人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図30に示す変調方法がある。

0152

変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約25%になる。

0153

図28に示す変調方式等と組み合わせ、周期的に変調方式を交代することで、人間や露光時間が長い撮像装置にとっては、発光部が点滅しているように見せることができる。

0154

同様に、変調方法を変化させることで、人間や露光時間が長い撮像装置にとっては、発光部が任意の輝度変化をしながら発光しているように見せることができる。

0155

搬送波に可視光を用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を周期的に変化させるように発光部を発光させることで、図31のように、人間には発信装置の発光部が点滅、または、任意のリズムで変化しているように見えると同時に、受信装置は発光信号を観察することができる。

0156

LED光源をバックライトに使用した液晶TVのLED部を発光させても同様の効果が得られる。この場合、少なくとも、光通信部の画面部分のコントラストを落とし、白色に近づけることにより、誤り率の少ない光通信が可能となる。全面、もしくは、通信に使用する画面部分を白色にするとより通信速度を上げられる。

0157

テレビのディスプレイ等を発光部として用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を人間に見せたい画像の輝度になるように調整することで、図32のように、人間には通常通りのテレビの映像が見えると同時に、受信装置は発光信号を観察することができる。

0158

撮像画像1フレームあたりの時間程度の窓幅としたときの発光部の輝度の移動平均値を、撮像フレーム毎に信号を伝送する場合の信号の値に調節することで、図33のように、近距離から撮像した場合には露光ライン毎に送信装置の発光状態を観察し、遠距離から撮像した場合には撮像フレーム毎に送信装置の発光状態を観察することで、2種類の速度で信号伝搬が可能である。

0159

なお、近距離から撮像した場合には、遠距離から撮像した場合に受信可能な信号も受信可能である。

0160

図34は、露光時間ごとに発光がどのように観察されるかを示す図である。

0161

撮像した画素の輝度は、撮像素子を露光していた時間の撮像対象の平均輝度に比例するため、露光時間が短ければ2217bのように発光パターン2217aがそのまま観察され、露光時間が長ければ、2217c、2217d、2217eのように観察される。

0162

なお、2217aは、図28に示す変調方式をフラクタル的に繰り返し用いた変調方式となっている。

0163

このような発光パターンを利用することで、露光時間が短い撮像装置を持つ受信装置には多くの情報を、露光時間が長い撮像装置を持つ受信装置には少ない情報を同時に送信することができる。

0164

受信装置は、露光ラインの1ラインまたは一定数のラインにわたって、発光部推定位置の画素の輝度が一定以上であれば1、一定以下であれば0を受信したと認識する。

0165

1が続く場合は通常の(信号を送信しておらず常に光っている)発光部と区別がつかず、0が続く場合は発光部が存在していない場合と区別がつかない。

0166

そのため、送信装置は、同じ数字が一定数連続した場合は異なる数字を送信しても良い。

0167

また、図35のように、必ず1と0を含むヘッダ部と、信号を送信するボディ部に分けて送信しても良い。この場合、同じ数字は5回を超えて連続では現れない。

0168

発光部が1部の露光ラインに映らない位置にある場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。

0169

そのため、その信号が全体のどの部分の信号であるかを示す必要がある。

0170

それには、図36のように、データ部と、データの位置を示すアドレス部をまとめて送信する方法がある。

0171

なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。

0172

図37のように、送信装置は基準部とデータ部を送信し、受信装置は基準部を受信したときの時刻との差からデータの位置を認識する方法がある。

0173

図38のように、送信装置は基準部とアドレスパターン部とデータ部を送信し、受信装置は基準部の次にあるアドレスパターン部から、データ部のデータとその位置のパターンを得、そのパターンと、基準部を受信した時刻と各データを受信したときの時刻との差からデータの位置を認識する方法がある。

0174

複数の種類のアドレスパターンが利用できることで、一様にデータを送信するだけではなく、重要性が高いデータや先に処理すべきデータを先に送信したり、他のデータより繰り返し回数を増やしたりすることができる。

0175

発光部が全部の露光ラインには映らない場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。

0176

図39のように、ヘッダ部を付加することで、信号の区切りを検出し、アドレス部やデータ部を検出することができる。

0177

ヘッダ部の発光パターンには、アドレス部やデータ部に現れないパターンを用いる。

0178

例えば、表2200.2aの変調方式を用いる場合には、ヘッダ部の発光パターンを「0011」とすることができる。

0179

また、ヘッダ部のパターンを「11110011」とすると、平均輝度が他の部分と等しくなり、人間の目で見た時のチラツキを抑えることができる。このヘッダ部は冗長性が高いため、ここにも情報を重畳することが可能である。例えば、ヘッダ部のパターンが「11100111」の場合は、送信装置間で通信する内容を送信していることを示すことなどが可能である。

0180

なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部とヘッダ部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。

0181

図40では、送信装置は、優先度によって情報の送信順序を決定する。

0182

例えば、送信回数を優先度に比例させる。

0183

受信装置は、送信装置の発光部が受信装置の撮像部いっぱいに写っていない場合やブランキングがある場合には信号を連続して受信できないため、送信される頻度が高いほど早く受信されやすい。

0184

図41は、近くに存在する複数の送信装置が同調して情報を送信するパターンを示す。

0185

複数の送信装置が共通情報を同時に送信することで、一つの大きな送信装置とみなすことができ、受信装置の撮像部で大きく撮像することができるため、情報をより速く、より遠くからでも受信可能となる。

0186

送信装置は、近くに存在する送信装置の発光パターンと混同されないように、近くの送信装置の発光部が一様発光(信号を送信していない)時間帯に、個別情報を送信する。

0187

送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、近くに存在する送信装置の発光パターンを学習し、自身の発光パターンを定めるとしても良い。また、送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、他の送信装置の命令によって自身の発光パターンを定めるとしても良い。また、送信装置は、集中制御装置の命令に従って、発光パターンを定めるとしても良い。

0188

(発光部の検出)
撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図42のように、露光ラインに垂直な方向に、発光部が撮像されたライン数を数え、最も多く発光部が撮像された列を発光部の存在する列とする方法がある。

0189

発光部の端に近い部分は、受光の度合いにゆらぎがあり、発光部が撮像されているかどうかの判断を誤りやすいため、最も多く発光部が撮像された列の中でも中央の列の画素の撮像結果から信号を取り出す。

0190

撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図43のように、露光ライン毎に発光部を撮像した部分の中点を求め、求めた点を結ぶ近似線(直線、または、二次曲線)上に発光部が存在すると推定する方法がある。

0191

図44のように、前のフレームにおける発光部の推定位置を事前確率とし、現在のフレームの情報から発光部の推定位置を更新しても良い。

0192

なお、この間の9軸センサやジャイロセンサの値から、現在の発光部の推定位置を更新しても良い。

0193

図45解説すると、撮像範囲が2212aのとき、発光部2212bを撮像すると、撮像画像2212c、2212d、2212eのような画像が撮像される。

0194

撮像画像2212c、2212d、2212eの発光部分の和を取ると、合成画像2212fが得られ、撮像画像中の発光部位置を特定することができる。

0195

受信装置は、特定した発光部の位置から、発光部の発光のオンオフを検出する。

0196

なお、図28に示す調方式を用いる場合、発光確率は0.75であるため、n枚の画像の和をとった時に、合成画像2212f中の発光部が発光して見える確率は、1−0.25nである。ここで、例えば、n=3のとき、この確率は約0.984となる。

0197

なお、ジャイロセンサや9軸センサのセンサ値から撮像部の姿勢を推定し、撮像方向の補償を行った上で画像を合成したほうが精度は高くなる。しかし、合成画像数が少ない場合は撮像時間が短いため、撮像方向の補償を行わなくても悪影響は少ない。

0198

図46は、受信装置が複数の発光部を撮像した場合を示す図である。

0199

複数の発光部が同じ信号を発している場合は、両方の発光パターンから一つの送信信号を取得する。複数の発光部が異なる信号を発している場合は、別々の発光パターンから別々の送信信号を取得する。

0200

送信信号の同じアドレスデータ値が異なる場合は、異なる信号が送信されている。なお、送信信号のヘッダ部のパターンによって、近くの送信装置と同じ、または、異なる信号を送信していると判断しても良い。

0201

発光部がほぼ隣接している場合は、同じ信号を送信しているとみなしても良い。

0202

図47に、このときの送信信号のタイムラインと、発光部を撮像した画像を示す。

0203

(位置パターンによる信号の伝送)
図48で、発光部2216a、2216c、2216eは一様に発光しており、発光部2216b、2216d、2216fは、発光パターンにより信号を発信している。なお、発光部2216b、2216d、2216fは、単純に、受信装置が露光ラインごとに撮像すれば縞模様に見えるように発光しているだけでも良い。

0204

図48では、発光部2216a〜2216fは、同一の送信装置の発光部でも、別々の送信装置でも良い。

0205

送信装置は、信号を送信している発光部の位置と、送信していない発光部の位置のパターン(位置パターン)によって、送信する信号を表現する。

0206

図48では、6個の発信部があるため、2の6乗=64値の信号を送信可能である。異なる方向から見れば同一に見える位置パターンは使用するべきではないが、受信装置の9軸センサなどにより撮像方向を特定することで、上記のようなパターンを識別することもできる。なお、どの発光部が信号を送信しているかを時刻によって変化させることで、より多くの信号を送信しても良い。

0207

送信装置は、一部の時間帯に位置パターンによる信号送信を行い、別の時間帯には発光パターンで信号を送信することもできる。例えば、一部の時間帯で、全ての発光部を同調させて送信装置のIDや位置情報を発光パターンで送信することができる。

0208

発光部の配置パターンはほぼ無限に存在するため、受信装置が全ての位置パターンを予め記憶しておくことは困難である。

0209

そこで、受信装置は、送信装置が発光パターンによって送信した送信装置のIDや位置情報や、無線基地局による受信装置の推定位置や、GPSやジャイロセンサや9軸センサによって推定した受信装置の位置情報をキーに、サーバから、付近に存在する位置パターンのリストを取得し、そのリストを基に位置パターンを解析する。

0210

この方式によれば、位置パターンで表現する信号は全世界でユニークである必要はなく、同じ位置パターンが近く(半径数メートルから300メートル程度)に存在しなければ良く、発光部が少ない送信装置は表現できる位置パターンの数が少ないという問題を解決できる。

0211

発光部の大きさや形状や位置情報をサーバから取得し、これらの情報と、撮像した位置パターンの大きさや形状と、撮像部のレンズ特性から、受信装置の位置を推定することができる。

0212

(受信装置)
主に受信を行う通信装置としては、図49のように、携帯電話やデジタルスチルカメラデジタルビデオカメラヘッドマウントディスプレイロボット掃除用介護用産業用等)や監視カメラ等が考えられる。ただし、受信装置はこれらに限定されない。

0213

なお、受信装置とは、主に信号を受信する通信装置であって、本実施の形態の方式やその他の方式によって信号の送信を行うこともある。

0214

(送信装置)
主に送信を行う通信装置としては、図50のように、照明(家庭用、店舗用、オフィス用、地下街用、街路用等)、懐中電灯、家電、ロボット、その他電子機器が考えられる。ただし、送信装置はこれらに限定しない。

0215

なお、送信装置とは、主に信号を送信する通信装置であって、本実施の形態の方式やその他の方式によって信号の受信を行うこともある。

0216

発光部は、図51に示すように、LED照明LEDバックライトを用いた液晶等のように、発光/非発光のスイッチングが高速であるものが望ましい。ただし、発光部はこれらに限定するものではない。

0217

発光部には、上記の他、蛍光灯や白熱電灯水銀灯有機ELディスプレイなどの照明が考えられる。

0218

なお、発光部が大きく撮像されるほうが、伝送効率が高くなるため、送信装置は、図52のように、同期して発光する発光部を複数備えても良い。また、撮像素子の露光ラインと垂直の方向に大きく映るほど伝送効率は高くなるため、発光部は一列に並べて設置しても良い。また、受信装置を自然に構えた場合に露光ラインと垂直に発光部を並べても良い。また、複数の向きから撮像されることが予想される場合には、図53のように、十字形に発光部を配置しても良い。また、複数の向きから撮像されることが予想される場合には、図54のように、円形の発光部を用いたり、円形に発光部を配置したりしても良い。また、大きく撮像するほうが、伝送効率が高くなるため、送信装置は、図55のように、発光部に散光板をかぶせても良い。

0219

図56のように、異なる信号を送信する発光部は、同時に撮像されないように距離を離して配置する。また、図57のように、異なる信号を送信する発光部は、同時に撮像されないように、間に信号を送信しない発光部を配置する。

0220

(発光部の構造)
図58は、発光部の望ましい構造を示す図である。

0221

2311aのように、発光部とその周囲の素材反射率の低いものにすることで、発光部周辺に光があたっている場合でも、受信装置が発光の様子を認識することを容易にすることができる。また、2311bのように、外光を妨げるかさを設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。また、2311cのように、奥まった部分に発光部を設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。

0222

(信号搬送波)
信号を搬送する光(電磁波)は、受信装置が受光可能な、図59に示す近赤外線帯〜可視光帯近紫外線帯の周波数帯の光(電磁波)を用いる。

0223

(撮像部)
図60では、受信装置の撮像部は、撮像範囲2310aの中にパターン発光をしている発光部2310bを検出する。

0224

撮像制御部は、他の露光ラインを用いる代わりに、発光部の中心位置の露光ライン2310cを繰り返し用いて撮像画像2310dを取得する。

0225

撮像画像2310dは、露光時間の異なる同じ場所の画像となる。撮像画像2310dの発光部が写っている画素を露光ラインと垂直方向に走査することで、発光部の発光パターンを観察できる。

0226

この方法により、発光部が撮像画像中の一部分にしか存在しない場合でも、発光部の輝度変化をより長い時間観察できる。そのため、小さな発光部や、発光部を遠くから撮像した場合でも信号を読み取ることが可能となる。

0227

ブランキングがない場合には、この方法により、撮像装置の一部分にでも発光部が写っていれば、発光部の輝度変化を全て観察することができる。

0228

一つのラインを露光する時間が、次のラインを露光し始めるまでの時間より長い場合は、発光部の中心の複数の露光ラインを用いて撮像することで、同様の効果が得られる。

0229

なお、画素単位での制御が可能である場合は、発光部の中心に最も近い点のみ、あるいはその付近の複数の点のみを用いて撮像を行う。このとき、各画素の露光開始時刻をずらすことで、さらに細かい周期で発光部の発光状態を検出することができる。

0230

なお、主に2310cの露光ラインを使用しつつ、まれに別の露光ラインを使用して撮像し、撮像画像を合成することで、通常より解像度やフレームレートは劣るものの、通常通り撮像した撮像画像と類似した画像(映像)を合成できる。この合成画像をユーザに表示することでユーザに受信装置を操作させたり、手振れの補正に利用したりすることができる。

0231

なお、手振れの補正には、ジャイロセンサや9軸センサなどのセンサ値を利用したり、発光部を撮影している撮像装置とは別の撮像装置で撮像した画像を利用したりすることもできる。

0232

なお、発光部の端よりも中心に近いほうが、手振れ時に発光部が露光ラインや露光画素から外れにくいため、発光部の中心に近い部分を露光ラインや露光画素とすることが望ましい。

0233

なお、発光部の辺縁部は発光輝度が低いため、なるべく発光部の周囲から遠く、輝度が高い部分を露光ラインや露光画素とすることが望ましい。

0234

(受信装置の位置の推定)
図61では、送信装置は自身の設置されている位置情報と、発光装置の大きさと、発光装置の形状と、送信装置のIDとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。

0235

受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズ焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズ物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。

0236

また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。

0237

図62では、送信装置は自身の設置されている位置情報と、発光部の大きさと、発光部の形状と、送信装置のIDとを送信する。ここで、位置情報には、発光部の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。

0238

受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光部の大きさと形状と、撮像された画像中の発光部の大きさと形状と、撮像装置の情報から、受信装置から発光部までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。

0239

また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光部までの距離とから、受信装置の位置情報を推定する。受信装置は、9軸センサとジャイロセンサから得た情報により、移動方向と移動距離を推定する。受信装置は、複数の地点で推定した位置情報と、移動方向と移動距離から推定したその地点間の位置関係を用いて、受信装置の位置情報を推定する。

0240

例えば、地点



で推定した受信装置の位置情報の確率場を



地点



から地点



へ移動したときに推定した移動方向と移動距離の確率場を



とすると、最終的に推定される位置情報の確率場は

0241

と計算できる。

0242

また、図62では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信してもよい。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。

0243

この場合、受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三点測量の方法で受信装置の位置情報を推定する。

0244

図63では、送信装置は送信装置のIDを送信する。

0245

受信装置は送信装置のIDを受信し、インターネットから送信装置の設置されている位置情報と、発光装置の大きさと、発光装置の形状等を得る。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。

0246

受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。

0247

また、受信装置は、インターネットから得た情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。

0248

図64では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。

0249

受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。

0250

図65では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信する。位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。

0251

受信装置は、9軸ジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。また、受信装置は、ジャイロセンサや9軸センサから、受信装置の姿勢変化や移動を推定する。なお、受信装置は、同時に、9軸センサの零点調整キャリブレーションを行なっても良い。

0252

(送信情報の設定)
図66では、受信装置2606cで送信装置2606bの発光パターンを撮像して送信された信号を取得し、受信装置の位置を推定する。

0253

受信装置2606cは、移動されている間に、撮像画像の変化や、9軸センサやジャイロセンサのセンサ値から、移動の距離と方向を推定する。

0254

受信装置は、送信装置2606aの受光部を撮像し、発光部の中心位置を推定し、その位置を送信装置に送信する。

0255

発光部の位置推定には、発光装置の大きさの情報が必要であるため、送信装置は、送信する情報の一部が欠けている場合でも、発光部の大きさ情報を送信しているほうが望ましい。なお、発光部の大きさがわからない場合は、受信装置に位置推定に利用した送信装置2606bと受信装置2606cとの間の距離から天井の高さを推定し、その結果を利用して送信装置2606aと受信装置2606cとの間の距離を推定する。

0256

送信には、発光パターンによる送信や、音のパターンによる送信や、無線電波による送信方式がある。送信装置の発光パターンとその時刻を記憶しておき、あとで送信装置や集中制御装置へ送信するとしても良い。

0257

送信装置や集中制御装置は、発光パターンとその時刻から、受信装置が撮像していた送信装置を特定し、位置情報を送信装置へ記憶させる。

0258

図67では、受信装置の撮像した画像中の点として送信装置の一点を指定することで、位置を設定する点を指定する。

0259

受信装置は、位置設定点から送信装置の発光部の中心への位置関係を計算し、設定する位置にその位置関係を加えた位置を送信装置へ送信する。

0260

図68では、受信装置は、送信装置を撮像することで、送信された信号を受信する。受信した信号を基に、サーバや電子機器と通信を行う。

0261

例えば、受信装置は、信号に含まれる送信装置のIDをキーに、サーバから、送信装置の情報や、送信装置の位置・大きさや、その位置に関連するサービス情報等を取得する。

0262

また、例えば、受信装置は、信号に含まれる送信装置の位置から受信装置の位置を推定し、サーバから、地図情報や、その位置に関連するサービス情報等を取得する。

0263

また、例えば、受信装置は、現在の大まかな位置をキーに、サーバから、付近の送信装置の変調方式を取得する。

0264

また、例えば、受信装置は、信号に含まれる送信装置のIDをキーに、サーバに、受信装置や送信装置の位置情報や、付近の情報や、受信装置が付近で行った処理の情報をサーバに登録する。

0265

また、例えば、受信装置は、信号に含まれる送信装置のIDをキーに、電子機器の操作を行う。

0266

(受信装置のブロック図)
図69は、受信装置を示す構成図である。受信装置はこの全部、または、撮像部と信号解析部を含む一部から構成される。なお、図69で同じ名称のブロックは、同一のものが兼ねても良いし、異なるものであっても良い。

0267

狭義の受信装置2400afは、スマートフォンやデジタルカメラ等に備えられる。入力部2400hは、ユーザ操作入力部2400iや、照度センサ2400jや、マイクロフォン2400kや、計時部2400nや、位置推定部2400mや、通信部2400pの全部、または、一部から構成される。

0268

撮像部2400aは、レンズ2400bや、撮像素子2400cや、フォーカス制御部2400dや、撮像制御部2400eや、信号検出部2400fや、撮像情報記憶部2400gの全部、または、一部から構成される。撮像部2400aは、ユーザの操作や、照度の変化や、音や声のパターンや、特定の時刻になったことや、特定の場所に受信装置が移動してきたことや、通信部を介して他の装置に命令されることで、撮像を開始する。

0269

フォーカス制御部2400dは、送信装置の発光部2400aeにフォーカスを合わせたり、送信装置の発光部2400aeが大きく映るようにぼかすようにフォーカスを合わせたりといった制御を行う。

0270

露光制御部2400akは、露光時間と露光ゲインを設定する。

0271

撮像制御部2400eは、撮像する位置を特定の画素に限定する。

0272

信号検出部2400fは、撮像画像中から、送信装置の発光部2400aeが含まれる画素や、発光による信号送信が含まれる画素を検出する。

0273

撮像情報記憶部2400gは、フォーカス制御部2400dの制御情報や、撮像制御部2400eの制御情報や、信号検出部2400fで検出した情報を記憶する。撮像装置が複数ある場合には、同時に撮像を行い、一方を受信装置の位置や姿勢の推定に利用しても良い。

0274

発光制御部2400adは、入力部2400hからの入力により、発光部2400aeの発光パターンを制御することで、信号を送信する。発光制御部2400adは、発光部2400aeを発光させた時刻を計時部2400acから取得して記録する。

0275

撮像画像記憶部2400wは、撮像部2400aで撮像した画像を記憶する。

0276

信号解析部2400yは、撮像素子のラインごとの露光時間の違いを利用して、撮像された送信装置の発光部2400aeの発光パターンから、変調方式記憶部2400afに記憶された変調方式を基に、送信された信号を取得する。

0277

受信信号記憶部2400zは、信号解析部2400yで解析された信号を記憶する。

0278

センサ部2400qは、GPS2400rや、磁気センサ2400tや、加速度センサ2400sや、ジャイロセンサ2400uの全部、または一部から構成される。磁気センサ2400tおよび加速度センサ2400sはそれぞれ9軸センサであってもよい。

0279

位置推定部は、センサ部からの情報や、撮像画像や、受信した信号から、受信装置の位置や姿勢を推定する。

0280

演算部2400aaは、受信した信号や、受信装置の推定位置や、これらを基にネットワーク2400ahから得た情報(地図や場所に関連した情報や送信装置に関連した情報等)を表示部2400abに表示させる。

0281

演算部2400aaは、受信した信号や、受信装置の推定位置から、入力部2400hに入力された情報を基に、送信装置の制御を行う。

0282

通信部2400agは、ピアツーピアで接続する方式(bluetoothなど)を用いる場合は、ネットワーク2400ahを介さずに端末同士で通信を行う。

0283

電子機器2400ajは、受信装置に制御される。

0284

サーバ2400aiは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のIDと紐付けて記憶している。

0285

サーバ2400aiは、送信装置の変調方式を、位置に紐付けて記憶している。

0286

(送信装置のブロック図)
図70は、送信装置を構成するブロック図である。

0287

送信装置は、本構成図の全部、または、発光部と送信信号記憶部と変調方式記憶部と演算部を含めた一部で構成される。

0288

狭義の送信装置2401abは、電灯や電子機器やロボットに備えられる。

0289

照明制御スイッチ2401nは、照明のオンオフを切り替えるスイッチである。

0290

散光板2401pは、発光部2401qの光を散光させるために発光部2401qの近くに取り付けられる部材である。

0291

発光部2401qは、図69の受信装置の撮像素子のラインごとの露光時間の違いを利用して、ラインごとに発光パターンが検出される速度で点灯・消灯を行う。

0292

発光部2401qは、高速に点灯・消灯が可能なLEDや蛍光灯等の光源で構成される。

0293

発光制御部2401rは、発光部2401qの点灯と消灯を制御する。

0294

受光部2401sは、受光素子や撮像素子で構成される。受光部2401sは、受光した光の強さを電気信号に変換する。なお、受光部2401sの代わりに、撮像部を用いても良い。

0295

信号解析部2401tは、受光部2401sが受光した光のパターンから信号を取得する。

0296

演算部2401uは、送信信号記憶部2401dに記憶されている送信信号を、変調方式記憶部2401eに記憶されている変調方式に従って発光パターンに変換する。演算部2401uは、信号解析部2401tから得た信号を基に、記憶部2401aの情報を編集したり、発光制御部2401rを制御したりして通信の制御を行う。演算部2401uは、取り付け部2401wからの信号を基に、記憶部2401aの情報を編集したり、発光制御部2401rを制御したりして通信の制御を行う。演算部2401uは、通信部2401vからの信号を基に、記憶部2401aの情報を編集するなど発光制御部2401rの制御を行う。

0297

また、演算部2401uは、取り付け装置2401hの記憶部2401bの情報を編集する。演算部2401uは、取り付け装置2401hの記憶部2401bの情報を、記憶部2401aにコピーする。

0298

演算部2401uは、定められた時刻に発光制御部2401rを制御する。演算部2401uは、ネットワーク2401aaを介して電子機器2401zzの制御を行う。

0299

記憶部2401aは、送信信号記憶部2401d、形状記憶部2401f、変調方式記憶部2401e、機器状態記憶部2401gの全部、または、一部から構成される。

0300

送信信号記憶部2401dは、発光部2401qから送信する信号を記憶する。

0301

変調方式記憶部2401eは、送信信号を発光パターンに変換する変調方式を記憶する。

0302

形状記憶部2401fは、送信装置と発光部2401qの形状を記憶する。

0303

機器状態記憶部2401gは、送信装置の状態を記憶する。

0304

取り付け部2401wは、取付金具電力供給口で構成される。

0305

取り付け装置2401hの記憶部2401bは、記憶部2401aに記憶する情報を記憶する。記憶部2401aは備えず、取り付け装置2401hの記憶部2401bや、集中制御装置2401mの記憶部2401cを用いても良い。

0306

通信部2401vは、ピアツーピアで接続する方式(bluetoothなど)を用いる場合は、ネットワーク2401aaを介さずに端末同士で通信を行う。

0307

サーバ2401yは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のIDと紐付けて記憶している。また、サーバ2401yは、送信装置の変調方式を、位置に紐付けて記憶している。

0308

(受信の手順)
図71を解説すると、ステップ2800aで、受信装置に撮像装置が複数あるかどうかを確認する。Noの場合はステップ2800bへ進み、使用する撮像装置を選択し、ステップ2800cへ進む。一方、Yesの場合はステップ2800cへ進む。

0309

ステップ2800cでは、露光時間(=シャッタースピード)を設定(なお、露光時間は短いほうが望ましい)する。

0310

次に、ステップ2800dで、露光ゲインを設定する。

0311

次に、ステップ2800eで、撮像する。

0312

次に、ステップ2800fで、露光ライン毎に、輝度が一定の閾値を超える画素が一定数以上続く部分を判定し、その部分の中心位置を求める。

0313

次に、ステップ2800gで、上記の中心位置を結ぶ、1次または2次の近似線を計算する。

0314

次に、ステップ2800hで、各露光ラインの近似線上の画素の輝度値を、各露光ラインの信号値とする。

0315

次に、ステップ2800iで、撮像フレームレート、解像度、ブランキング時間等によって構成される撮像情報から、露光ライン1ラインあたり担当時間を計算する。

0316

次に、ステップ2800jで、ブランキング時間が一定以下であれば、ある撮像フレームの最後の露光ラインの次の露光ラインはその次のフレームの最初の露光ラインであるとみなす。そうでない場合は、ある撮像フレームの最後の露光ラインとその次のフレームの最初の露光ラインの間には、ブランキング時間を1露光ラインあたりの担当時間で除した数の、観測できない露光ラインが存在するとみなす。

0317

次に、ステップ2800kで、デコード情報から、基準位置パターン、アドレスパターンを読み込む。

0318

次に、ステップ2800mで、各露光ラインの信号値から、信号の基準位置を示すパターンを検出する。

0319

次に、ステップ2800nで、検出した基準位置を基に、データ部、アドレス部を計算する。

0320

次に、ステップ2800pで、送信信号を得る。

0321

(自己位置推定の手順)
図72を解説すると、まず、ステップ2801aで、受信装置の現在位置として認識している位置または現在位置の確率マップを、自己位置事前情報とする。

0322

次に、ステップ2801bで、受信装置の撮像部を送信装置の発光部へ向ける。

0323

次に、ステップ2801cで、9軸センサとジャイロセンサのセンサ値から、撮像装置が向けられている方位仰角を計算する。

0324

次に、ステップ2801dで、発光パターンを撮像し、送信信号を取得する。

0325

次に、ステップ2801eで、送信信号に含まれる発光部の大きさや形状の情報と、撮像した発光部の大きさと、撮像装置の撮像の倍率とから、撮像装置と発光部の間の距離を計算する。

0326

次に、ステップ2801fで、撮像画像中の発光部の位置と、レンズ特性から、撮像部から発光部への方向と撮像面の法線との相対角度を計算する。

0327

次に、ステップ2801gで、これまでに計算した数値から、撮像装置と発光部の相対位置関係を計算する。

0328

次に、ステップ2801hで、送信信号に含まれる発光部の位置と、撮像装置と発光部の相対位置関係から、受信装置の位置を計算する。なお、送信装置が複数観察できる場合は、各送信装置に含まれる信号から撮像装置の座標を計算することで、受信装置の位置を高精度に計算できる。なお、送信装置が複数観察できる場合は、三角測量の手法を用いることができる。

0329

次に、ステップ2801iで、自己位置の事前情報と、受信装置の位置の計算結果から、受信装置の現在位置または現在位置の確率マップを更新する。

0330

次に、ステップ2801jで、撮像装置を移動させる。

0331

次に、ステップ2801kで、9軸センサとジャイロセンサのセンサ値から、移動の方向と距離を計算する。

0332

次に、ステップ2801mで、撮像画像と撮像装置の姿勢とから、移動の方向と距離を計算し、ステップ2801aへ戻る。

0333

(送信制御の手順1)
図73を解説すると、まず、ステップ2802aで、ユーザがボタン押下する。

0334

次に、ステップ2802bで、発光部を発光させる。なお、発光パターンで信号を表しても良い。

0335

次に、ステップ2802cで、発光開始時刻や、終了時刻や、特定のパターンを送信した時刻を記録する。

0336

次に、ステップ2802dで、撮像装置で撮像する。

0337

次に、ステップ2802eで、撮像画像中に存在する送信装置の発光パターンを撮像し、送信された信号を取得する。なお、記録した時刻を利用して同期的に発光パターンを解析しても良い。そして、終了する。

0338

(送信制御の手順2)
図74を解説すると、まず、ステップ2803aで、受光装置で受光、または、撮像装置で撮像する。

0339

次に、ステップ2803bで、特定のパターンであったかどうかを確認する。

0340

Noの場合は、ステップ2803aへ戻る。一方、Yesの場合は、ステップ2803cへ進み、受信パターンを受光または撮像した開始時刻や、終了時刻や、特定のパターンが現れた時刻を記録する。

0341

次に、ステップ2803dで、記憶部から送信信号を読み出し、発光パターンへ変換する。

0342

次に、ステップ2803eで、前記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。

0343

(送信制御の手順3)
図75を解説すると、まず、ステップ2804aで、受光装置で受光し、受光した光エネルギー電気に変換して蓄電する。

0344

次に、ステップ2804bで、蓄電エネルギーが一定以上となったかどうかを確認する。

0345

Noの場合は、ステップ2804aへ戻る。一方、Yesの場合は、ステップ2804cへ進み、受光した光を解析し、特定のパターンが現れた時刻を記録する。

0346

次に、ステップ2804dで、記憶部から送信信号を読み出し、発光パターンへ変換する。

0347

次に、ステップ2804eで、上記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。

0348

(駅構内での情報提供)
図76は、駅構内で情報提供を受ける状況を説明する図である。

0349

受信装置2700aは、駅施設に設置された照明を撮像し、発光パターンや位置パターンを読み取ることで、照明装置が送信している情報を受信する。

0350

受信装置2700aは、受信した情報を基にサーバから照明や施設の情報を取得し、さらに、撮像された照明の大きさや形から、受信装置2700aの現在位置を推定する。

0351

例えば、受信装置2700aは、施設IDや位置情報にもとづいて得た情報を表示する(2700b)。受信装置2700aは、施設IDを基に施設の地図をダウンロードし、ユーザが購入した乗車券情報から、乗車場所へのナビゲートを行う(2700c)。

0352

なお、図76鉄道の駅での例を示しているが、空港バス停等の施設でも同様である。

0353

(乗車サービス)
図77は、乗り物内での利用の様子を示す図である。

0354

乗客の持つ受信装置2704aと、販売員の持つ受信装置2704bは、照明2704eが送信する信号を受信し、自身の現在位置を推定する。

0355

なお、各受信装置は、自己位置推定に必要な情報を、照明2704eから取得しても良いし、照明2704eから送信された情報をキーにサーバから取得しても良いし、乗車駅改札の位置情報等を基に事前に取得しても良い。

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

  • 三菱電機株式会社の「 光空間通信装置」が 公開されました。( 2019/08/08)

    【課題・解決手段】信号処理部(101e)は、初期捕捉が完了すると、光可変アッテネータ(10−4)および制御信号生成部(10−5)を制御して初期捕捉用光の光パワーを減衰させる。... 詳細

  • 日本電気株式会社の「 光分岐結合装置及び光分岐結合方法」が 公開されました。( 2019/07/18)

    【課題・解決手段】[課題] 信頼性の高い光分岐結合装置を提供する。[解決手段] 光分岐結合装置は、第1の波長帯域の光信号及び第1の波長帯域と重複しない第2の波長帯域の光信号を含む第1の光を分岐して... 詳細

  • 三菱電機株式会社の「 信号整形装置、整形終端装置、信号整形方法および光伝送方法」が 公開されました。( 2019/07/18)

    【課題・解決手段】信号整形装置(100)は、複数の系統のビット列を予め定められた長さに区切ったブロックに、複数の種類の予め定められた処理を行って、送信する整形ブロックの候補である複数の候補ブロックを生... 詳細

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ