図面 (/)

技術 運動状態についての対象との対応度に基づき端末を同定する装置、プログラム及び方法

出願人 株式会社KDDI総合研究所
発明者 三原翔一郎村上隆秀
出願日 2019年11月6日 (1年9ヶ月経過) 出願番号 2019-201453
公開日 2021年5月20日 (3ヶ月経過) 公開番号 2021-077951
状態 未査定
技術分野 学習型計算機 移動無線通信システム
主要キーワード 未解決課題 最大予測値 所定対象 物体検出器 所定時間区間 機械学習モデル 測位器 無線発信機
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2021年5月20日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (5)

課題

端末と、当該端末の存在し得る環境に存在する対象との対応関係を、互いの位置関係のみに頼ることなく、当該端末との通信に係る情報を利用して決定することができる端末同定装置を提供する。

解決手段

本端末同定装置は、端末と通信を行う通信手段から通信電波情報を取得し、この通信電波情報に基づいて端末運動状態情報を決定する端末運動状態決定手段と、端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、この環境情報から、所定の対象を検出して対象運動状態情報を決定する対象運動状態決定手段と、決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、この度合いに基づいて、端末運動状態情報に係る端末と、対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、端末と対象との対応関係に係る情報を決定する対応関係決定手段とを有する。

概要

背景

来る第5世代移動通信システム(5G)は、ミリ波帯電波を利用し、高速、大容量、低遅延、多端末接続といった高性能通信を実現可能とする。ここで、ミリ波は、高い直進性を有していて回折が起きにくく、端末基地局との間に存在する物体によってその伝播が遮られたり減衰したりする可能性が高くなる。そのため、5Gでは、このような物体の介在により受信電力が急激に低下して、通信品質が大幅に劣化してしまうことが大きな問題となっている。

ここで、このような物体による受信電力の低下を予測できれば、端末の通信経路切り替える等の制御によって通信品質を維持することも可能となる。この受信電力の予測技術として、例えば非特許文献1には、RGB画像に加えデプス画像も生成可能なRGB−Dカメラによって取得される時系列の3次元環境情報を用い、機械学習によって通信装置における受信電力を予測する手法が開示されている。

具体的にこの手法では、通信環境撮像した結果である時系列の環境情報に対し、送信局から電波を受信した端末において(撮像と同時に)計測された受信電力の時系列情報正解データとしてづけた教師データをもって、機械学習モデル構築し、この構築した機械学習モデルを用いて、RGB−Dカメラにより取得された時系列の環境情報から、受信端末における受信電力の予測値を決定している。

また、例えば特許文献1は、非特許公報1に開示されたような機械学習による通信品質の予測処理において、システム初期動作段階や発生頻度の低い通信環境における通信品質の推定精度を向上させる技術を開示している。具体的には、通信環境の計測結果から形成した仮想空間において、仮想的にRGB−Dカメラによる情報を生成するとともに、伝搬シミュレーションによって仮想空間における受信端末の通信品質を推定することにより、仮想空間上で大量の学習データを生成し、これにより推定精度の向上した機械学習モデルを構築することができるとしている。

概要

端末と、当該端末の存在し得る環境に存在する対象との対応関係を、互いの位置関係のみに頼ることなく、当該端末との通信に係る情報を利用して決定することができる端末同定装置を提供する。本端末同定装置は、端末と通信を行う通信手段から通信電波情報を取得し、この通信電波情報に基づいて端末運動状態情報を決定する端末運動状態決定手段と、端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、この環境情報から、所定の対象を検出して対象運動状態情報を決定する対象運動状態決定手段と、決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、この度合いに基づいて、端末運動状態情報に係る端末と、対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、端末と対象との対応関係に係る情報を決定する対応関係決定手段とを有する。

目的

本発明は、端末と、当該端末の存在し得る環境に存在する対象との対応関係を、互いの位置関係に又は当該位置関係のみに頼ることなく、当該端末との通信に係る情報を利用して決定することができる装置、プログラム及び方法を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

端末通信を行う通信手段から、通信の電波に係る情報である通信電波情報を取得し、当該通信電波情報に基づいて、当該端末の位置変化に係る情報である端末運動状態情報を決定する端末運動状態決定手段と、当該端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、当該環境情報から、所定の対象を検出して当該対象の検出位置の変化に係る情報である対象運動状態情報を決定する対象運動状態決定手段と、決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、当該対応する度合いに基づいて、当該端末運動状態情報に係る端末と、当該対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、当該端末と当該対象との対応関係に係る情報を決定する対応関係決定手段とを有することを特徴とする端末同定装置

請求項2

当該通信電波情報は、受信した電波の周波数時系列情報、受信した電波の強度の時系列情報、通信に係る電波の放射向きの時系列情報、及び通信におけるラウンドトリップタイムの時系列情報のうちの少なくとも1つを含み、当該端末運動状態情報は、当該周波数の偏移、当該強度の時間当たりの変動、当該放射向きの時間当たりの変動、及び当該ラウンドトリップタイムの時間当たりの変動のうちの少なくとも1つから決定される当該端末の速度又は角速度に係る情報であり、当該対象運動状態情報は、当該対象の検出位置の時間当たりの変化から決定される当該対象の速度又は角速度に係る情報であり、当該対応する度合いは、当該端末の速度又は角速度に係る情報と、当該対象の速度又は角速度に係る情報とが一致する度合いであり、前記対応関係決定手段は、当該一致する度合いに基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することを特徴とする請求項1に記載の端末同定装置。

請求項3

当該端末運動状態情報は、当該周波数の偏移、当該強度の時間当たりの変動、当該放射向きの時間当たりの変動、及び当該ラウンドトリップタイムの時間当たりの変動のうちの少なくとも2つのそれぞれから決定される複数の端末の速度又は角速度に係る情報であり、当該一致する度合いは、当該複数の端末の速度又は角速度に係る情報の各々と、当該対象の速度又は角速度に係る情報とが一致する度合いであって、複数算出され、前記対応関係決定手段は、当該複数の一致する度合いのうち所定以上であるものの割合、又は当該複数の一致する度合いの総和若しくは重み付けの総和に基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することを特徴とする請求項2に記載の端末同定装置。

請求項4

前記端末運動状態手段は、当該通信電波情報に基づいて、当該端末の位置に係る情報である端末位置情報も決定し、前記対象運動状態決定手段は、当該環境情報から検出された当該対象の検出位置に係る情報である対象位置情報も決定し、前記対応関係決定手段は、決定された端末位置情報と、決定された対象位置情報とが一致する度合いである位置一致度合いを算出し、当該位置一致度合いにも基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することを特徴とする請求項1から3のいずれか1項に記載の端末同定装置。

請求項5

前記センサは、互いに異なる位置に設けられた複数のセンサであり、前記対象運動状態決定手段は、前記複数のセンサのそれぞれから複数の環境情報を取得して、当該複数の環境情報のそれぞれから当該対象運動状態情報を決定し、決定した対象運動状態情報のうちで、当該対象運動状態情報に係る対象の検出位置が所定以上に近いもの同士について、及び/又は、当該対象運動状態情報に係る対象の検出領域の特徴量が所定以上に類似しているもの同士について、それらの対象運動状態情報は、同一の対象に係るものとすることを特徴とする請求項1から4のいずれか1項に記載の端末同定装置。

請求項6

前記対象運動状態決定手段は、周囲に存在する他の端末同定装置から、当該他の端末同定装置において前記センサとは別のセンサから取得された環境情報から決定された対象運動状態情報を取得し、前記対応関係決定手段は、取得された対象運動状態情報と、決定された端末運動状態情報とが対応する度合いも算出し、当該対応する度合いにも基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することを特徴とする請求項1から5のいずれか1項に記載の端末同定装置。

請求項7

当該端末は、移動体に設置された又は携帯された複数の端末を含み、前記端末同定装置は、検出された複数の対象の検出位置に基づいて、お互いが後に所定以上に接近すると推定される複数の対象を特定する接近対象特定手段と、前記対応関係決定手段によって、特定された複数の対象のいずれかと対応関係にあると判定された少なくとも1つの端末のうちの少なくとも1つに宛てて、当該所定以上に接近すると推定されることに係る情報を送信させる通信制御手段とを更に有することを特徴とする請求項1から6のいずれか1項に記載の端末同定装置。

請求項8

当該環境情報と、該環境情報から検出された対象に係る情報とを含む学習データであって、請求項1から7のいずれか1項に記載の端末同定装置によって、該対象と対応関係にあると判定された端末の電波に係る情報を正解データとした学習データによって構築されることを特徴とする、端末電波情報推定用の学習モデル

請求項9

請求項8に記載の学習モデルに対し、当該環境情報と、該環境情報から検出された対象に係る情報とを含むデータを入力し、該学習モデルによって出力された端末の電波に係る情報に基づいて、端末としての該対象の電波に係る情報を推定する端末電波情報推定手段と、推定された電波に係る情報に基づいて、端末としての前記対象の通信経路切り替えるか否かの判断を行う通信制御手段とを有することを特徴とする通信中継装置

請求項10

端末と所定の対象との対応関係を判定可能なコンピュータを機能させるプログラムであって、当該端末と通信を行う通信手段から、通信の電波に係る情報である通信電波情報を取得し、当該通信電波情報に基づいて、当該端末の位置変化に係る情報である端末運動状態情報を決定する端末運動状態決定手段と、当該端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、当該環境情報から、当該対象を検出して当該対象の検出位置の変化に係る情報である対象運動状態情報を決定する対象運動状態決定手段と、決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、当該対応する度合いに基づいて、当該端末運動状態情報に係る端末と、当該対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、当該端末と当該対象との対応関係に係る情報を決定する対応関係決定手段としてコンピュータを機能させることを特徴とする端末同定プログラム。

請求項11

端末と所定の対象との対応関係を判定可能なコンピュータによる端末同定方法であって、当該端末と通信を行う通信手段から、通信の電波に係る情報である通信電波情報を取得し、当該通信電波情報に基づいて、当該端末の位置変化に係る情報である端末運動状態情報を決定し、一方、当該端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、当該環境情報から、当該所定の対象を検出して当該対象の検出位置の変化に係る情報である対象運動状態情報を決定するステップと、決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、当該対応する度合いに基づいて、当該端末運動状態情報に係る端末と、当該対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、当該端末と当該対象との対応関係に係る情報を決定するステップとを有することを特徴とする端末同定方法。

技術分野

0001

通信対象としての端末についての情報を取得する技術、特に当該端末を同定する技術に関する。

背景技術

0002

来る第5世代移動通信システム(5G)は、ミリ波帯電波を利用し、高速、大容量、低遅延、多端末接続といった高性能通信を実現可能とする。ここで、ミリ波は、高い直進性を有していて回折が起きにくく、端末と基地局との間に存在する物体によってその伝播が遮られたり減衰したりする可能性が高くなる。そのため、5Gでは、このような物体の介在により受信電力が急激に低下して、通信品質が大幅に劣化してしまうことが大きな問題となっている。

0003

ここで、このような物体による受信電力の低下を予測できれば、端末の通信経路切り替える等の制御によって通信品質を維持することも可能となる。この受信電力の予測技術として、例えば非特許文献1には、RGB画像に加えデプス画像も生成可能なRGB−Dカメラによって取得される時系列の3次元環境情報を用い、機械学習によって通信装置における受信電力を予測する手法が開示されている。

0004

具体的にこの手法では、通信環境撮像した結果である時系列の環境情報に対し、送信局から電波を受信した端末において(撮像と同時に)計測された受信電力の時系列情報正解データとしてづけた教師データをもって、機械学習モデル構築し、この構築した機械学習モデルを用いて、RGB−Dカメラにより取得された時系列の環境情報から、受信端末における受信電力の予測値を決定している。

0005

また、例えば特許文献1は、非特許公報1に開示されたような機械学習による通信品質の予測処理において、システム初期動作段階や発生頻度の低い通信環境における通信品質の推定精度を向上させる技術を開示している。具体的には、通信環境の計測結果から形成した仮想空間において、仮想的にRGB−Dカメラによる情報を生成するとともに、伝搬シミュレーションによって仮想空間における受信端末の通信品質を推定することにより、仮想空間上で大量の学習データを生成し、これにより推定精度の向上した機械学習モデルを構築することができるとしている。

0006

特開2018−148297号公報
特開2016−212675号公報
特開2019−144941号公報
特開2019−174164号公報

先行技術

0007

西尾理志,「機械学習による無線通信品質予測と通信制御」,信学技報,Vol. 118,No. 57,SR2018-1,1〜8頁,2018年

発明が解決しようとする課題

0008

しかしながら、以上に述べた非特許文献1に開示されたような従来技術では、例えば時系列の環境情報に複数の物体が含まれる通常の状況において、これらの物体のうちで、正解データとなる時系列の受信電力情報に係る端末に相当するものを特定することができない。その結果、実運用使用可能な高い推定精度を有する機械学習モデルを構築することが非常に困難となる。すなわち、RGB−Dカメラで撮像された(端末を含む可能性のある)物体と、計測された受信電力に係る端末とが同じ対象であるか否か(対応関係にあるか否か)を判断できないので、そもそも信頼性の高い学習データが生成できないのである。

0009

また、仮に非特許文献1に開示されたような機械学習モデルを適用した場合でも、例えばRGB−Dカメラで生成された時系列の環境情報から検出された物体(端末)が、この機械学習モデルによって予測された受信電力に係るものであるか否かは全く不明であり、したがって送信局側としても、予測された受信電力は、接続しているいずれの端末に係るものであるのか、さらにはそもそも、予測された受信電力が、いずれかの端末に係るものであるのか否かですらも判断することができなくなってしまう。

0010

この点、特許文献1に開示された技術では、仮想空間においてRGB−Dカメラで撮像した端末と計測した受信電力との対応関係を決定することができるので、例えば複数の端末が移動し得る状況に対応した機械学習モデルを構築することは可能である。しかしながら、このようなモデルを適用したとしても、実運用における受信電力の予測の場面においては結局、端末の同定ができず、上述したような非特許公報1と同様の問題が生じてしまう。

0011

ここで、特許文献2には、携帯端末挙動を把握し、当該携帯端末とコンピュータが検出している移動体とを対応付け物体認識システムが開示されている。このシステムでは、各携帯端末は、自端末に作用する加速度等の種々の状態量を逐次検出し、時系列の検出結果を端末挙動データとしてサーバに送信し、サーバは、カメラから入力される映像信号に基づいて撮影範囲に存在する移動体の挙動を監視して、各移動体の挙動に関する状態量の時間変化を示すデータを推定結果履歴データとしてサーバ側記憶部に格納する。次いで、携帯端末から送信された端末挙動データと、移動体毎の推定結果履歴データとを比較することで、撮影範囲に存在する移動体と携帯端末との対応関係を特定している。

0012

しかしながら、この特許文献2に係るシステムでは、対応関係を特定する基準が、移動体の挙動に起因する物理的状態量のみとなっており、まさに懸案であるところの、各携帯端末が基地局と行う通信に係る情報は何ら活用されていない。また、携帯端末側でも自身の挙動に起因して変化する所定の状態の情報を取得する必要があるので、各携帯端末に所定の状態を検出可能なセンサ等の設備が必須となってしまい、さらにその検出結果を逐次送信する必要が生じるので、技術的に面倒な状況となってしまう。

0013

また、特許文献3には、無線受信機所持する一人又は複数の人物滞在したり移動したりしている環境において、カメラ等を用いて取得した当該人物の動線情報と、当該無線受信機(を所持する人物)との対応付けを行う技術が開示されている。この技術は具体的に、人物の動線情報から当該人物が所定エリアに滞在している時間帯を特定し、所定エリアに対応する位置に設置された無線発信機と当該人物の所持する受信機とが通信を行うことで生成される受信履歴情報から、その時間帯において所定エリアに滞在している可能性が高い人物を判別し、当該人物を、その時間帯を特定した動線情報に対応付けるものとなっている。

0014

しかしながら、この特許文献3の技術において、無線受信機を所持する人物とカメラをもって取得された人物の動線情報とを対応付けるためには、当該人物が所定エリアに滞在していることが大前提となっている。勿論、多数の所定エリアを設定することで当該人物が所定エリアに滞在することになる確率は高まるが、そうなると今度は、多数の所定エリア毎に無線発信機を設置しなければならなくなってしまう。

0015

またさらに、特許文献4には、電磁波源ビーコン)からの電磁波を受信した端末における受信電磁波情報を取得して端末の位置を推定する技術が開示されている。この技術は具体的に、この受信電磁波情報、移動し得る物体を認識可能な物体認識手段から取得された物体認識情報、及び端末の正解の位置に係る端末位置情報を含む学習データを生成して、端末位置推定用のモデルを生成し、生成されたモデルを用いて、位置推定対象の端末から取得した位置推定時点での受信電磁波情報及び物体認識情報を含む特徴データに基づき、位置推定対象の端末の位置を決定するものとなっている。

0016

しかしながら、この特許文献4の技術では、受信電磁波情報に係る端末と、物体認識情報に係る物体(端末)との対応付けは基本的に、受信電磁波情報から推定した端末位置と、物体認識情報から取得した物体位置との幾何学的な位置関係(例えば距離)に基づいて行われるため、例えば推定した端末位置の近くに多数の物体が存在している場合、誤った対応付けが行われる可能性が高くなってしまう。また、実際には複数のビーコンをエリア内に配置する必要があり、一般の通信エリア全体に適用することは現実的ではない。

0017

そこで、本発明は、端末と、当該端末の存在し得る環境に存在する対象との対応関係を、互いの位置関係に又は当該位置関係のみに頼ることなく、当該端末との通信に係る情報を利用して決定することができる装置、プログラム及び方法を提供することを目的とする。

課題を解決するための手段

0018

本発明によれば、端末と通信を行う通信手段から、通信の電波に係る情報である通信電波情報を取得し、当該通信電波情報に基づいて、当該端末の位置変化に係る情報である端末運動状態情報を決定する端末運動状態決定手段と、
当該端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、当該環境情報から、所定の対象を検出して当該対象の検出位置の変化に係る情報である対象運動状態情報を決定する対象運動状態決定手段と、
決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、当該対応する度合いに基づいて、当該端末運動状態情報に係る端末と、当該対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、当該端末と当該対象との対応関係に係る情報を決定する対応関係決定手段と
を有する端末同定装置が提供される。

0019

この本発明による端末同定装置の一実施形態として、当該通信電波情報は、受信した電波の周波数の時系列情報、受信した電波の強度の時系列情報、通信に係る電波の放射向きの時系列情報、及び通信におけるラウンドトリップタイムの時系列情報のうちの少なくとも1つを含み、
当該端末運動状態情報は、当該周波数の偏移、当該強度の時間当たりの変動、当該放射向きの時間当たりの変動、及び当該ラウンドトリップタイムの時間当たりの変動のうちの少なくとも1つから決定される当該端末の速度又は角速度に係る情報であり、
当該対象運動状態情報は、当該対象の検出位置の時間当たりの変化から決定される当該対象の速度又は角速度に係る情報であり、
当該対応する度合いは、当該端末の速度又は角速度に係る情報と、当該対象の速度又は角速度に係る情報とが一致する度合いであり、
対応関係決定手段は、当該一致する度合いに基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することも好ましい。

0020

また、上記の実施形態において、当該端末運動状態情報は、当該周波数の偏移、当該強度の時間当たりの変動、当該放射向きの時間当たりの変動、及び当該ラウンドトリップタイムの時間当たりの変動のうちの少なくとも2つのそれぞれから決定される複数の端末の速度又は角速度に係る情報であり、
当該一致する度合いは、当該複数の端末の速度又は角速度に係る情報の各々と、当該対象の速度又は角速度に係る情報とが一致する度合いであって、複数算出され、
対応関係決定手段は、当該複数の一致する度合いのうち所定以上であるものの割合、又は当該複数の一致する度合いの総和若しくは重み付けの総和に基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することも好ましい。

0021

さらに、本発明による端末同定装置の他の実施形態として、端末運動状態手段は、当該通信電波情報に基づいて、当該端末の位置に係る情報である端末位置情報も決定し、
対象運動状態決定手段は、当該環境情報から検出された当該対象の検出位置に係る情報である対象位置情報も決定し、
対応関係決定手段は、決定された端末位置情報と、決定された対象位置情報とが一致する度合いである位置一致度合いを算出し、当該位置一致度合いにも基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することも好ましい。

0022

また、本発明による端末同定装置の更なる他の実施形態として、上記のセンサは、互いに異なる位置に設けられた複数のセンサであり、
対象運動状態決定手段は、これら複数のセンサのそれぞれから複数の環境情報を取得して、当該複数の環境情報のそれぞれから当該対象運動状態情報を決定し、決定した対象運動状態情報のうちで、当該対象運動状態情報に係る対象の検出位置が所定以上に近いもの同士について、及び/又は、当該対象運動状態情報に係る対象の検出領域の特徴量が所定以上に類似しているもの同士について、それらの対象運動状態情報は、同一の対象に係るものとすることも好ましい。

0023

さらに、本発明による端末同定装置の更なる他の実施形態として、対象運動状態決定手段は、周囲に存在する他の端末同定装置から、当該他の端末同定装置において(上記のセンサとは)別のセンサから取得された環境情報から決定された対象運動状態情報を取得し、
対応関係決定手段は、取得された対象運動状態情報と、決定された端末運動状態情報とが対応する度合いも算出し、当該対応する度合いにも基づいて、当該端末と当該対象とが対応関係にあるか否かを判定することも好ましい。

0024

また、本発明による端末同定装置の更なる他の実施形態として、当該端末は、移動体に設置された又は携帯された複数の端末を含み、
本端末同定装置は、
検出された複数の対象の検出位置に基づいて、お互いが後に所定以上に接近すると推定される複数の対象を特定する接近対象特定手段と、
対応関係決定手段によって、特定された複数の対象のいずれかと対応関係にあると判定された少なくとも1つの端末のうちの少なくとも1つに宛てて、当該所定以上に接近すると推定されることに係る情報を送信させる通信制御手段と
を更に有することも好ましい。

0025

本発明によれば、また、当該環境情報と、この環境情報から検出された対象に係る情報とを含む学習データであって、以上に述べたような端末同定装置によって、この対象と対応関係にあると判定された端末の電波に係る情報を正解データとした学習データによって構築される端末電波情報推定用の学習モデルが提供される。

0026

本発明によれば、さらに、上述した本発明による学習モデルに対し、当該環境情報と、この環境情報から検出された対象に係る情報とを含むデータを入力し、この学習モデルによって出力された端末の電波に係る情報に基づいて、端末としてのこの対象の電波に係る情報を推定する端末電波情報推定手段と、
推定された電波に係る情報に基づいて、端末としてのこの対象の通信経路を切り替えるか否かの判断を行う通信制御手段と
を有する通信中継装置が提供される。

0027

本発明によれば、また、端末と所定の対象との対応関係を判定可能なコンピュータを機能させるプログラムであって、
当該端末と通信を行う通信手段から、通信の電波に係る情報である通信電波情報を取得し、当該通信電波情報に基づいて、当該端末の位置変化に係る情報である端末運動状態情報を決定する端末運動状態決定手段と、
当該端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、当該環境情報から、当該対象を検出して当該対象の検出位置の変化に係る情報である対象運動状態情報を決定する対象運動状態決定手段と、
決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、当該対応する度合いに基づいて、当該端末運動状態情報に係る端末と、当該対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、当該端末と当該対象との対応関係に係る情報を決定する対応関係決定手段と
してコンピュータを機能させる端末同定プログラムが提供される。

0028

本発明によれば、さらに、端末と所定の対象との対応関係を判定可能なコンピュータによる端末同定方法であって、
当該端末と通信を行う通信手段から、通信の電波に係る情報である通信電波情報を取得し、当該通信電波情報に基づいて、当該端末の位置変化に係る情報である端末運動状態情報を決定し、一方、当該端末の存在し得る環境をセンシングするセンサから当該環境に係る情報である環境情報を取得し、当該環境情報から、当該所定の対象を検出して当該対象の検出位置の変化に係る情報である対象運動状態情報を決定するステップと、
決定された端末運動状態情報と、決定された対象運動状態情報とが対応する度合いを算出し、当該対応する度合いに基づいて、当該端末運動状態情報に係る端末と、当該対象運動状態情報に係る対象とが対応関係にあるか否かを判定し、当該端末と当該対象との対応関係に係る情報を決定するステップと
を有する端末同定方法が提供される。

発明の効果

0029

本発明の端末同定装置、プログラム及び方法によれば、端末と、当該端末の存在し得る環境に存在する対象との対応関係を、互いの位置関係に又は当該位置関係のみに頼ることなく、当該端末との通信に係る情報を利用して決定することが可能となる。

図面の簡単な説明

0030

本発明による端末同定装置の一実施形態を示す模式図である。
本発明に係る端末運動状態決定部、対象運動状態決定部、及び対応関係決定部での処理の一実施形態を説明するための模式図である。
本発明による端末同定方法の一応用例を説明するための模式図である。
本発明に係るモデル構築部及び端末電波情報推定部での処理の一実施形態を説明するための模式図である。

実施例

0031

以下、本発明の実施形態について、図面を用いて詳細に説明する。

0032

[端末同定装置]
図1は、本発明による端末同定装置の一実施形態を示す模式図である。

0033

図1に示した、本発明による端末同定装置としての基地局1は、本実施形態において5G(第5世代移動通信方式)に対応した通信中継装置であり、5Gに対応した通信端末である複数の端末2との間で通信を実施可能な装置となっている。また、基地局1は本実施形態において、通信エリアの状況を所定の画角をもって撮影可能なRGB−Dカメラであるカメラ103を備えている。

0034

このカメラ103によって生成された(RGB及びデプス)画像データ(映像データ)には、
(a)端末2を所持・携帯した人物や、
(b)端末2を搭載した、含む又は搭乗させた自動車二輪車鉄道車両ロボットドローン等の移動体、さらには
(c)端末2の設置された設備・施設建造物固定物
といったような「対象」が含まれている(撮像されている)可能性があり、さらに、端末2に関わらない人物、移動体や、設備・施設・建造物・(樹木等の植物も含む)固定物等の「対象」も含まれ得るのである。

0035

ちなみに、このような「対象」は、同定対象である端末2との対応関係を決定すべきものとなり得る一方、端末2と基地局1との間に存在することによって、通信電波の障害物ともなり得る。特に、本実施形態の通信方式である5Gは、ミリ波帯の電波を通信に利用しているが、ミリ波は、高い直進性を有していて回折が起きにくく、端末2と基地局1との間に存在する「対象」によってその伝播が遮られたり減衰したりする可能性が高い。

0036

そのため、5Gでは、このような「対象」の介在により基地局1での受信電波電力が急激に低下して、通信品質が大幅に劣化してしまうことが大きな問題となるのである。ここで、このような「対象」による基地局1での受信電波電力の低下を予測できれば、端末2の通信経路を切り替える等の制御によって通信品質を維持することも可能となる。そこで、本実施形態の基地局1は、端末2と「対象」との対応関係を決定するだけでなく、後に説明するように、このような受信電波電力の予測や、通信経路の制御までをも可能にする装置となっている。

0037

同じく図1において、基地局1は、まず端末2と「対象」との対応関係を決定するべく、具体的にその特徴として、
(A)端末2と通信を行う通信手段(本実施形態では自ら具備する通信インタフェース101、通信制御部114及び通信履歴情報蓄積部102)から、通信の電波に係る情報である「通信電波情報」を取得し、「通信電波情報」に基づいて、端末2の位置変化に係る情報である「端末運動状態情報」を決定する端末運動状態決定部111と、
(B)端末2の存在し得る環境をセンシングするセンサ(本実施形態ではカメラ103)から当該環境に係る情報である「環境情報」(本実施形態ではカメラ画像データ)を取得し、この「環境情報」から所定の「対象」を検出して、検出された「対象」の検出位置の変化に係る情報である「対象運動状態情報」を決定する対象運動状態決定部112と、
(C)決定された「端末運動状態情報」と、決定された「対象運動状態情報」とが対応する度合いである「対応度」を算出し、この「対応度」に基づいて、「端末運動状態情報」に係る端末2と、「対象運動状態情報」に係る「対象」とが対応関係にあるか否かを判定し、端末2と当該「対象」との対応関係に係る情報である「端末対象対応情報」を決定する対応関係決定部113と
を有している。

0038

ここで、上記(A)の「通信電波情報」は、(a)受信した電波の周波数の時系列情報、(b)受信した電波の強度の時系列情報、(c)通信に係る電波の放射向きの時系列情報、及び(d)通信におけるラウンドトリップタイムの時系列情報のうちの少なくとも1つを含み、また、そこから決定される「端末運動状態情報」は、(a’)受信した電波の周波数の偏移、(b’)受信した電波の強度の時間当たりの変動、(c’)通信に係る電波の放射向きの時間当たりの変動、及び(d’)通信におけるラウンドトリップタイムの時間当たりの変動のうちの少なくとも1つから決定される、端末2の速度又は角速度に係る情報であることも好ましい。

0039

一方、上記(B)の「対象運動状態情報」は、「対象」の検出位置の時間当たりの変化から決定される「対象」の速度又は角速度に係る情報であることも好ましい。

0040

さらに、これらの好適な形態において、上記(C)の「対応度」は、端末2の速度又は角速度に係る情報と、「対象」の速度又は角速度に係る情報とが一致する度合いとして設定され、対応関係決定部113は、このような「対応度」に基づいて、端末2と当該「対象」とが対応関係にあるか否かを判定するのである。

0041

このように、本発明による端末同定装置としての基地局1によれば、端末2と、端末2の存在し得る環境に存在する(「環境情報」から検出される)「対象」との対応関係を、端末2の「通信電波情報」と検出「対象」の位置変化とから導出したそれぞれの「運動状態」を互いに比較することによって、決定することが可能となる。すなわち、端末2及び「対象」における互いの位置関係に頼ることなく、それぞれの「運動状態」の比較から「端末対象対応情報」を決定することができるのである。

0042

ここで後述するように、基地局1においては、端末2及び「対象」における互いの「運動状態」だけでなく互いの位置関係にも基づいて、「端末対象対応情報」を決定する実施形態をとることも可能である。しかしながら、いずれにしても基地局1は、互いの位置関係のみに頼ることなく、端末2と「対象」との対応関係を判定することができるのである。またその結果として、例えば同定対象である端末2の近傍に多数の「対象」が存在している場合(検出された場合)に、互いの位置の差が微小であるが故に誤った対応関係が決定されてしまうリスクを、それらの「運動状態」を案することによって大幅に低減することも可能となるのである。

0043

なお、本実施形態における基地局1と端末2との間の通信方式には5Gが採用されているが、当然にLTE等、他の通信方式を用いてもよく、また、本発明による端末同定装置と端末との間の通信が、他の様々な無線通信規格に基づくものであってもよい。例えば物体による遮蔽問題が5Gほど顕著ではない通信方式であっても、「環境情報」から検出された「対象」を用いて、配下の端末を正確に同定したい状況は少なからず発生する。例えば、ある端末と対応関係にあると判定されたユーザの閲覧ページと、当該ユーザの動線との関係を決定してマーケティングや管理に生かす等、端末同定ニーズは多様に存在するのである。これに対し、本発明による端末同定装置によれば、そのような端末同定処理を高い精度で実施することも可能になるのである。

0044

また、本発明による端末同定装置は、基地局等の通信中継装置に限定されるものでもない。例えば、端末同定処理の専用装置として、基地局等の通信中継装置・設備に接続される形で設けられてもよい。また、本発明による端末同定装置として、本発明による端末同定プログラムを搭載した、クラウドサーバ、非クラウドサーバ装置パーソナル・コンピュータ(PC)、又はノート型若しくはタブレット型コンピュータ等を用いることも可能である。

0045

さらに言えば、本発明による端末同定装置(基地局1)の構成要素である上記(A)〜(C)のうちの少なくとも1つが、他の構成要素とは別の装置となっている形態をとることも不可能ではない。例えば、複数のサーバの全体によって上記(A)〜(C)の機能を実現することも可能となっている。ここでこのような場合でも、これらの全体をもって、本発明による端末同定方法を実施する端末同定装置又はシステムであると捉えることができるのである。

0046

[端末同定装置の機能構成,端末同定プログラム]
同じく図1機能ブロック図において、基地局1は、本発明による端末同定装置及び通信中継装置の一実施形態として、通信インタフェース101と、通信履歴情報蓄積部102と、カメラ103と、カメラ画像蓄積部104と、プロセッサメモリとを有する。ここで、プロセッサ・メモリは、本発明による端末同定プログラムを包含する通信中継プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この通信中継プログラムを実行することによって、端末同定処理及び通信中継処理を実施する。

0047

また、プロセッサ・メモリは、機能構成部として、端末位置決定部111aを含む端末運動状態決定部111と、対象位置決定部112aを含む対象運動状態決定部112と、対応関係決定部113と、通信制御部114と、接近対象特定部121と、モデル構築部131と、端末電波情報推定部132とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された端末同定プログラム及び通信中継プログラムの機能と捉えることができ、また、図1の機能ブロック図における基地局1の機能構成部間を矢印で接続して示した処理の流れは、本発明による端末同定方法及び通信中継方法の一実施形態としても理解される。

0048

同じく図1の機能ブロック図において、通信制御部114は、通信インタフェース101と各端末2との間の無線通信動作を制御することにより基地局としての機能を果たし、さらに、各端末2との通信に係る各種情報を取得・記録して当該情報を時系列で整理した通信履歴情報を生成し、通信履歴情報蓄積部102に保存・管理させる。

0049

ここで本実施形態において、この通信履歴情報は、端末2との通信で使用した電波に係る情報である通信電波情報、具体的には、
(a)端末2から受信した電波の周波数の時系列情報、
(b)端末2から受信した電波の強度(受信信号電力RSSI(Received Signal Strength Indicator))の時系列情報、
(c)端末2との通信に係る電波の放射向きの時系列情報、及び
(d)端末2との通信におけるラウンドトリップタイム(RTT)の時系列情報
のうちの少なくとも1つを含む情報となっている。

0050

端末運動状態決定部111は、通信履歴情報蓄積部102から上記の通信電波情報を取得し、この通信電波情報に基づいて、端末2の位置変化に係る情報である端末運動状態情報を決定する。ここで本実施形態において、この端末運動状態情報は、
(a’)端末2から受信した電波の周波数の偏移、
(b’)端末2から受信した電波の強度(受信信号電力,RSSI)の時間当たりの変動、
(c’)端末2との通信に係る電波の放射向きの時間当たりの変動、及び
(d’)端末2との通信におけるRTTの時間当たりの変動
のうちの少なくとも1つから決定される、端末2の速度又は角速度に係る情報となっている。

0051

最初に、端末運動状態決定部111は、上記(a’)については、上記(a)の電波の周波数f_tの時系列情報から、通信用として本来設定された周波数f0_tからの偏移分Δf_tの時系列情報を生成し、この偏移分Δf_tに対し、例えば電波工学の分野で周知であるドップラー効果を用いた物体速度計測法を適用することによって、端末2の速度ベクトルv_eの時系列情報を生成し、これを端末運動状態情報としてもよい。

0052

また、端末運動状態決定部111は、上記(b’)については、上記(b)の受信信号電力(RSSI)E_tの時系列情報と、予め設定された端末2からの発信信号強度とから、例えば電波工学の分野で周知であるフリスの伝達公式を用いて、端末2までの距離D_tの時系列情報を生成し、この距離D_tの時間変化から、端末2の速度ベクトルv_eの時系列情報を生成して、これを端末運動状態情報としてもよい。

0053

さらに、端末運動状態決定部111は、上記(c’)については、上記(c)の電波の放射向きを表す仰角φ_tと方位角ψ_tの組(φ_t ψ_t)の時系列情報から、(基地局1を中心とした)端末2の角速度ベクトルw_eの時系列情報を生成し、これを端末運動状態情報としてもよい。

0054

さらにまた、端末運動状態決定部111は、上記(d’)については、上記(d)のRTTR_tの時系列情報から、当該RTTR_tに対し電波伝搬速度VとRTTを片道分にする係数0.5とを乗算することによって通信距離(R_t*V/2)の時系列情報を生成し、この通信距離の時間変化から、端末2の速度ベクトルv_eの時系列情報を生成して、これを端末運動状態情報としてもよい。

0055

なお、以上に述べた速度ベクトルv_eは、場合によっては又は正確には、端末2の速度ベクトルの所定方向(例えば基地局1と端末2とを結ぶ方向)への射影ベクトルとなる。

0056

以上、端末2の端末運動状態情報の決定処理について説明したが、端末運動状態決定部111の端末位置決定部111aは、後に説明する好適な一実施形態においてではあるが、取得した通信電波情報に基づいて、端末2の位置に係る情報である端末位置情報も決定することも好ましい。ここで具体的には、基地局1での受信信号電力のみならず、
(a)基地局1の周囲に存在する複数の基地局における受信信号電力計測値や、
(b)複数の基地局からの電波を受信した端末2における受信信号電力計測値
を例えば通信によって取得して利用する周知の基地局測位技術を用いて、端末2の端末位置情報を決定することができる。

0057

同じく図1の機能ブロック図において、カメラ103は、例えばCCDイメージセンサCMOSイメージセンサ等の固体撮像素子を備えた可視光近赤外線又は赤外線対応の撮影デバイスであってもよく、ステレオカメラ、全天球(全方位)カメラとすることもできる。勿論、カメラ103の代わりに、例えばLiDAR、レーザ・赤外線測位器TOFカメラサーモグラフィデバイスといったような、端末2の存在し得る環境をセンシングし環境情報を生成可能なセンサを採用することも可能である。

0058

ここで本実施形態では、カメラ103は、環境情報としてRGB画像及びデプス画像を生成可能なRGB−Dカメラとなっており、生成された環境情報(RGB画像データ及びデプス画像データ)は、カメラ画像蓄積部104で保存・管理される。

0059

なお、カメラ103は、本実施形態では基地局1内に設置されているが、例えば基地局1とは離隔した位置に設置されたカメラ、例えば街中の監視カメラであって、基地局1と通信接続されたものであってもよい。また、後に説明するが、基地局1の内外を問わず、カメラ103が、互いに異なる位置に複数設けられている実施形態をとることも可能である。

0060

対象運動状態決定部112は、カメラ画像蓄積部104から(RGB及びデプス)画像データ(環境情報)を取得して、当該画像データから、「所定の対象」を検出して当該対象の速度又は加速度に係る情報(対象運動状態情報)、本実施形態では速度ベクトルv_m又は角速度ベクトルw_mの時系列情報を決定する。ちなみに、この速度ベクトルv_mは、端末運動状態決定部111で決定された速度ベクトルv_eと合せて、所定の対象の速度ベクトルの所定方向(例えば基地局1と端末2とを結ぶ方向)への射影ベクトルとして決定されてもよい。

0061

ここで、検出される「所定の対象」は、例えば、
(a)携帯端末を所持した人物(ユーザ)や、
(b)ドライブレコーダ機能、CAN情報転送機能、サーバによる自動運転制御インタフェース機能等を有する端末2の搭載された自動車、さらには、
(c)サーバによる自律移動制御のインタフェース機能を有する端末2を搭載した自律移動型ロボット自律飛行型ドローン
といったような、通信履歴情報に係る通信先である端末2を含む可能性のある"人物"や"移動体"とすることができる。また場合によってはさらに、端末2を含む可能性のある"設備”、"施設"、"建造物"、"固定物"等も、「所定の対象」とすることがあり得るのである。

0062

また、このような所定の対象における速度ベクトルv_m又は角速度ベクトルw_mの時系列情報(速度又は角速度に係る情報)は、本実施形態において、
(a)対象運動状態決定部112の対象位置決定部112aによって、取得された時系列の画像データから所定の対象を検出し、検出された当該対象における画像空間内での検出位置の時系列情報を導出して、次いで当該検出位置に対し画像空間座標系から実空間座標系への変換処理を実施し、
(b)導出された実空間座標系での検出位置の時間当たりの変化を求める
ことによって決定することができる。ちなみに、角速度ベクトルw_mは、当該ベクトル原点、すなわち回転中心を基地局1(カメラ103)の位置として算出される。

0063

ここで、上記(a)の(RGB及びデプス)画像データからの所定の対象の検出については、例えば、各種画像認識用として周知の機械学習アルゴリズムに基づき所定対象検出用のモデルを構築し、当該モデルを用いて、画像データ内における所定の対象が存在すると推定される検出領域(例えばbounding box)を特定し、さらに、当該検出領域が所定の対象である確からしさを示すスコアも算出して、所定条件を満たすだけの高いスコアを有する検出領域を対象領域に決定することができる。また、所定の対象の検出位置は、この決定された対象領域の代表点(例えば重心や下端中点等)とすることができるのである。

0064

ちなみに、カメラ103としてステレオカメラを採用する場合、生成された環境情報であるステレオカメラ画像データに対し、例えば、非特許文献:Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, 21〜37頁, 2016年に記載された物体検出器を適用することによって、対象領域及び検出位置を決定することが可能となっている。

0065

さらに、カメラ103に代わりにLiDARを本発明に係るセンサとして用いる場合、生成された環境情報であるポイントクラウド点群)に対しては、例えば、Charles R. Qi, Hao Su, Kaichun Mo, Leonidas J. Guibas, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation”, Journal of 2017IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 77〜85頁, 2016年に記載された物体検出器を用いることによって、対象領域及び検出位置を決定することができる。

0066

ちなみに、対象運動状態決定部112は、環境情報から所定の対象が検出されない場合、すなわち1つの所定の対象も計測(センシング)されない場合や、計測されてはいるがノイズ等の影響により検出されない場合は、当該環境情報について対象運動状態決定処理を終了する。

0067

また、対象運動状態決定部112の対象位置決定部112aは、上述したように、検出した所定の対象の位置(検出位置)を決定することができるが、本実施形態ではさらに、検出した所定の対象毎に、当該対象を各時点における検出位置に対応付けた上で、当該対象の位置の時系列情報(移動履歴情報)を生成する。これにより、検出した各所定の対象を個別に追跡することも可能となる。

0068

ここでこのような対象追跡処理については、決定した対象領域(bounding box)に対し、例えば周知の状態推定手法であるカルマンフィルタを適用して、過去の時点での状態から現時点における対象の検出領域(bounding box)を予測し、この予測した検出領域(bounding box)と、現時点で検出された検出領域(bounding box)との重畳面積評価値として、当該評価値に基づき対象領域を決定していくことも好ましい。ちなみにこのような対象追跡処理は、例えば非特許文献:Alex Bewley, Zongyuan Ge, Lionel Ott,Fabio Ramos, Ben Upcroft, “Simple Online and Realtime Tracking”, Journal of 2016IEEE International Conference on Image Processing (ICIP), 3464〜3468頁, 2016年に記載されている。

0069

また、他の実施形態として、カメラ103又は上述したようなカメラ以外のセンサが、基地局1の内外を問わず、互いに異なる位置に複数設けられている場合において、対象運動状態決定部112は、
(a)これら複数のカメラ103(又はセンサ)のそれぞれから複数の環境情報を取得し、
(b)これら複数の環境情報のそれぞれから対象運動状態情報(例えば、所定の対象の速度又は角速度に係る情報)を決定し、
(c)決定した対象運動状態情報のうちで、
(c1)当該対象運動状態情報に係る対象の検出位置が所定以上に近いもの(例えば互いの距離が所定閾値未満であるもの)同士について、及び/又は、
(c2)当該対象運動状態情報に係る対象の検出領域(bounding box)の画像特徴量が所定以上に類似しているもの(例えば画像特徴量空間における互いの距離が所定閾値未満であるもの)同士について、
それらの対象運動状態情報は、同一の対象に係るものとすることも好ましい。またこの場合、それらの対象運動状態情報に係る対象についての検出位置群代表値(例えば平均値)を、当該同一の対象の位置として取り扱ってもよい。

0070

これにより、ある端末2が、取得された環境情報の中に含まれず、結果的に当該端末2の同定処理に失敗してしまうといった事態を回避することも可能となるのである。例えば、1つのカメラ103(又はセンサ)による環境情報については、ある所定の対象が他の対象の裏に位置し、この他の対象に遮蔽されてしまって、当該環境情報に含まれない(撮像されない)状況も少なからず発生してしまう。例えば、1つのカメラ103からすると、端末2を所持した人物が停車中のバスに遮られて見えなくなる、といったことも十分に起こり得るのである。

0071

これに対し、互いに設置位置の異なる複数のカメラ103(又はセンサ)による環境情報を用いれば、ある環境情報には含まれていない対象も、センシング(計測)の視点が異なる他の環境情報に含まれることになり、その結果、上記の懸念される事態を回避することも十分に可能となるである。

0072

ちなみに、以上に述べたような複数のカメラ103(又はセンサ)に係る対象運動状態情報を利用する典型例として、基地局1が、自らの周囲に存在する他の1つ以上の基地局1の各々から、当該基地局1に設置されたカメラ103(又はセンサ)によって生成された対象運動状態情報を受信・取得して、上記の同一対象判定処理を実施することが挙げられる。この場合、複数の基地局1が連携して、本発明に係る端末同定処理をより好適に実施することも可能となるのである。

0073

同じく図1の機能ブロック図において、対応関係決定部113は、
(a)端末運動状態決定部111で決定された端末運動状態情報、本実施形態では端末2の速度又は角速度に係る情報と、
(b)対象運動状態決定部112で決定された対象運動状態情報、本実施形態では検出された所定の対象の速度又は角速度に係る情報と
が対応する度合いである「対応度」を算出し、この「対応度」に基づいて、上記(a)の端末運動状態情報に係る端末2と、上記(b)の対象運動状態情報に係る所定の対象とが対応関係にあるか否かを判定し、端末2と所定の対象との対応関係に係る情報である端末対象対応情報を決定する。

0074

ここで本実施形態では、上記の「対応度」は、上記(a)の端末2の速度又は角速度に係る情報と、上記(b)の検出された所定の対象の速度又は角速度に係る情報とが一致する度合いを示す値であって、例えば、
(ア)所定時間区間の各時点における端末2の速度ベクトルv_eと、同時点における検出された所定の対象の速度ベクトルv_mとの差の大きさの逆数(1/|v_e−v_m|)についての当該所定時間区間における代表値(例えば平均値)を、当該所定時間区間における対応度Cとしてもよく、
(イ)所定時間区間の各時点における端末2の角速度ベクトルw_eと、同時点における検出された所定の対象の角速度ベクトルw_mとの差の大きさの逆数(1/|w_e−w_m|)についての当該所定時間区間における代表値(例えば平均値)を、当該所定時間区間における対応度Cとしてもよい。

0075

対応関係決定部113は次いで、算出した対応度Cが所定の閾値C_thを超える場合(C>C_thである場合)、(当該所定時間区間において)当該端末2と当該検出された所定の対象とが対応関係にあると判定し、例えば、当該端末2の端末IDと、当該所定の対象の対象IDとを対応付けて記録した端末対象対応情報を決定するのである。なお、この閾値C_thは、例えば管理者によって経験的に好適な値に設定されてもよい。

0076

また変更態様として、対応関係決定部113は、全ての端末2と、全ての検出された所定の対象との間で生成される全ての組について対応度Cを算出し、その中で最適な結果(対応関係)を与える組を解として選択する貪欲法(greedy algorithm)によって、端末2と所定の対象との間の対応関係を判定し、端末対象対応情報を決定することも好ましい。

0077

図2は、端末運動状態決定部111、対象運動状態決定部112、及び対応関係決定部113での処理の一実施形態を説明するための模式図である。

0078

図2に示した実施形態では、自動車に搭載されて移動している端末2が、周波数f0_tの電波を発信し、この端末2と通信接続している基地局1は、この端末2から周波数(f0_t+Δf_t)の電波を受信する。基地局1の端末運動状態決定部111は、この端末2の端末IDに受信電波周波数(f0_t+Δf_t)を対応付けた通信電波情報(通信履歴)を取得し、周波数偏移分Δf_tの時系列情報から、周知のドップラー効果物体速度計測法を用いて、端末2の速度ベクトルv_eの時系列情報(端末運動状態情報)を生成する。

0079

一方、端末2を搭載した自動車は、その移動状態を含めカメラ103によって撮影されており、基地局1の対象運動状態決定部112は、この自動車を含む環境情報として、この自動車を撮像した画像データを取得して、当該画像データに対し、所定の対象として予め設定されていた"自動車"の検出処理を実施し、端末2を搭載した自動車の検出位置の時系列情報を生成する。また次いで、この検出位置の時系列情報から変位(位置変化分)ベクトルΔl_mの時系列情報を生成し、当該情報から、単位時間当たりの変位ベクトルに相当する速度ベクトルv_mの時系列情報(対象運動状態情報)を生成するのである。

0080

この後、基地局1の対応関係決定部113は、生成された端末2の速度ベクトルv_eの時系列情報と、検出された自動車(所定の対象)の速度ベクトルv_mの時系列情報とから、所定時間区間の各時点におけるベクトル差の大きさの逆数(1/|v_e−v_m|)を算出して、これらの値から対応度C(v_e,v_m)を決定する。対応関係決定部113は次いで、決定した対応度C(v_e,v_m)が所定の閾値C_thを超える場合(C>C_thである場合)、端末2と検出された自動車(所定の対象)とが対応関係にあると判定し、最後に、端末2の端末IDと、検出された自動車の対象IDとを対応付けて記録した端末対象対応テーブル(端末対象対応情報)を生成するのである。

0081

このように、本実施形態の基地局1によれば、端末2と、端末2の存在し得る環境に存在する所定の対象(図2では自動車)との対応関係を、端末2及び所定の対象の速度(運動状態)を互いに比較することによって、決定可能となっている。すなわち、端末2及び所定の対象における互いの位置関係に頼ることなく、それぞれの速度(運動状態)の比較から端末対象対応情報を決定することができ、特に、端末2が移動(運動)し得る端末であっても、その同定処理をより確実に実施することができるのである。

0082

以上、図2を用いて端末同定処理の一実施形態を説明したが、この実施形態では、受信した電波の周波数から速度に係る情報を生成している。これに対し、他の好適な実施形態として、端末運動状態情報を、
(a’)端末2から受信した電波の周波数の偏移、
(b’)端末2から受信した電波の強度(受信信号電力,RSSI)の時間当たりの変動、
(c’)端末2との通信に係る電波の放射向きの時間当たりの変動、及び
(d’)端末2との通信におけるRTTの時間当たりの変動
のうちの少なくとも2つ(例えば4つ全て)のそれぞれから決定される複数の端末2の速度又は角速度に係る情報とすることも好ましい。

0083

この場合、対応度Cは、これら複数の端末2の速度又は角速度に係る情報の各々と、検出された所定の対象の速度又は角速度に係る情報とが一致する度合い(例えば両ベクトル差の大きさの逆数)とすることができ、複数算出されることとなる。ここで、対応関係決定部113は、例えば、
(a)これら複数の対応度Cのうち所定の閾値C_th以上であるものの割合が所定値(例えば0.5)以上である場合に、又は、
(b)これら複数の対応度Cの総和若しくは重み付けの総和が所定値以上である場合に、
端末2と検出された所定の対象とが対応関係にあるとの判定を行うことも好ましい。

0084

いずれにしても、このように複数の対応度Cを統合して端末2の同定処理を実施する実施形態では、速度又は角速度に係る情報が異なる手法によって多角的に推定されるので、様々な環境の状況下においても、端末2の同定処理の精度が維持される又は向上するのである。

0085

またさらに、他の好適な実施形態として、対応関係決定部113(図1)は、
(a)端末運動状態決定部111の端末位置決定部111a(図1)で決定された端末位置情報と、
(b)対象運動状態決定部112の対象位置決定部112a(図1)で決定された対象位置情報と
が一致する度合いである位置対応度(位置一致度合い)LCを算出し、上述した運動状態の対応度Cのみならず、位置対応度LCにも基づいて、端末2と検出された所定の対象とが対応関係にあるか否かを判定することも好ましい。

0086

ここで、位置対応度LCは、例えば、所定時間区間の各時点における端末2の位置と所定の対象の位置との差の絶対値(距離)の逆数についての、当該所定時間区間での代表値(例えば平均値)とすることができる。また、対応関係決定部113は、例えば、運動状態の対応度Cが所定の閾値C_thを超え(C>C_thであり)、且つ位置対応度LCが所定の閾値LC_thを超える(LC>LC_thである)場合に、端末2と検出された所定の対象とが対応関係にあるとの判定を行うことも好ましい。

0087

このように、位置対応度LCも勘案して端末2の同定処理を実施することによって、より確度の高い(端末2と所定の対象との)対応関係を決定することも可能となるのである。

0088

さらに、運動状態の対応度Cに関する他の好適な実施形態を説明する。この実施形態では、基地局1の周囲には少なくとも1つの基地局1が存在しており、各基地局1は、自らのカメラ103による環境情報から対象運動状態情報を決定し、さらに、自ら決定した対象運動状態情報を互いにやり取り可能となっている。

0089

ここで、対象運動状態決定部111(図1)は、周囲の基地局1で決定された対象運動状態情報を取得し、さらに、対応関係決定部113(図1)は、このように取得された対象運動状態情報と、決定された端末運動状態情報との対応度C'も算出し、自ら決定した対象運動状態情報の対応度Cだけでなく、この対応度C'にも基づいて、端末2と所定の対象とが対応関係にあるか否かを判定することも好ましい。なおこの場合、既に説明したような、基地局1が複数のカメラ103と接続されている実施形態において実施される端末同定処理と同様の端末同定処理を実施することができる。またこれにより、ある端末2が、自らのカメラ103による環境情報の中に含まれず、結果的に基地局1が当該端末2の同定処理に失敗してしまう、といった事態を回避することも可能となるのである。

0090

[端末同定処理の応用例]
以下、以上に説明した端末同定処理の一応用例を説明する。

0091

図1の機能ブロック図において、接近対象特定部121は、通信エリア環境内に、移動し得る複数の端末2が存在する状況において、対象運動状態決定部112で検出された(所定の対象以外の対象も含む)複数の対象の検出位置に基づいて、お互いが後に所定以上に接近すると推定される複数の対象を特定する。

0092

例えば、接近対象特定部121は、検出された各対象における現時点での検出位置と、当該検出位置の過去の時間変化から算出された速度ベクトルとに基づいて、所定時間経過後の将来時点における各対象の位置を推定し、当該将来時点における互いの距離が所定閾値以下となる対象を、接近対象群として特定することも好ましい。

0093

この場合、通信制御部114は、接近対象特定部121において特定された複数の対象の情報を受け、対応関係決定部113によってこれらの複数の対象のうちのいずれかと対応関係にあると判定された(少なくとも1つの)端末2を特定し、特定した端末2のうちの少なくとも1つに宛てて、所定以上に接近すると推定されることに係る情報、例えば接近・衝突アラーム出会い遭遇予報等を(通信インタフェース101から)送信させるのである。

0094

図3は、本発明による端末同定方法の一応用例を説明するための模式図である。

0095

図3の応用例によれば、基地局1は、5Gをもって通信接続された自動車(やロボット等)を遠隔監視している。具体的に基地局1は、端末IDが001である端末2_001、及び端末IDが002である端末2_002と通信接続しており、さらに、この基地局1の対応関係決定部113は、
(a)端末2_001と、対象IDが002である検出された自動車3_002とが、対応関係にあり(すなわち端末2_001は、自動車3_002に搭載されており)、
(b)端末2_002と、対象IDが003である検出された自動車3_003とが、対応関係にある(すなわち端末2_002は、自動車3_003に搭載されている)、
ことを決定し、その旨を記録した端末対象対応テーブルを生成している。

0096

一方、接近対象特定部121は、自動車3_003と、対象IDが001である走行者4_001とを、1つの接近対象群の要素として特定しており、自動車3_003及び走行者4_001を1つの接近対象群に含める旨の情報である近接対象群情報を通信制御部114へ出力している。なお本応用例では、走行者4_001は、道路沿いに立ったビル障害となって、自動車3_003に搭載されたセンサによっては認識できない状況にある。

0097

このような状況において、通信制御部114は、
(a)この接近対象群情報に基づき、取得した上記の端末対象対応テーブルから、接近アラーム通知先として、接近対象群に含まれている自動車3_003と対応関係を有する端末2_002を決定し、
(b)「(同じく接近対象群に含まれている)走行者4_001が接近している」旨のアラーム情報を、通知先として決定した端末2_002宛てに送信させるのである。

0098

また、接近対象特定部121は、このアラーム情報に合わせ、走行者4_001の検出位置情報も端末2_002へ送信し、走行者4_001の現在位置(及びその動線)を、端末2の画面上の道路マップ強調表示させることも好ましい。

0099

以上説明したような処理を実施することによって、例えば、運転者による安全運転や人物の安全な歩行走行を促し、自動車等の移動体による衝突事故の防止を図ることもできる。特に、ある自動車にとっての危険な状況であって、しかしながらその車載センサ(カメラ)によっては検知・予測できない危険な状況を、同定済みの端末2を介し、まさに当事者であるこの自動車へ通知することも可能となるのである。

0100

[通信中継処理,通信中継プログラム]
以上、端末2の同定処理に係る様々な実施形態を説明したが、以下、図1の機能ブロック図と図4とを用い、このような同定処理を用いて実現する、基地局1における通信中継処理の一実施形態を説明する。なお、図4は、この後に述べるモデル構築部131及び端末電波情報推定部132における処理の一実施形態を説明するための模式図となっている。

0101

図1の機能ブロック図において、モデル構築部131は、端末電波情報推定用の学習モデルを構築する。具体的に本実施形態では、モデル構築部131は、図4(A)に示したように、
(a)カメラ103によって生成された(端末2に係る対象や電波障害物となり得る対象を含み得る)時系列画像データ(環境情報)と、
(b)この時系列画像データから検出された所定の対象に係る情報、例えば当該対象の検出位置に係る情報(対象位置情報)と
を含む学習データであって、
(c)対応関係決定部113においてこの所定の対象と対応関係にあると判定された端末2に係る(上記(a)の環境情報の各時点における又は代表時点における)受信電波情報、例えば受信電波電力
を正解データとした学習データを生成し、当該学習データによって、画像認識分野で周知の機械学習アルゴリズム(例えば、ニューラルネットワークアルゴリズムであって複数の畳み込み層部(Convolutional Layers)と、それらの出力を取りまとめる全結合層部(Fully-Connected Layers)との組合せ)を用いて、端末電波情報推定モデルを構築するのである。

0102

ここで、既に詳細に説明したように、非特許文献1に開示されたような従来の機械学習モデルでは、例えばカメラで生成された時系列の環境情報から検出された物体が、この機械学習モデルによって予測された受信電波電力に係る端末に対応するものであるか否かは確定できない状況となっている。

0103

これに対し、モデル構築部131で構築された端末電波情報推定モデルは、正解データとしての受信電波情報にまさに対応付けられた(対応関係にあると判定された)対象に係る情報、例えば対象位置情報を、学習データに含めて構築されている。したがって、この端末電波情報推定モデルによって予測された受信電波情報、例えば受信電波電力は、当該受信電波情報に係る端末2の同定先として決定された所定の対象についての予測値と解釈することができる。すなわち、本端末電波情報推定モデルによる受信電波情報の推定処理は、従来の機械学習モデルによる推定処理における対応対象の確実な特定という未解決課題を、確実に解決するのである。

0104

次いで、端末電波情報推定部132は、モデル構築部131で構築された端末電波情報推定モデルを用いて、端末2の受信電波情報、例えば受信電波電力を推定する。具体的に本実施形態では、端末電波情報推定部132は、図4(B)に示したように、
(a)カメラ103によって生成された、推定対象である端末2を含み電波障害物となり得る対象も含み得る時系列画像データ(環境情報)と、
(b)この時系列画像データから検出された所定の対象であって、推定対象である端末2と対応関係にあると判定された所定の対象の対象位置情報と
を端末電波情報推定モデルへの入力とし、この入力によって端末電波情報推定モデルから出力された(推定情報としての)受信電波電力に基づいて、推定対象である端末2の(推定時点若しくは時間区間における)受信電波電力の予測値を決定する。

0105

最後に、(上述したように高い推定精度を有する)端末2の受信電波電力の予測値を取得した通信制御部114(図1)は、この予測値に基づいて、端末2(又は当該端末2と対応する所定の対象)の通信経路を切り替えるか否かの判断を行う。例えば、所定の将来時点若しくは時間区間における当該予測値が所定の電力閾値以下である場合、この端末2との通信を、他の隣接する基地局1に手渡してもよい。

0106

ここで、他の隣接する基地局1においても、同じ端末2における受信電波電力の予測値を決定しておき、当該基地局1の間で当該予測値を共有して最も大きな予測値を特定し、この特定した最大予測値を決定した基地局1へ通信経路を切り替えることも好ましい。

0107

以上のように、本実施形態の基地局1によれば、端末同定処理結果を利用して構築した端末電波情報推定モデルを使用することによって、5Gで大きな問題となる通信路遮蔽物による通信障害の問題、特に、移動している遮蔽物による一時的な通信障害の問題を、確実に解決可能な通信中継処理を実施することが可能となるのである。

0108

以上詳細に説明したように、本発明によれば、端末と、端末の存在し得る環境に存在する対象との対応関係を、通信電波情報と対象検出位置の変化とから導出したそれぞれの「運動状態」を互いに比較することによって、決定することが可能となる。すなわち、端末及び対象における互いの位置関係に又は当該位置関係のみに頼ることなく、それぞれの「運動状態」の比較から「端末対象対応情報」を決定することができるのである。

0109

また、このような本発明による端末同定処理は、来る5Gにおける通信路遮蔽物による通信障害の問題を解決したり、端末を搭載した自動車に対して人物や他車等の接近を通知・警告したり、さらには、ある端末と対応関係にあると判定されたユーザの閲覧ページと、当該ユーザの動線との関係を決定してマーケティングや管理に生かしたり等、様々な状況・分野において応用することが可能となっている。

0110

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

0111

1基地局(端末同定装置、通信中継装置)
101通信インタフェース
102通信履歴情報蓄積部
103カメラ
104カメラ画像蓄積部
111 端末運動状態決定部
111a端末位置決定部
112 対象運動状態決定部
112a 対象位置決定部
113対応関係決定部
114通信制御部
121 接近対象特定部
131モデル構築部
132 端末電波情報推定部
2、2_001、2_002 端末
3_002、3_003自動車
4_001 走行者

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ