図面 (/)

技術 電子機器、システム、データ生成方法及びプログラム

出願人 株式会社ニコン
発明者 上出将元木康之皆川一惠高橋祐見関口政一亀原博村越雄
出願日 2018年1月22日 (3年4ヶ月経過) 出願番号 2018-008266
公開日 2018年4月19日 (3年1ヶ月経過) 公開番号 2018-062184
状態 拒絶査定
技術分野 プラスチック等のその他の成形、複合成形(変更なし)
主要キーワード 装着品 ペット検出 磁界検出値 工作機器 撮像方位 遠近関係 立体成形 背景検出
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2018年4月19日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (9)

課題

使い勝手のよい電子機器を提供する。

解決手段

電子機器は、撮像に関する第1データを取得する取得部(25)と、前記取得部が取得した前記第1データに基づき、立体データを作成するための第2データを収集する収集部(25)と、前記第1、2データに基づき立体造形の第3データを作成する作成部(24)と、を備えている。

概要

背景

クリスアンダーソン氏著書の「Makers」には3Dプリンタのような工作機器による21世紀産業革命が記載されている。また、最近では、小型の3Dプリンタが商品化されつつあり、個人立体成形を行うことも可能になってきている。

また、立体物造形装置(3Dプリンタ)に関する種々技術も提案されてきている(特許文献1等参照)。

概要

使い勝手のよい電子機器を提供する。電子機器は、撮像に関する第1データを取得する取得部(25)と、前記取得部が取得した前記第1データに基づき、立体データを作成するための第2データを収集する収集部(25)と、前記第1、2データに基づき立体造形の第3データを作成する作成部(24)と、を備えている。

目的

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供する

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

撮像に関する第1データを取得する取得部と、前記取得部が取得した前記第1データに基づき、立体データを作成するための第2データを収集する収集部と、前記第1、第2データに基づき立体造形の第3データを作成する作成部と、を備えたことを特徴とする電子機器

技術分野

0001

本発明は、電子機器に関する。

背景技術

0002

クリスアンダーソン氏著書の「Makers」には3Dプリンタのような工作機器による21世紀産業革命が記載されている。また、最近では、小型の3Dプリンタが商品化されつつあり、個人立体成形を行うことも可能になってきている。

0003

また、立体物造形装置(3Dプリンタ)に関する種々技術も提案されてきている(特許文献1等参照)。

先行技術

0004

特開2013−86289号公報

発明が解決しようとする課題

0005

3Dプリンタを用いて立体物造形する場合、3D・CADデータが必要となるが、専門知識のない個人が3D・CADデータを作成するのは容易ではない。また、インターネットなどから3D・CADデータを取得(ダウンロード等)する方式では、データにオリジナリティがなく、使い勝手が十分ではなかった。また、非接触3次元デジタイザなどの写真測量システム販売されてきてはいるものの、個人レベル購入するには高価であったり、被写体を様々な方向から撮影する必要があり、使い勝手が十分でなかった。

0006

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。

課題を解決するための手段

0007

本発明の電子機器は、撮像に関する第1データを取得する取得部(25)と、前記取得部が取得した前記第1データに基づき、立体データを作成するための第2データを収集する収集部(25)と、前記第1、第2データに基づき立体造形の第3データを作成する作成部(24)と、を備えている。

0008

この場合において、電子機器は、前記第1データと前記第2データとの少なくとも一方に基づいて、前記立体造形を行わない部分を決定する決定部(24)を備えていてもよい。また、電子機器は、前記第1データに基づいて撮像画像背景部分を検出する検出部(24)を備えており、前記決定部は、前記背景部分を前記立体造形を行わない部分として決定することとしてもよい。

0009

本発明の電子機器において、前記第1データは、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方を含むこととしてもよい。この場合、前記収集部は、前記撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方に基づいて、前記撮像画像中の被写体の寸法データを収集することとしてもよい。

0010

また、前記第1データは、撮像画像に含まれる物体の認識結果のデータを含むこととしてもよい。この場合、前記収集部は、前記撮像画像において認識された人物が撮像された他の撮像画像を取得し、該他の撮像画像から特定可能な前記人物の寸法データを前記第2データとして収集することとしてもよい。

0011

また、前記第1データは、撮像画像から得られる色に関するデータを含むこととしてもよい。また、前記収集部は、前記第1データ以外のデータをユーザに問い合わせることとしてもよい。更に、電子機器は、前記第1データに基づいて、前記立体造形の基準を決定する基準部(24)を備えていてもよい。

0012

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

発明の効果

0013

本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。

図面の簡単な説明

0014

一実施形態に係る立体造形システムの構成を示すブロック図である。
撮像部が撮像したスルー画を表示部に表示した状態を示す図である。
サーバの制御部による処理を示すフローチャートである。
画像データから被写体を除外した状態を示す図である。
データ作成部によって作成される2Dデータの一例を示す図である。
図6(a)、図6(b)は、撮像機器の表示部に表示された修正用画面を示す図である。
画像データに基づいて作成された造形物の一例を示す図である。
画像データの一例を示す図である。

実施例

0015

以下、一実施形態に係る立体造形システムについて、図1図8に基づいて、詳細に説明する。図1には、一実施形態に係る立体造形システム1の構成がブロック図にて示されている。

0016

立体造形システム1は、図1に示すように、撮像機器10と、この撮像機器10から画像データ等を取得して3D・CAD(Computer Aided Design)データを作成するサーバ20と、立体造形装置30と、印刷装置40と、を備える。本実施形態では、撮像機器10で撮像した2次元の画像データをサーバ20で補間して3D・CADデータを生成する。また、立体造形装置30及び印刷装置40は、サーバ20において生成された3D・CADデータ(及び2Dデータ)を用いて、擬似的な立体造形を作成する。

0017

(撮像機器10)
撮像機器10は、デジタルカメラスマートフォンなどの撮像機能を有する機器であり、本実施形態ではデジタルカメラであるものとする。撮像機器10は、図1に示すように、撮像部11、表示部12、検出部13、記憶部14、GPS(Global Positioning System)モジュール15、方位センサ16、操作部17、通信部18、および制御部19等を備える。

0018

撮像部11は、複数のレンズ撮像素子画像処理回路などを有しており、静止画動画を撮像するものである。

0019

表示部12は、例えば液晶ディスプレイであり、図2に示すように、撮像部11が撮像した画像(スルー画、静止画、動画)を表示したり、各種メニューを表示したりするものである。また、表示部12は、サーバ20において生成された3D・CADデータに基づく3Dイメージや2Dデータを修正するための画面を表示する(図6(a)参照)。

0020

検出部13は、顔検出機能ペット検出機能、背景検出機能などの物体認識機能を備えており、撮像部11が撮像した画像に対して、各検出機能による検出結果をメタデータとして付随させるものである。なお、顔検出機能や、ペット検出機能は、例えば特開2011−186874号に開示されており、物体認識機能については、例えば、特開2004−133637号に記載されている。また、検出部13は、日時検出機能や、温度検出機能湿度検出機能を備えているものとする。なお、顔検出機能や、ペット検出機能は、撮像部11が有していてもよく、この場合には、撮像部11が各検出機能による検出結果を画像データにメタデータとして付随させるようにする。

0021

更に、検出部13は、撮像位置から画像データ内の物体(被写体(人やペット)や背景)までの距離を検出する機能も有している。具体的には、検出部13は、距離画像センサを含み、光源から出射された光が被写体又は背景で反射して受光部に届くまでの光の飛行時間から、被写体又は背景までの距離を検出する(TOF(Time-of-Flight)法)。なお、被写体や背景までの距離データも、画像データに付随するメタデータである。なお、被写体や背景までの距離は、TOF法以外の方法を用いて検出することとしてもよい。

0022

図2は、撮像部11が撮像したスルー画を表示部12に表示している図である。スルー画が表示されている状態で後述するレリーズスイッチが半押しされると撮像部11は、AE(Automatic Exposure:自動露出)やAF(Auto Focus)などの撮像準備を行い、検出部13は、顔検出や、ペット検出を行い、検出した部分をスルー画に重ねて矩形枠で表示する。

0023

図1戻り、記憶部14は、例えば不揮発性フラッシュメモリを有し、各種プログラムや、撮像部11が撮像した画像データを記憶するものである。なお、撮像部11が撮像した画像データは、撮像機器10に着脱可能な記憶媒体(例えばSDカード)に記憶させてもよい。

0024

GPSモジュール15は、撮像機器10の位置の情報(例えば緯度および経度)を検出するセンサである。撮像部11が撮像したタイミングにおいてGPSモジュール15で検出された位置の情報は、撮像部11が撮像した画像データのメタデータとなる。

0025

方位センサ16は、方位を検出するためのセンサであり、互いに直交する方向の地磁気成分を検出する2軸の磁気センサを有している。方位センサ16では、2軸の地磁気センサによる磁界検出値から方位を検出する。なお、撮像部11が撮像したタイミングにおいて方位センサ16で検出された方位の情報は、撮像部11が撮像した画像のメタデータとなる。

0026

操作部17は、撮像部11の操作を行ったり、サーバ20、立体造形装置30及び印刷装置40などと通信するための操作を行うものである。本実施形態では、図2に示すように、操作部17は、ユーザからの撮像指示受け付けるレリーズスイッチ17aと、表示部12に表示されたメニューを選択するためのマルチセレクタ17bとを有する。撮像機器10の不図示の電源がユーザによってONされると撮像部11は撮像(スルー画の撮像)を開始する。この場合、表示部12にそのスルー画が表示され、この状態でユーザによってレリーズスイッチ17aが半押しされると、撮像部11及び検出部13が前述の処理を行う。また、ユーザによってレリーズスイッチ17aが全押しされると、撮像部11は、静止画の撮像を実行する。なお、表示部12にタッチパネルを設け、該タッチパネルを操作部17として用いることとしてもよい。この場合、ユーザによるタッチパネルのタッチ操作に応じて、メニュー選択や撮像指示を受け付けるようにしてもよい。

0027

通信部18は、無線無線LAN(Local Area Network)など)により、サーバ20および立体造形装置30と通信するものである。通信部18は、サーバ20に対して画像データやメタデータを送信する。また、通信部18は、サーバ20において作成された3D・CADデータや3Dイメージ、2Dデータをサーバ20から受信する。また、操作部材17を介してユーザから3Dイメージ、2Dデータの修正指示が入力された場合には、通信部18は、該修正指示をサーバ20に送信する。更に、通信部18は、立体造形装置30や印刷装置40に対してサーバ20から受信した3D・CADデータや2Dデータを送信する。

0028

制御部19は、CPU(Central Processing Unit)等を備え、撮像機器10全体を制御するものである。本実施形態においては、制御部19は、サーバ20と連携して3D・CADデータや2Dデータを作成し、作成した3D・CADデータや2Dデータを立体造形装置30及び印刷装置40に送信して立体造形の作成指示を出す。

0029

(サーバ20)
サーバ20は、図1に示すように、通信部21、画像解析部22、データ部23、データ作成部24および制御部25を有する。

0030

通信部21は、無線(無線LANなど)により撮像機器10と通信するものである。通信部21は、撮像機器10から送信されてきた画像データやメタデータを受信し、データ作成部24において作成される3D・CADデータや3Dイメージ、2Dデータなどを撮像機器10に送信する。また、通信部21は、ユーザによる3D・CADデータや3Dイメージ、2Dデータへの修正指示を撮像機器10から受信する。

0031

画像解析部22は、撮像機器10から送信されてきた画像データやメタデータ(例えば、顔検出データ、ペット検出データ、位置データ、距離データなど)に基づいて画像を解析する。なお、画像解析部22に顔検出機能、ペット検出機能などの物体認識機能を持たせ、撮像機器10から送付されてきた画像データを画像解析部22において解析するようにしてもよい。これにより、ペット検出機能などの物体認識機能を有さない撮像機器をユーザが利用している場合でも、画像データの各種解析を行うことができる。

0032

データ部23は、各種画像データ、地図データ、スケールデータ(大きさ、高さ)を有している。例えば、画像データとしては、撮像機器10から送付されてきた画像データのほか、撮像機器10で撮像されたその他の画像データや、他のユーザが撮像した第三者への使用が許可された画像データなどが含まれる。地図データは、地形(山や川、、海など)に関するデータや、地図上の建物の位置に関するデータなどを含む。スケールデータは、地形の大きさや高さに関するデータ、建物の大きさや高さに関するデータなどを含む。また、データ部23は、富士山などの有名な山、ゴールデンゲートブリッジなどの有名な構造物の3D・CADデータを記憶している。更に、データ部23は、人(男性女性、子供)やペット()、その他の動物電車、車などの基本的な3D・CADデータを記憶している。

0033

データ作成部24は、画像解析部22の解析結果を利用して、撮像機器10から送信されてきた画像データの中から、立体造形装置30で立体造形を行う部分を特定し、該特定した部分を立体造形するために必要な3D・CADデータを作成する。また、データ作成部24は、画像解析部22の解析結果を利用して、撮像機器10から送信されてきた画像データのうち、立体造形を行わない部分を決定し、該部分を2Dデータとして生成する。例えば、図2のように、富士山及び山中湖の前で人及びペット(犬)を被写体として撮像した場合、データ作成部24は、人及びペット(犬)の3D・CADデータを作成し、背景部分の2Dデータを作成する。

0034

なお、データ作成部24は、3D・CADデータに基づく3Dイメージを作成し、2Dデータとともに、通信部21を介して、撮像機器10又はユーザに指定された表示機器デスクトップPC、ノートPC、タブレット型PCなど)に送信する。なお、本実施形態では、データ作成部24は、撮像機器10に対して3Dイメージ及び2Dデータを送信するものとして説明する。

0035

ここで、撮像機器10に表示される画面においては、3Dイメージを及び2Dデータに対するユーザからの修正作業受け入れ可能な状態となっている(図6(a)参照)。すなわち、ユーザは、撮像機器10に表示される画面上において、レイアウトや大きさの修正、不要な部分の削除指示を操作部17から入力することができ、当該入力された修正指示は、通信部18を介して、サーバ20に送信されるようになっている。したがって、データ作成部24は、ユーザからの修正指示を受信した場合には、修正指示に基づき3D・CADデータ及び2Dデータを修正し、修正後の3D・CADデータ及び2Dデータを撮像機器10に送信する。

0036

制御部25は、CPU等を備え、サーバ20全体を制御するものであり、本実施形態においては、撮像機器10と連携して3D・CADデータや2Dデータを作成する。

0037

(立体造形装置30)
立体造形装置30は、撮像機器10から受信した3D・CADデータに基づき、インクジェットヘッドを用いて樹脂滴下し、3次元の立体物を造形するものである。このような造形技術は、インクジェット法と呼ばれている。なお、3次元の立体物を造形する技術としては、インクジェット法に限らず、インクジェットバインダ法、溶融物体積法(FDM:Fused Deposition Molding)、光造形法(SL:Stereo Lithography)、粉末焼結法(SLS:Selective Laser Sintering)などを用いることができる。

0038

立体造形装置30は、操作部31、テーブル部32、印刷部33、第1駆動部34、第2駆動部35、通信部36、及び制御部37を有する。

0039

操作部31は、立体造形装置30による造形を開始するスタートタンや、ストップボタンを有している。

0040

テーブル部32は、樹脂の造型を行う作業台としてのテーブルを有している。テーブルは例えば矩形形状を有しているものとする。

0041

印刷部33は、複数のカートリッジを有する。複数のカートリッジとしては、赤色樹脂白色樹脂青色樹脂黒色樹脂などの色を個別に保持するカートリッジを採用することができる。また、印刷部33は、各樹脂をテーブル部32上に滴下するインクジェットノズルを有する。

0042

第1駆動部34は、印刷部33(インクジェットノズル)をZ方向(鉛直方向)に駆動するアクチュエータ(たとえば、ステッピングモータ)を備えており、印刷部33とテーブル部32のZ方向に関する位置関係を変更する。

0043

第2駆動部35は、テーブル部32を水平方向(X,Y方向)に駆動するアクチュエータ(たとえば、ステッピングモータ)を備えており、テーブル部32と印刷部33とのX,Y方向に関する位置関係を変更する。

0044

これにより、テーブル部32と印刷部33との2次元平面(XY平面)と鉛直方向(Z方向)の位置関係を相対的に変更させつつ、印刷部33のインクジェットノズルから樹脂をテーブル部32上に滴下することで、テーブル部32上に立体造形を作成することができる。

0045

なお、第1、第2駆動部34,35は、印刷部33をX,Y方向に駆動するとともに、テーブル部32をZ方向に駆動することとしてもよい。

0046

通信部36は、無線(無線LANなど)により、撮像機器10と通信を行い3D・CADデータを受信して、不図示のメモリに記憶させる。

0047

制御部37は、立体造形装置30全体を制御するものであり、CPUやRAM(Random Access Memory)などを備える。本実施形態において、制御部37は、3D・CADデータに基づき、印刷部33、第1駆動部34、第2駆動部35の駆動制御を行う。

0048

なお、不図示ではあるものの、立体造形装置30に表示部を設け、加工終了予定時刻や、カートリッジの交換時期など、立体造形装置30に関する情報を表示するようにしてもよい。

0049

(印刷装置40)
印刷装置40は、紙媒体(紙のように薄い媒体(布なども含む))への印刷を行うプリンタであり、操作部41、紙送り部42、印刷部43、駆動部44、通信部46、及び制御部47を有する。

0050

操作部41は、印刷装置40による印刷を開始するスタートボタンや、ストップボタンを有している。

0051

紙送り部42は、印刷する紙媒体を一方向に送る機構を有している。印刷部43は、複数色のインクカートリッジを有する。また、印刷部43は、各色のインクを紙媒体上に吹き付けるインクジェットノズルを有する。

0052

駆動部44は、印刷部43(インクジェットノズル)を紙が送られる方向に交差する方向に駆動するアクチュエータ(たとえば、ステッピングモータ)を備えている。

0053

本実施形態では、紙送り部42と駆動部44の作用により、インクジェットノズルと紙媒体との位置関係を変更しつつ、印刷部43のインクジェットノズルからインクを紙媒体上に吹き付けることで、紙媒体上に描画することができる。

0054

通信部46は、無線(無線LANなど)により、撮像機器10と通信を行い2Dデータを受信して、不図示のメモリに記憶させる。

0055

制御部47は、印刷装置40全体を制御するものであり、CPUやRAMなどを備える。本実施形態において、制御部47は、2Dデータに基づき、紙送り部42、印刷部43、駆動部44の駆動制御を行うことで、2Dデータを紙媒体に印刷する。

0056

なお、不図示ではあるものの、印刷装置40に表示部を設け、印刷終了予定時刻や、インクカートリッジの交換時期など、印刷装置40に関する情報を表示するようにしてもよい。

0057

(処理・動作)
以上のように構成される本実施形態の立体造形システム1の処理・動作について図3のフローチャートに沿って、その他図面を適宜参照しつつ、詳細に説明する。

0058

図3は、制御部25による処理を示すフローチャートである。図3の処理では、まず、ステップS10において、制御部25は、撮像機器10から画像データ及びこの画像データに付随するメタデータを受信するまで待機する。例えば、立体造形を作成したいと考えたユーザは、撮像機器10において撮像した画像データを表示部12上に表示した状態で、サーバ20に画像データ及びメタデータを送信する指示を操作部17から入力するものとする。この入力を受け付けた撮像機器10の制御部19は、通信部18を介して、サーバ20に画像データとメタデータを送信する。制御部25は、画像データ及びメタデータを受信すると、ステップS12に移行する。なお、本実施形態では、図2に示されている画像データ及びこれに付随するメタデータを受信したものとする

0059

ステップS12に移行すると、制御部25は、画像解析部22を制御して、画像データおよびメタデータの確認を行う。具体的には、画像解析部22は、画像データに基づいて、色情報の確認などを行うとともに、メタデータに基づいて、撮像場所、撮像の方位、顔認識やペット認識などの物体認識の結果、画像データ中の物体までの距離、日時、気温などを確認する。そして、画像解析部22は、物体認識の結果や、物体までの距離等に基づいて、被写体と背景とを特定し、画像データ中の被写体部分を立体造形を行う部分とし、背景部分を立体造形を行わない部分と特定する。なお、本実施形態では、画像解析部22は、図2の人とペットを被写体部分(立体造形を行う部分)と特定し、その他の部分を立体造形を行わない部分と特定したとする。更に、本実施形態では、画像解析部22は、撮像場所のデータとデータ部23の地図データとから、撮像場所が山中湖であることを確認し、位置データや方位センサの出力と地図データとから物体認識機能により認識された山が富士山であることを確認する。

0060

次いで、ステップS14では、制御部25は、ステップS12の確認結果に基づき、データ部23から3D・CADデータ及び2Dデータを作成するために必要なデータを抽出する。3D・CADデータを作成するために必要なデータとしては、人(男性)の基本的な3D・CADデータとペット(犬)の基本的な3D・CADデータを抽出することができる。また、顔認識の結果、人物が特定でき、当該人物を横から見た姿や後から見た姿の画像データがデータ部23から抽出できるような場合には、そのような画像データも抽出する。なお、データ部23には、人物の3D・CADデータとして体型に応じた複数のデータを格納しておいてもよい。この場合、上述のように人物が特定でき、かつ当該人物の基本情報身長や体重など)がデータ部23に格納されているような場合には、当該基本情報に近似する人物の3D・CADデータを抽出するようにしてもよい。あるいは、画像データから推定可能な範囲(頭の大きさを基準とした各部の大きさ・比率など)で、近似する体型の3D・CADデータを抽出するようにしてもよい。また、データ部23には、ペットの種類(犬種など)に応じた3D・CADデータを複数格納しておいてもよい。この場合、制御部25は、ペット認識において判明した犬種(プードルなど)に基づいて、当該犬種に対応する基本的な3D・CADデータをデータ部23から抽出するようにすればよい。

0061

また、制御部25は、画像データから背景部分の2Dデータを作成するために必要なデータとして、同一の(又は近似する)撮像場所で撮像された画像データを抽出する。このような画像データを用いることで、図4破線にて示すように、人やペットなどの被写体によって隠れている背景部分がある場合であっても、抽出した画像データを用いて補間することが可能である。また、画像データにおいては、背景にフォーカスが合っていないことが多いので、背景の画像データを山や湖にフォーカスが合っている画像データに差し替えるようにしてもよい。この場合、特許第4826152号(特開2007−4471号)に開示されているように撮影光学系の射出瞳の異なる領域からの光束を個別に扱えるユニットを撮像機器10に設けることにより、任意の撮影距離に位置する被写体(本実施形態では山や湖などの背景)に焦点のあった画像データを合成できる。制御部25は、この任意焦点の画像データを用いて2Dデータを作成するようにしてもよい。なお、制御部25は、撮像機器10の表示部12上に、同一の(又は近似する)撮像場所で撮像された画像データを所有しているか否かなどを問い合わせる表示を行うこととしてもよい。あるいは、立体造形を行おうとしている画像データを撮像する直前の画像データ(レリーズスイッチ15aが全押しされる直前の画像データ)を撮像機器10において撮像しているような場合には、制御部25は、当該撮像データを送信するよう、撮像機器10の制御部19に要求することとしてもよい。なお、要求する画像データは、静止画であってもよいし、動画であってもよい。

0062

次いで、ステップS16では、制御部25は、ステップS14にてデータ部23より収集したデータをデータ作成部24に送信し、データ作成部24に対して、3D・CADデータおよび3Dイメージ、並びに2Dデータを作成させる。データ作成部24は、抽出した基本的な3D・CADデータに対して、画像データの情報及び抽出した画像データの情報を反映させることで、3D・CADデータを作成する。より具体的には、データ作成部24は、画像データ中の被写体の顔(表情)、姿勢ポーズ)、服装装着品腕時計アクセサリ)、色などを、3D・CADデータに反映させる。また、画像解析部22が画像データから被写体を認識でき、制御部25が認識された被写体の他の画像データ(横向きの画像データ)を収集できた場合には、データ作成部24は、収集した画像データからその人物の寸法データ(例えば、被写体を横から見たときの厚み方向の寸法情報)を収集し、3D・CADデータに反映させる。また、データ作成部24は、3D・CADデータに基づいて、3Dイメージを作成する。

0063

なお、図2の画像データにおいては、被写体(人)の上半身しか写っていないため、データ作成部24は、画像データに基づいて、画像データに映っている被写体の最下端部分を立体造形の基準とする。ただし、これに限らず、撮像日時や、環境(温度、気温)を示すメタデータ、及び収集した画像データから、被写体(人)の下半身の服装を推定できるような場合には、被写体の下半身を含む3D・CADデータ及び3Dイメージを作成するようにしてもよい。この場合、データ作成部24は、撮像日時や環境(温度、気温)を示すメタデータと近似するメタデータが付随している画像データを参照して、被写体(人)がどのようなズボンを着用している可能性が高いかを推定すればよい。

0064

更に、データ作成部24は、画像データから背景部分を抽出し、背景部分のうち、被写体によって隠れている部分(図4破線内部分)を他の画像データ(ステップS14で収集した画像データ)を用いて補間するなどして、2Dデータを作成する。ここで、作成される2Dデータは、図5に示すようなデータとなる。

0065

次いで、ステップS18では、制御部25は、ステップS16で作成した3Dイメージ、2Dデータを通信部21により撮像機器10に送信する。この場合、撮像機器10の制御部19は、表示部12上に、図6(a)に示すような修正用の画面を表示する。ここで、制御部25は、ユーザに対して回答期限を設定し(例えば数日)、ステップS20において、ユーザの回答(修正せずに、データを確定してよいのか、修正をする必要があるのかの回答)があるまで待機する。ユーザは、表示部12上の各種アイコンを用いることで、全体のスケール、背景と被写体との相対的なスケール、奥行方向のスケール、高さ方向のスケール、配色などを修正することができる。また、ユーザは、不要な部分、例えば図6(a)のユーザの背後にある植栽を選択して削除することもできるものとする。

0066

なお、ユーザは、スケールの修正や柵や植栽の削除を行うことで、図6(b)に示すようなデータの修正を回答したものとする。なお、修正の回答があった場合、撮像機器10の制御部19は、修正指示をサーバ20の制御部25に対して送信する。ユーザからの回答があった場合、制御部25は、ステップS22に移行する。なお、図6(a)、図6(b)に示してある修正用の画面は、サーバ20から撮像機器10にダウンロードするようにすればよい。

0067

なお、上記説明では、ユーザが図6(a)の画面上のアイコンを用いて修正を行う場合について説明したが、これに限らず、修正は、ユーザが3Dイメージ及び2Dデータを表示部12にて確認しながら、サーバ20からの質問答え対話形式により行われることとしてもよい。

0068

ステップS22では、制御部25は、修正有りの回答であったか否かを判断する。ここでの判断が肯定された場合には、ステップS16に戻る。ステップS16に戻った場合、制御部25は、データ作成部24を制御して、ユーザからの修正指示を3D・CADデータ(3Dイメージ)及び2Dデータに反映させ、修正後の3Dイメージ及び2Dデータを撮像機器10に送信し(S18)、ユーザからの回答を待つ(S20)。なお、データ作成部24は、ユーザからの修正指示に、柵や植栽を削除する指示が含まれる場合には、柵や植栽の周辺画素の色に基づいて、2Dデータを修正(柵や植栽を削除)すればよい。

0069

一方、ステップS22の判断が否定された場合には、制御部25は、ステップS24に移行する。ステップS24では、制御部25は、通信部21を介して、3D・CADデータおよび2Dデータを撮像機器10に送信する。これにより、図3の全処理が終了する。

0070

なお、撮像機器10においては、3D・CADデータおよび2Dデータを受け取ると、該データを記憶部14に記憶する。そして、操作部17を介してユーザから立体造形開始の指示が入力されると、制御部19は、3D・CADデータを通信部18を介して立体造形装置30に送信するとともに、2Dデータを通信部18を介して印刷装置40に送信する。

0071

そして、3D・CADデータを受信した立体造形装置30の制御部37は、3D・CADデータに基づき、印刷部33、テーブル部32、第1、2駆動部34,35を制御して立体造形を作成する。また、2Dデータを受信した印刷装置40の制御部47は、2Dデータに基づき、印刷部43、駆動部44、紙送り部42を制御して紙媒体に2Dデータを印刷する。

0072

以上により、画像データに基づいて、図7に示すような立体造形と背景写真とを組み合わせた造形物を作成することが可能である。

0073

なお、本実施形態においては、図8に示すような被写体が富士山や山中湖である画像データが、撮像機器10からサーバ20に送信されてくる場合もある。このような場合には、データ解析部24は、画像データに付随するメタデータのうちGPSモジュール15によって検出された撮像場所を取得し、該撮像場所に基づいて、被写体の山や湖が富士山や山中湖であると特定する。また、ステップS14では、制御部25は、富士山や山中湖の基本的な3D・CADデータ、山中湖や富士山に関連した画像(山中湖、富士山を複数方向から撮像した画像)、地図データ、スケールデータなどをデータ部23から収集する。そして、ステップS16では、データ作成部24は、収集したデータや、GPSモジュール15や方位センサ16の検出結果などのメタデータに基づいて、3D・CADデータを作成する。これにより、撮像場所及び撮像方向を基準として、富士山と山中湖の立体造形を作成することができる。この場合、ユーザが撮像した画像から立体的模型(立体造形)を生成するのが目的であれば、大まかな3D・CADデータが作成できればよい。なお、画像データを用いることで、富士山や山中湖の色や状況(景色など)を再現することができる。

0074

なお、図8のような画像データの場合、メタデータに含まれる被写体の距離データにおいて、最も手前側に位置する柵や植栽が他よりも極端に近いため、データ作成部24は、これら柵や植栽を3D・CADデータ作成対象から除外するようにしてもよい。

0075

以上、詳細に説明したように、本実施形態によると、制御部25は、通信部21を介して画像データ及びメタデータを取得するとともに、画像データ及びメタデータに基づき、3D・CADデータを作成するための各種データを収集する。そして、データ作成部24は、画像データ、メタデータ及び収集した各種データに基づき3D・CADデータを作成する。このように、本実施形態では、画像データのみでは被写体の3D・CADデータを作成するのが困難な場合であっても、メタデータや収集した各種データを用いることで、3D・CADデータを作成することが可能となる。この場合、ユーザは、被写体を様々な方向から撮像したり、高価な3次元デジタイザなどを用意しなくてもよいため、簡易に立体造形を作成することができる。

0076

また、本実施形態では、データ作成部24は、画像データ及びメタデータと収集した各種データとの少なくとも一方に基づいて、立体造形を行わない部分を決定するので、被写体と背景のように、立体造形を行う部分(被写体)と立体造形を行わない部分(背景)を分けることで、画像データ内の遠近関係縮尺の影響を考慮した適切な立体造形を行うことができる。

0077

また、本実施形態では、メタデータに、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方が含まれているので、データ作成部24は、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方に基づいて各種データを収集することで、背景部分の詳細な情報(山や湖の情報)を推定することができる。これにより、データ作成部24は、推定した情報を3D・CADデータや2Dデータの作成に利用することができる。

0078

また、本実施形態では、制御部25は、画像データにおいて認識された人が撮像された他の画像データを取得し、該他の画像データから特定可能な人物の寸法データ(例えば、認識された人を横から見たときの厚み方向の寸法情報)を収集する。これにより、より正確に人の立体造形を作成することが可能である。

0079

また、本実施形態では、画像データから得られる色に関するデータを用いて、3D・CADデータを作成するので、色彩が施された立体造形を作成することが可能である。

0080

また、本実施形態では、データ作成部24は、画像データに基づいて、立体造形の基準を決定しているので、画像データに対応した(再現した)立体造形を作成することができる。

0081

なお、上記実施形態では、データ作成部24は、被写体部分の3D・CADデータを作成し、背景部分の2Dデータを作成する場合について説明したが、これに限らず、被写体部分の3D・CADデータのみを作成することとしてもよい。この場合、背景部分の2Dデータを作成するか否かを撮像機器10の表示部12上でユーザに問い合わせることとしてもよい。

0082

なお、上記実施形態では、データ作成部24は、被写体部分と背景部分のうち被写体部分の3D・CADデータを作成し、背景部分の2Dデータを作成する場合について説明したが、これに限られるものではない。例えば、データ作成部24は、画像データとメタデータの少なくとも一方に基づいて特定部分(例えば、人の顔部分など)を抽出し、該特定部分の3D・CADデータを作成し、その他を3D・CADデータを作成しない部分として決定することとしてもよい。

0083

なお、上記実施形態では、図3のステップS14において、制御部25が、3D・CADデータ又は2Dデータを作成できるほどのデータを収集できない場合がある。このような場合には、制御部25は、3D・CADデータ又は2Dデータを作成するにあたり不足している情報をユーザに問い合わせるようにしてもよい。例えば、制御部25が、図2の画像データから人の下半身を含む立体造形を作成するとした場合において、人がどのようなズボンや靴を着用していたかの情報を制御部25が収集できなかったとする。このような場合には、制御部25は、ユーザに対して、どのようなズボン及び靴を着用していたかを問い合わせるようにすればよい。また、画像データ中の人が女性の場合には、スカートを着用していたのか、ズボンを着用していたのかなどを問い合わせるようにすればよい。

0084

なお、上記実施形態では、撮像機器10とサーバ20との間で通信を行い、画像データ及びメタデータのやり取りや、3D・CADデータや2Dデータのやり取りを行う場合について説明した。しかしながら、これに限らず、例えば、画像データおよびメタデータのサーバ20への送付は撮像機器10で行う一方、サーバ20からは、3D・CADデータや2Dデータをパーソナルコンピュータや、タブレット型端末などの端末に送信し、該端末において修正作業等を行うようにしてもよい。さらに、画像データおよびメタデータを撮像機器10からパーソナルコンピュータやタブレット型端末などの端末に転送し、該端末からサーバ20へデータを送信するようにしてもよい。

0085

また、パーソナルコンピュータやタブレット型端末などの端末にサーバ20の機能の一部を実現可能なプログラムを実装することで、端末にサーバ20の機能の一部を持たせ、端末にてサーバ20の処理の一部を実行するようにしてもよい。

0086

なお、上記実施形態では、撮像機器とサーバ20間において無線通信を行う場合について説明したが、これに限らず、有線通信を行うこととしてもよい。また、撮像機器10と立体造形装置30及び印刷装置40との間におけるデータの受け渡し方法としては、通信に限らず、可搬型記憶媒体(SDカードなど)を用いたデータの受け渡し方法を採用してもよい。

0087

なお、上記実施形態では、撮像機器10が姿勢センサを有している場合には、該姿勢センサの検出結果を3D・CADデータや2Dデータ作成に利用することとしてもよい。例えば、撮像機器10が下向きの状態で撮像された場合には、ジオラマや模型を作成する可能性が高いと判断できるので、データ作成部24は、画像データ中の全ての部分を立体造形の対象とするなど判断してもよい。

0088

なお、ユーザは、立体造形装置30や印刷装置40を保有していない場合もある。このような場合には、サーバ20側(業者側)が保有する立体造形装置30において立体造形及び印刷を実行するようにしてもよい。この場合、完成した立体造形及び印刷された紙媒体を業者側からユーザに対して配達するようにしてもよい。

0089

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

0090

20サーバ
24データ作成部
25 制御部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ