図面 (/)

技術 議事録作成システム

出願人 グローリー株式会社
発明者 永井悠葵坂口奈津美盛脇荘太郎岡直樹大塚崇明
出願日 2016年3月25日 (5年2ヶ月経過) 出願番号 2016-062839
公開日 2017年9月28日 (3年8ヶ月経過) 公開番号 2017-173768
状態 特許登録済
技術分野 機械翻訳 音声認識
主要キーワード 説明対象 所定マーク 議事録作成システム 禁止ワード 議事録作成装置 突き付け 深度センサ 所定ワード
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2017年9月28日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (11)

課題

議事進行中に所定ワードを含む発言の有無を監視する。

解決手段

複数人会話の内容を記録した議事録を作成する議事録作成システムを、複数人全員の音声を取得するマイクと、議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、マイクで取得した各人の発言を音声認識する認識部と、認識部で認識された各発言にワードが含まれるか否かを監視する監視部と、ワードを含む発言を記録して議事録を作成する議事録作成部とによって構成する。

概要

背景

従来、議事録を自動的に作成することを目的として様々なシステムが開発されている。例えば特許文献1には、会議中に録音した音声テキスト化して自動的に議事録を作成する装置が開示されている。この装置では、会議における重要発言をテキスト化したテキストメモを関連付けて議事録を作成する。テキストメモの内容や前後のテキストメモとの関係が不明瞭である場合には、録音された音声を確認してテキストメモの修正や削除を行うことができる。

また、特許文献2には、音声認識技術を利用して会議中に録音した音声をテキスト化して議事録を作成する装置が開示されている。この装置では、必要に応じて音声を再生して確認し、作成した議事録の内容を編集することができる。また、特許文献3にも音声認識技術を利用して議事録を作成する装置が開示されている。この装置では、録音した音声と、この音声を認識してテキスト化した内容とを関連付けて記憶しており、発言内容を確認するために議事録に係る音声を検索して再生する作業を容易に行うことができる。

概要

議事進行中に所定ワードを含む発言の有無を監視する。複数人会話の内容を記録した議事録を作成する議事録作成システムを、複数人全員の音声を取得するマイクと、議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、マイクで取得した各人の発言を音声認識する認識部と、認識部で認識された各発言にワードが含まれるか否かを監視する監視部と、ワードを含む発言を記録して議事録を作成する議事録作成部とによって構成する。

目的

本発明は、上述した従来技術による問題点を解消するためになされたもので、議事録を自動作成すると共に、議事進行中に所定ワードを含む発言の有無を監視することができる議事録作成システムを提供する

効果

実績

技術文献被引用数
2件
牽制数
1件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

複数人会話の内容を記録した議事録を作成する議事録作成システムであって、複数人全員の音声を取得するマイクと、議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、前記マイクで取得した各人の発言音声認識する認識部と、前記認識部で認識した各発言に前記ワードが含まれるか否かを監視する監視部と、前記監視部で前記ワードを検出した発言を記録して議事録を作成する議事録作成部とを備えることを特徴とする議事録作成システム。

請求項2

複数人の会話の内容を記録した議事録を作成する議事録作成システムであって、複数人全員の音声を取得するマイクと、禁止ワードを含むワードが予め登録されたワードデータを保存するための記憶部と、前記マイクで取得した各人の発言を音声認識する認識部と、前記認識部が認識した各発言を監視して、前記禁止ワードを検出した場合に報知処理を実行する監視部と、前記認識部が認識した発言を記録して議事録を作成する議事録作成部とを備えることを特徴とする議事録作成システム。

請求項3

前記ワードデータには、議事進行役による発言を禁止した禁止ワードと、前記議事進行役による発言を義務付けた必須ワードと、議事録に記録する発言を選択するための監視ワードとが登録されることを特徴とする請求項1又は2に記載の議事録作成システム。

請求項4

議事録確認装置をさらに備え、前記監視部は、前記議事進行役の発言から前記禁止ワードを検出すると前記議事録確認装置でこれを報知することを特徴とする請求項3に記載の議事録作成システム。

請求項5

前記議事進行役が利用する議事録作成支援装置をさらに備え、前記監視部は、前記議事進行役の発言から前記必須ワードを検出したか否かを示す情報を前記議事録作成支援装置に表示することを特徴とする請求項3又は4に記載の議事録作成システム。

請求項6

前記ワードデータでは、議事の内容別かつ議事進行の段階別に前記必須ワードを登録可能であることを特徴とする請求項5に記載の議事録作成システム。

請求項7

前記認識部は、複数人の中から各発言の発言者を認識して、前記議事録作成部は、議事進行役が前記禁止ワードを含む発言をした場合には該発言を議事録に記録して、前記議事進行役が前記監視ワード又は前記必須ワードを含む発言をした場合には、該発言と該発言を受けて行われた他の参加者の発言とを含む一連の会話を前記議事録に記録することを特徴とする請求項3〜6のいずれか1項に記載の議事録作成システム。

請求項8

前記議事録作成部は、各発言を、各発言の発言者を特定する情報と共に議事録へ記録することを特徴とする請求項7に記載の議事録作成システム。

請求項9

複数人全員を撮像するカメラをさらに備え、前記認識部は、前記マイクで取得した音声の方向と、前記カメラで取得した各人の映像とに基づいて各発言の発言者を認識することを特徴とする請求項7又は8に記載の議事録作成システム。

請求項10

前記カメラで撮像した映像が前記記憶部に保存され、前記議事録作成部は、議事録に記録した発言の発言時に前記カメラで撮像した映像を、前記記憶部から呼び出して再生するためのリンクを生成して議事録に貼り付けることを特徴とする請求項9に記載の議事録作成システム。

請求項11

前記議事録作成部は、前記カメラによって複数人全員を撮像した画像を議事録に貼り付けることを特徴とする請求項9又は10に記載の議事録作成システム。

請求項12

各人の位置及び深度を認識するための深度センサを含むカメラをさらに備え、前記議事録作成部は、前記カメラで検出した各人の離席及び着席に係る情報を議事録に記録することを特徴とする請求項1〜8のいずれか1項に記載の議事録作成システム。

請求項13

各人の位置及び深度を認識するための深度センサを含むカメラをさらに備え、前記監視部は、議事進行役の離席を検出してから所定時間内に前記議事進行役の着席を検出しない場合には、前記議事録確認装置で前記議事進行役の離席を報知することを特徴とする請求項4に記載の議事録作成システム。

請求項14

前記議事録作成部は、発言から検出されたワードに基づいて、各発言を内容別に議事録に記録することを特徴とする請求項1〜13のいずれか1項に記載の議事録作成システム。

技術分野

0001

この発明は、議事録を自動的に作成する議事録作成システムに関し、特に、議事進行中に所定ワードを含む発言の有無を監視する議事録作成システムに関する。

背景技術

0002

従来、議事録を自動的に作成することを目的として様々なシステムが開発されている。例えば特許文献1には、会議中に録音した音声テキスト化して自動的に議事録を作成する装置が開示されている。この装置では、会議における重要発言をテキスト化したテキストメモを関連付けて議事録を作成する。テキストメモの内容や前後のテキストメモとの関係が不明瞭である場合には、録音された音声を確認してテキストメモの修正や削除を行うことができる。

0003

また、特許文献2には、音声認識技術を利用して会議中に録音した音声をテキスト化して議事録を作成する装置が開示されている。この装置では、必要に応じて音声を再生して確認し、作成した議事録の内容を編集することができる。また、特許文献3にも音声認識技術を利用して議事録を作成する装置が開示されている。この装置では、録音した音声と、この音声を認識してテキスト化した内容とを関連付けて記憶しており、発言内容を確認するために議事録に係る音声を検索して再生する作業を容易に行うことができる。

先行技術

0004

特開平8−194492号公報
特開2001−325250号公報
特開2004−279860号公報

発明が解決しようとする課題

0005

しかしながら、上記従来技術では、議事録作成後に発言を確認するだけで議事進行中の発言をリアルタイムに確認することができない。例えば、議事進行中に発言すべきでない内容がある場合に、議事終了後の議事録で問題発言を検出しても対応が困難な場合がある。

0006

本発明は、上述した従来技術による問題点を解消するためになされたもので、議事録を自動作成すると共に、議事進行中に所定ワードを含む発言の有無を監視することができる議事録作成システムを提供することを目的とする。

課題を解決するための手段

0007

上述した課題を解決し、目的を達成するため、本発明は、複数人会話の内容を記録した議事録を作成する議事録作成システムであって、複数人全員の音声を取得するマイクと、議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、前記マイクで取得した各人の発言を音声認識する認識部と、前記認識部で認識した各発言に前記ワードが含まれるか否かを監視する監視部と、前記監視部で前記ワードを検出した発言を記録して議事録を作成する議事録作成部とを備えることを特徴とする。

0008

また、本発明は、複数人の会話の内容を記録した議事録を作成する議事録作成システムであって、複数人全員の音声を取得するマイクと、禁止ワードを含むワードが予め登録されたワードデータを保存するための記憶部と、前記マイクで取得した各人の発言を音声認識する認識部と、前記認識部が認識した各発言を監視して、前記禁止ワードを検出した場合に報知処理を実行する監視部と、前記認識部が認識した発言を記録して議事録を作成する議事録作成部とを備えることを特徴とする。

0009

また、本発明は、上記発明において、前記ワードデータには、議事進行役による発言を禁止した禁止ワードと、前記議事進行役による発言を義務付けた必須ワードと、議事録に記録する発言を選択するための監視ワードとが登録されることを特徴とする。

0010

また、本発明は、上記発明において、議事録確認装置をさらに備え、前記監視部は、前記議事進行役の発言から前記禁止ワードを検出すると前記議事録確認装置でこれを報知することを特徴とする。

0011

また、本発明は、上記発明において、前記議事進行役が利用する議事録作成支援装置をさらに備え、前記監視部は、前記議事進行役の発言から前記必須ワードを検出したか否かを示す情報を前記議事録作成支援装置に表示することを特徴とする。

0012

また、本発明は、上記発明において、前記ワードデータでは、議事の内容別かつ議事進行の段階別に前記必須ワードを登録可能であることを特徴とする。

0013

また、本発明は、上記発明において、前記認識部は、複数人の中から各発言の発言者を認識して、前記議事録作成部は、議事進行役が前記禁止ワードを含む発言をした場合には該発言を議事録に記録して、前記議事進行役が前記監視ワード又は前記必須ワードを含む発言をした場合には、該発言と該発言を受けて行われた他の参加者の発言とを含む一連の会話を前記議事録に記録することを特徴とする。

0014

また、本発明は、上記発明において、前記議事録作成部は、各発言を、各発言の発言者を特定する情報と共に議事録へ記録することを特徴とする。

0015

また、本発明は、上記発明において、複数人全員を撮像するカメラをさらに備え、前記認識部は、前記マイクで取得した音声の方向と、前記カメラで取得した各人の映像とに基づいて各発言の発言者を認識することを特徴とする。

0016

また、本発明は、上記発明において、前記カメラで撮像した映像が前記記憶部に保存され、前記議事録作成部は、議事録に記録した発言の発言時に前記カメラで撮像した映像を、前記記憶部から呼び出して再生するためのリンクを生成して議事録に貼り付けることを特徴とする。

0017

また、本発明は、上記発明において、前記議事録作成部は、前記カメラによって複数人全員を撮像した画像を議事録に貼り付けることを特徴とする。

0018

また、本発明は、上記発明において、各人の位置及び深度を認識するための深度センサを含むカメラをさらに備え、前記議事録作成部は、前記カメラで検出した各人の離席及び着席に係る情報を議事録に記録することを特徴とする。

0019

また、本発明は、上記発明において、各人の位置及び深度を認識するための深度センサを含むカメラをさらに備え、前記監視部は、議事進行役の離席を検出してから所定時間内に前記議事進行役の着席を検出しない場合には、前記議事録確認装置で前記議事進行役の離席を報知することを特徴とする。

0020

また、本発明は、上記発明において、前記議事録作成部は、発言から検出されたワードに基づいて、各発言を内容別に議事録に記録することを特徴とする。

発明の効果

0021

本発明によれば、議事内容に関係する単語等のワードを予めワードデータに登録しておいて、各発言を音声認識して、登録されたワードを検出した発言のみを議事録に記録することができる。これにより、議事内容と無関係な発言を除外して、議事内容に関係する発言を記録した議事録を作成することができる。また、発言すべきではない内容を検出するためのワードを禁止ワードとしてワードデータに登録しておいて、議事進行中に禁止ワードを含む発言を検出するとすぐに報知処理を実行することができるので、議事進行中に不適切な発言について訂正等の対応を取ることができる。

0022

また、本発明によれば、各発言の発言者を認識できるので、議事の進行を主導する議事進行役の発言を監視して議事録を作成することができる。また、議事進行役が会議中に発言すべき内容を検出するためのワードを、必須ワードとして予めワードデータに登録しておいて、必須ワードを含む発言が行われたか否かを示す情報を議事録作成支援装置に表示することができる。議事進行役は、議事録作成支援装置で、必要な説明を行ったか否かを確認しながら、議事を進行することができる。

図面の簡単な説明

0023

図1は、議事録作成システムの設置状態を説明するための模式図である。
図2は、議事録作成システムの機能構成概略を示すブロック図である。
図3は、議事録作成処理の流れを示すフローチャートである。
図4は、第1段階で表示される議事録作成支援装置の画面例を示す図である。
図5は、第2段階で表示される議事録作成支援装置の画面例を示す図である。
図6は、第3段階で表示される議事録作成支援装置の画面例を示す図である。
図7は、第4段階で表示される議事録作成支援装置の画面例を示す図である。
図8は、ワードデータの例を示す図である。
図9は、映像データ及び音声データと議事録に記録する情報との関係を示す模式図である。
図10は、議事録作成部が作成した議事録の例を示す図である。

実施例

0024

以下に、添付図面を参照して、本発明に係る議事録作成システムについて詳細に説明する。議事録作成システムは、商談折衝交渉、会議等、複数人が所定の議事について発言する場において、議事進行を監視しながら、議事に関する発言内容を記録した議事録を作成する機能を有する。議事録作成システムは様々な場で利用可能であるが、以下では、保険に関する商談を行う場合を例に議事録作成システムについて具体的に説明する。

0025

議事録作成システムの概要を説明すると、議事録作成システムでは、会議に参加する全員の音声及び映像を取得して、予め設定された所定ワードを含む発言を検出すると共に、この発言の発言者を特定して、議事に関連する発言の内容を記録した議事録を作成する。また、議事進行役の発言に含まれるワードを監視して議事進行役を支援する。具体的には、議事進行役の発言から検出したワードに基づいて議事に関連する発言を抽出して議事録に記録する。また、議事進行役による不適切な発言を検出するためのワードを禁止ワードに設定して、議事進行役が禁止ワードを含む発言を行ったか否かを監視する。そして、議事進行役の発言から禁止ワードを検出すると、すぐに議事進行役本人や管理者にこれを報知するので、発言の訂正、撤回、謝罪等の対応を取ることができる。また、議事進行役が会議への参加者に伝えるべき内容を検出するためのワードを必須ワードとして設定して、議事進行役が必須ワードを含む発言を行ったか否かを監視する。そして、議事進行役が利用する端末に監視結果を表示するので、議事進行役は、端末上の表示を確認しながら議事を進行することができる。

0026

まず、図1及び図2を参照しながら議事録作成システムの構成について説明する。図1は、議事録作成システムの設置状態を説明するための模式図である。図2は、議事録作成システムの機能構成概略を示すブロック図である。議事録作成システムは、カメラ10a及びマイク10bを含む情報取得装置10、議事録作成支援装置20、議事録作成装置30、及び議事録確認装置40を含んで構成される。これらの各装置は、ネットワーク50を介して通信可能に接続されている。

0027

図1に示すように、保険商品を提案する担当者1と、提案を受ける顧客2とが商談を行う商談エリアで、担当者1及び顧客2の両方を撮像可能な位置に情報取得装置10が設置されている。なお、会議で言えば担当者1が議事進行役に該当し、顧客2が会議への参加者に該当する。

0028

担当者1及び顧客2の口元を撮像できるように、商談エリアの天井で、カメラ10aによって担当者1及び顧客2の顔を斜め上方向から撮像する位置に、情報取得装置10が設置されている。情報取得装置10は、ステレオマイクアレイマイク等から成るマイク10bを利用して、担当者1及び顧客2の両方の発言を録音する。また、情報取得装置10は、カメラ10aを利用して、担当者1及び顧客2の両方を撮像した映像を録画する。カメラ10aで撮像される映像は、カラー可視光静止画像を抽出可能な形式動画像で音声を含んでいる。

0029

情報取得装置10で取得した音声及び映像は、議事録作成装置30に入力される。議事録作成装置30では、マイク10bで取得した音声と、カメラ10aによって取得した映像とに基づいて、各発言の内容及び発言者を認識する。すなわち、議事録作成システムでは、議事進行役及び会議参加者全員の音声及び映像を取得すると共に、各人の発言を特定して、発言内容を認識することができる。ただし、会議参加者の人数が多く、全員の音声を区別できない場合には、少なくとも議事進行役の音声を、他の参加者の音声と区別して取得するようになっている。

0030

議事録作成支援装置20は、タッチパネル式液晶表示部を含むコンピュータ装置から成り、担当者1によって操作可能な位置に設置されている。具体的には、商談エリアで商談を行うテーブルの上に、表示画面を担当者1の方へ向けた状態で設置される。担当者1は、議事録作成支援装置20の画面上に表示された情報を確認すると共に、画面上に表示されたボタンを操作するなどして議事録作成支援装置20に情報を入力することができる。

0031

議事録確認装置40は、コンピュータ装置から成り、議事録作成装置30で作成された議事録を画面上に表示して確認するために利用される。議事録確認装置40は、商談エリアが設けられた部屋とは別の部屋に設置されている。例えば、担当者1を管理する管理者3の居室に設置され、管理者3は、議事録確認装置40を利用して、過去の商談について作成された議事録や、商談時に記録した音声や映像を確認することができる。また、管理者3は、議事録確認装置40を利用して、商談エリアの音声や映像を情報取得装置10で取得してリアルタイムに確認したり、進行中の商談について作成中の議事録を確認したりすることもできる。また、進行中の商談で、議事録作成装置30が禁止ワードを検出した場合には、議事録確認装置40で音や光を発する報知処理が実行され、管理者3がリアルタイムに禁止ワードの検出を認識できるようになっている。同様に、議事録作成装置30で特定事象が検出された場合も、これを議事録確認装置40で報知できる。

0032

議事録作成装置30は、コンピュータ装置から成り、認識部31、監視部32、議事録作成部33及び記憶部34を有している。記憶部34は、ハードディスク半導体メモリ等の不揮発性記憶装置から成り、映像データ34a、音声データ34b、ワードデータ34c及び議事録データ34dの保存に利用される。

0033

映像データ34aは、情報取得装置10のカメラ10aで撮像した映像(動画像)や静止画像を保存したデータである。音声データ34bは、情報取得装置10のマイク10bで取得した音声を保存したデータである。議事録データ34dは、議事録作成装置30で作成した議事録を保存したデータである。

0034

ワードデータ34cには、商談の進行を監視して議事録を作成するために、単語、単語と助詞組合せ、単語と助動詞の組合せ等が、ワードとして予め登録されている。ワードデータ34cでは、各ワードを、禁止ワード、必須ワード又は監視ワードとして登録することができる。禁止ワードとは、担当者1による発言が禁止されている発言を検出するためのワードである。必須ワードとは、担当者1が発言しなければならない内容、すなわち担当者1が顧客2へ伝えなければならない内容を検出するためのワードである。監視ワードとは、議事内容とは無関係な発言を除外して、議事内容と関連する発言のみを抽出して議事録へ記録するためのワードである。

0035

また、記憶部34には、担当者1が顧客2に提案可能な各商品に関する情報も保存されている。担当者1は、顧客2に商品を提案する際に、議事録作成支援装置20の画面上に、商品に関する情報を表示して確認できるようになっている。また、記憶部34は、この他にも、以下に説明する議事録作成システムの各機能及び動作に必要なプログラムやデータの保存に利用される。

0036

認識部31は、カメラ10aで映像を取得して、マイク10bで音声を取得する機能を有する。カメラ10aで得られた映像は映像データ34aとして記憶部34に保存され、マイク10bで得られた音声は音声データ34bとして記憶部34に保存される。

0037

また、認識部31は、音声認識技術を利用して、マイク10bで取得した音声をテキスト化する機能を有する。さらに、認識部31は、情報取得装置10で取得した映像及び音声に基づいて、商談エリアにおける担当者1及び顧客2の位置を認識して、テキスト化した各発言の発言者を認識する機能を有する。

0038

商談エリアで担当者1が着席する位置と顧客2が着席する位置とが予め決められている場合は、認識部31は、着席位置に基づいて、カメラ10aで撮像した映像上で担当者1及び顧客2の位置を認識する。着席位置が決められていない場合は、認識部31は、カメラ10aによって撮像した映像上で、担当者1の特徴を検出することにより、担当者1と顧客2の位置を認識する。例えば、担当者1が着ている制服、担当者1が身につけている名札IDカード等を画像上で検出することにより、担当者1の位置を認識する。また、例えば、商談を行う担当者1の顔や音声に係る情報を予め取得しておいて、顔認識声紋認識によって担当者1の位置を認識する。また、例えば、商談を行う担当者1の氏名に係る情報を予め取得しておいて、商談開始時に、顧客2に対して氏名を名乗った担当者1の位置を認識する。また、各人の着席位置を認識するために、赤外線カメラ等を利用する態様であってもよい。

0039

商談エリアにおける各人の位置を認識した認識部31は、マイク10bによって音声が得られた方向、カメラ10aによって担当者1及び顧客2を撮像した映像で音声が得られた際に口元が動いている人物を特定した情報等を利用して、各発言の発言者を認識する。認識部31が認識した発言内容及び発言者に関する情報は、監視部32及び議事録作成部33に入力される。すなわち、発言をテキスト化した内容と、この発言の発言者が担当者1であるか顧客2であるかを示す情報とが監視部32及び議事録作成部33に入力される。

0040

認識部31は、この他、カメラ10aで取得した映像及びマイク10bで取得した音声に基づいて、特定事象の発生を認識する。例えば、認識部31は、担当者1の離席を特定事象として認識する。また、認識部31は、予め設定された音圧レベルを超える音声が取得された場合や、担当者1が予め定められた所定の動きをした場合にも、これを特定事象として認識する。特定事象が検出されると、議事録作成装置30では、特定事象に応じて予め設定された処理が実行される。具体的には、担当者1の離席を検出すると、これを特定事象として検出して議事録に記録する。そして、離席してから所定時間が経過しても担当者1が戻らず、担当者1の着席を検出できない場合には、議事録確認装置40で音や光を発してこれを報知する。また、商談エリアで担当者1又は顧客2が大声を上げた場合や、顧客2が担当者1に武器突き付けるなどして声を出せない状況で担当者1が顧客2に分からないように所定のジェスチャを行った場合は、これを特定事象として検出して、議事録確認装置40で音や光を発して特定事象の発生を報知する。特定事象発生の報知を受けた管理者3は、商談エリアの状況を確認して所定の措置を取ることができる。

0041

監視部32は、認識部31で認識された発言内容及び発言者と、記憶部34に予め準備されているワードデータ34cとに基づいて、商談の進行を監視する機能を有する。具体的には、監視部32は、必須ワードを議事録作成支援装置20に表示して、担当者1が必須ワードとして登録された内容の説明を行ったか否かを監視する。また、監視部32は、担当者1が必須ワードに係る説明を終えたか否かを確認できるように、議事録作成支援装置20の画面上の情報を更新する。これにより、担当者1は、重要事項を忘れずに顧客2に説明することができる。

0042

例えば、入院保険の給付金支払が入院連続5日以上に限定されている場合に、「入院連続5日以上」のワードを、入院保険に係る必須ワードとして予めワードデータ34cに登録しておく。この結果、担当者1が入院保険について説明する際に、監視部32が、議事録作成支援装置20の画面上に「入院連続5日以上」の文字を表示する。表示を確認した担当者1は、これを忘れずに顧客2に伝えることができる。また、担当者1が必須ワードを含む発言を行うと、これを検出した監視部32が、画面上の必須ワードを消去するなどして画面表示を更新する。これにより、1つの商品について複数の必須ワードが登録されている場合も、担当者1は、画面表示を確認しながら順に全ての必須ワードに係る説明を行うことができる。

0043

また、監視部32は、担当者1が禁止ワードを含む発言をしたことを検出すると、これを示す情報をすぐに議事録作成支援装置20の画面上に表示する。リアルタイムに報知を受けた担当者1は、発言の訂正や顧客2への謝罪等の対応を取ることができる。また、監視部32は、商談中の担当者1が禁止ワードを含む発言をすると、すぐに議事録確認装置40で管理者3にこれを報知する。リアルタイムに報知を受けた管理者3は、作成中の議事録、記録された音声や映像等を議事録確認装置40で確認して、商談中の担当者1を呼び出す等の対応を取ることができる。

0044

監視部32は、禁止ワード、必須ワード、監視ワードを含む発言を検出すると、検出結果を議事録作成部33に通知する。議事録作成部33は、ワードが検出された発言と、この発言に関する情報とを議事録に記録する。

0045

また、監視部32は、顧客2に提案する商品を選択するために担当者1が顧客2の要望聴取している間、担当者1の発言を監視して、発言に含まれる所定ワードを検出すると、このワードに関連する商品の情報を議事録作成支援装置20の画面上に表示して担当者1を支援する。例えば、保険の種類について話している間に、監視部32が「入院」というワードを検出すると、監視部32は、入院保険を含む商品の情報を議事録作成支援装置20の画面上に表示する。

0046

議事録作成部33は、認識部31で認識された発言内容及び発言者と、監視部32によるワードの検出結果とに基づいて、議事録を作成する機能を有する。議事録作成部33は、監視部32によるワードの検出結果に基づいて、担当者1と顧客2の間で行われた会話の中から、雑談等を除いて、商談に関する発言内容のみを議事録に記録する。具体的には、担当者1と顧客2の間で行われる会話の中には世間話等の雑談も含まれるが、禁止ワード、必須ワード、監視ワードのいずれも含まない発言を議事録への記録対象から除外して、商談に関する発言のみを議事録への記録対象とすることができる。

0047

議事録作成部33は、議事録に発言を記録する際に、各発言の発言者を示す情報を記録する。また、議事録作成部33は、商談エリアの担当者1及び顧客2を撮像した画像と、議事録に記録した発言が含まれる音声及び映像にリンクしたアイコンとを議事録に貼り付ける。記憶部34には、商談中の全ての映像を記録した映像データ34aと、商談中の全ての音声を記録した音声データ34bとが保存されるが、議事録に貼り付けられたリンクアイコンを利用して、議事録に記録した発言を録音した音声や映像を再生できるようになっている。

0048

次に、議事録作成システムによって議事録を作成する議事録作成処理の流れについて詳細を説明する。図3は、議事録作成処理の流れを示すフローチャートである。議事録を作成するため、監視部32は、記憶部34のワードデータ34cに予め登録されている必須ワード、禁止ワード及び監視ワードを認識する(ステップS1)。認識部31は、担当者1又は顧客2が発言すると、発言をテキスト化するための音声認識を行う(ステップS2)。認識部31は、発言をテキスト化したデータと、この発言の発言者を示す情報とを監視部32に入力する。これを受けて、監視部32は、議事進行役である担当者1の発言に含まれる各ワードについて、図3に示すステップS3〜S5に示す判定処理を実行する。

0049

まず、監視部32は、担当者1の発言に含まれるワードが必須ワードと一致するか否かを判定する(ステップS3)。そして、両者が一致すると、監視部32は、必須ワードを検出したと判定して(ステップS3;Yes)、検出結果を議事録作成部33に通知する。通知を受けた議事録作成部33は、この必須ワードを含む発言と、必須ワードに係る情報とを議事録に記録する(ステップS6)。

0050

担当者1の発言に含まれるワードが必須ワードと一致しない場合(ステップS3;No)、続いて監視部32は、このワードが禁止ワードと一致するか否かを判定する(ステップS4)。両者が一致すると、監視部32は、禁止ワードを検出したと判定して(ステップS4;Yes)、発言について警告するための報知を行う(ステップS7)。具体的には、議事録作成支援装置20及び議事録確認装置40で、担当者1が禁止ワードを含む発言をしたことを報知する。また、監視部32は、禁止ワードを検出したことを議事録作成部33へ通知する。通知を受けた議事録作成部33は、この禁止ワードを含む発言と、禁止ワードに係る情報とを議事録に記録する(ステップS6)。

0051

担当者1の発言に含まれるワードが禁止ワードと一致しない場合(ステップS4;No)、続いて監視部32は、このワードが監視ワードと一致するか否かを判定する(ステップS5)。両者が一致すると、監視部32は、監視ワードを検出したと判定して(ステップS5;Yes)、検出結果を議事録作成部33へ通知する。通知を受けた議事録作成部33は、この監視ワードを含む発言と、監視ワードに係る情報とを議事録に記録する(ステップS6)。

0052

このように、議事録には、担当者1が、必須ワード、禁止ワード、監視ワードの少なくともいずれか1つを含む発言をした場合に、この発言をテキスト化した内容が記録される。担当者1による発言と顧客2による発言とを区別して、商談の進行役である担当者1の発言に基づいて議事録を作成することにより、商談に無関係な発言を除外して効率良く議事録を作成することができる。なお、議事録には、この他、担当者1の発言を受けて行われた顧客2の発言や発言時刻等の情報も記録されるが詳細は後述する。

0053

担当者1の発言に含まれるワードが監視ワードと一致しない場合(ステップS5;No)、このワードに係る判定処理を終えた監視部32は、担当者1の発言に含まれる全てのワードについて、ステップS3〜S5に示す判定処理を終えたか否かを判定する(ステップS8)。同様に、必須ワード、禁止ワード、又は監視ワードを検出して議事録への情報記録を行った場合も(ステップS6)、続いて、全てのワードについて判定処理を終えたか否かを判定する処理が行われる(ステップS8)。

0054

そして、判定処理中の担当者1の発言の中に、未判定のワードが残っている場合(ステップS8;No)、監視部32は、判定対象を未判定のワードに変更して(ステップS9)、このワードについてステップS3〜S5の判定処理を実行する。一方、判定処理中の発言に含まれる全てのワードについて判定処理を終えた場合には(ステップS8;Yes)、続いて、監視部32は、担当者1の発言から全ての必須ワードを検出したか否かを判定する(ステップS10)。

0055

担当者1の発言から全ての必須ワードが検出されていない場合は(ステップS10;No)、処理を継続して、担当者1が新たな発言を行うと、判定対象をこの発言に変更して(ステップS11)、認識部31がこの発言に含まれる各ワードを認識する(ステップS2)。そして、監視部32が、この発言に含まれる各ワードについてステップS3〜S5の判定処理を実行する。こうして、担当者1が、商品について顧客2に説明するよう設定されている全ての内容を説明して全ての必須ワードが検出されるまで、担当者1が発言する度に、この発言に含まれる各ワードを認識して判定する処理が繰り返し実行される。

0056

担当者1の発言から全ての必須ワードが検出されると(ステップS10;Yes)、続いて、監視部32は、会議、すなわち商談が、終了したか否かを判定する(ステップS12)。商談が終了していない場合は(ステップS12;No)、処理が継続される。そして、担当者が新たな商品について説明を開始した場合には、再び、この商品について予め設定されている必須ワード、禁止ワード及び監視ワードを認識して(ステップS1)、全ての必須ワードを検出するまで処理を継続する。

0057

一方、商談が終了した場合には(ステップS12;Yes)、議事録作成処理を終了する。例えば、認識部31が、カメラ10aで取得した画像に基づいて、担当者1及び顧客2の両方が商談エリアから退出したことを認識すると、この認識結果が監視部32へ入力され、監視部32が商談終了と判定して処理を終了する。また、担当者1が、議事録作成支援装置20で所定ボタンを押す手動操作を行った場合も、監視部32は、商談終了と判定して処理を終了する。

0058

議事録作成システムでは、議事進行を複数段階に分けて、各段階で図3に示す議事録作成処理を実行することができる。以下、議事進行役である担当者1が、第1段階〜第4段階の順で商談を進行するものとして具体的に説明する。

0059

監視部32は、情報取得装置10のカメラ10a及びマイク10bを利用して商談エリア内の変化を監視している。商談エリア内に担当者1及び顧客2が進入して、図1に示すように2人が着席すると、議事録作成装置30は、カメラ10aで得られた映像の記録及びマイク10bで得られた音声の記録を開始すると共に、商談進行の監視を開始する。ただし、映像及び音声に基づいて自動的に動作を開始する態様に限定されるものではなく、担当者1による所定の手動操作を受けて動作を開始する態様であってもよい。例えば、担当者1が、議事録作成支援装置20の画面で所定の手動操作を行ったことを受けて議事録作成装置30が商談進行の監視を開始する態様であってもよい。

0060

議事録作成システムでは、議事進行の監視を開始すると同時に、各段階で議事進行役を支援するための動作を開始する。商談を開始すると、議事録作成支援装置20の画面上には、第1段階で担当者1を支援するための情報が表示される。

0061

図4は、第1段階で表示される議事録作成支援装置20の画面例を示す図である。画面上部には、現在日時101と、音声及び映像を記録中であることを示す情報102とが表示される。また、画面上には、これから行う商談の第1段階〜第4段階の各段階103の概要が表示され、現在進行中の段階103aが、文字色背景色を変えたりハイライト表示したりするなどして他と区別可能に表示される。図4に示す画面は、第1段階103aの概要をハイライト表示して、担当者1の自己紹介や商談に関する注意事項等を説明する第1段階であることを示している。

0062

画面下部には、第1段階の必須ワードが説明必須事項104として表示される(図8参照)。図4に示す画面を確認した担当者1は、説明必須事項104の表示内容から、顧客2に対して自身の氏名を伝えると共に、音声録音等について顧客2に説明する必要があることを認識する。

0063

担当者1が氏名を名乗る発言を行うと、認識部31はマイク10bで得られた担当者1の発言を音声認識技術によって認識してテキスト化して、監視部32へ入力する。監視部32は、担当者1による発言の中に、担当者1の氏名が含まれていることを検出すると、必須ワードを検出したものとして、これを議事録作成部33に通知する。通知を受けた議事録作成部33は、担当者1の氏名を議事録に記録する。

0064

図10は、議事録作成部33が作成した議事録の例を示す図である。図10(a)は議事録の1頁目を示し、図10(b)は議事録の2頁目を示している。議事録作成部33は、監視部32が検出したワードに応じた内容を議事録に記録する。例えば、監視部32が、担当者1の氏名を検出すると、議事録作成部33は、図10(a)に示すように、議事録に担当者1の氏名202を記録する。また、担当者1が音声録音等に係る説明を行った場合は、議事録作成部33は、これを示す情報201を議事録に記録する。一方、第2段階以降、議事録作成部33は、担当者1が発言した時刻及び発言内容203と、担当者1の発言を受けて行われた顧客2の発言内容204とを、一連の会話として議事録に記録する。議事録では、発言内容を示すテキストが、監視部32が検出したワード203aに下線を付した状態で記録される。また、一連の会話を構成する各発言内容203、204は、発言者を示す情報と共に記録される。図10(a)に示す例では、14時22分の担当者1の発言で、監視ワードとして登録されている「保険」というワード203aが検出されたため(図8参照)、担当者1の発言内容203と、この発言を受けて顧客2が発言した発言内容204とが一連の会話として記録されたことを示している。

0065

監視部32は、担当者1の発言の中に必須ワードが含まれていることを検出すると、担当者1が、検出済の必須ワードと未検出の必須ワードとを区別できるように、議事録作成支援装置20の画面表示を更新する。具体的には、図4に示すように、担当者1が、自身の氏名を発言したことを受けて、担当者氏名を示す必須ワードの上に取消線105が追加される。同様に、担当者1が、商談の音声録音等が行われることを顧客2に説明した際に、担当者1の発言から「音声」及び「録音」の2つのワードから成る必須ワードを検出すると、画面上の対応する必須ワード上に取消線が追加されることになる。なお、複数ワードから成る必須ワードは「&(アンド)」の記号を利用して設定するが詳細は後述する。また、図4では、説明の便宜上、検出済みの必須ワードに取消線を追加する態様を示したが、検出済みの必須ワードを説明必須事項104の枠内から削除して、未検出の必須ワードのみを画面上に表示する態様であってもよい。

0066

担当者1による発言から、第1段階について登録された全ての必須ワードを検出すると、監視部32は、第1段階で担当者1が顧客2へ説明しなければならない事項全ての説明が終了したと判定して、議事録作成支援装置20の画面表示を第2段階の表示へ更新する。

0067

図5は、第2段階で表示される議事録作成支援装置20の画面例を示す図である。第2段階に移行すると、図5に示すように第1段階のチェックボックス111にチェック入り、第2段階の概要がハイライト表示される。第2段階は、担当者1が、顧客2の要望を聴き取って、顧客2へ提案する商品を決定する段階である。

0068

図5に示すように、第2段階の表示画面上には、監視部32が担当者1の発言から検出したワードが検出ワード112として表示される。また、商品情報113として、検出ワード112と関連する商品の情報が表示される。

0069

第2段階に入ると、顧客2へ提案する商品の選択を支援するため、監視部32は、担当者1の発言の中に、商品毎に予め設定されている所定ワードが含まれるか否かを確認する。そして、所定ワードが含まれていた場合には、これを検出ワード112として表示すると共に、検出したワードに関連する商品情報113を表示する。具体的には、例えば「がん」というワードが検出されると、これを検出ワード112として表示すると共に、がんに関する保険商品の種類と、各商品の概要とを商品情報113として表示する。また、「入院」や「死亡」のワードが検出されると、同様に、これらのワードが検出ワード112に追加され、入院やがんに関する保険商品に関する情報が、商品情報113に追加される。

0070

なお、第2段階で検出するワードの種類と、各ワードを検出した際に表示する商品情報113は、予め記憶部34で設定できるようになっている。また、担当者1が、商品情報113に表示された商品以外の商品を顧客2に提案したい場合には、画面上の商品呼出ボタン114を押して、商品情報を呼び出し、商品情報113に追加表示させることも可能となっている。

0071

担当者1は、画面を確認しながら、顧客2の要望を聴き取って提案商品を決定する。例えば、医療保険A及び医療保険Bの2つの保険商品を顧客2に提案し、各商品の詳細を説明することを決定すると、担当者1は、図5に示す商品情報113の医療保険A及び医療保険Bを選択した後、商品決定ボタン115を押す。商品決定ボタン115を押すと、第2段階を終了して第3段階へ進む。

0072

図6は、第3段階で表示される議事録作成支援装置20の画面例を示す図である。第3段階に移行すると、図6に示すように、第2段階のチェックボックス121にチェックが入り、第3段階の概要がハイライト表示される。第3段階は、担当者1が、第2段階で顧客2への提案商品として決定した複数の商品について詳細を説明する段階である。

0073

第3段階に入ると、第2段階で選択した選択商品122が画面上に表示される。また、説明必須事項123として、選択商品122のそれぞれについて予め登録されている第3段階の必須ワード123a、123bが画面上に表示される。このように、必須ワードは段階別かつ商品別に設定することができるが(図8参照)、詳細は後述する。

0074

なお、顧客2に説明を行っている間に、第2段階で選択した選択商品122以外に、詳細説明する商品を追加することになった場合、担当者1は、画面上の追加ボタン122aを押して商品を追加することができる。商品を追加した場合には、説明必須事項123に、追加商品の必須ワードが追加されることになる。また、商品の選択をやめる場合には、選択商品122の商品名を押して商品を選択して削除することもできる。商品を削除した場合には、説明必須事項123から必須ワードが削除される。

0075

図6に示す画面を確認した担当者1は、第3段階では、選択商品122として表示された医療保険A及び医療保険Bのそれぞれについて、説明必須事項123として表示された内容を説明しなければならないことを認識する。

0076

担当者1が各商品の説明を行う間、認識部31が担当者1の各発言を認識して、監視部32が各発言に含まれる各ワードの判定処理を実行する。監視部32は、担当者1が医療保険Aについて説明する発言の中に、医療保険Aについて登録された必須ワード123aが含まれていることを検出すると、図6に示すように、対応する必須ワード上に取消線123cを追加する。このように、監視部32が、必須ワードの検出結果に応じて表示画面を更新して、検出済みの必須ワードと未検出の必須ワードとを区別可能に表示することにより、担当者1は、各商品について顧客2に説明しなければならない内容を漏れなく説明することができる。

0077

また、担当者1が禁止ワードを含む発言をした場合には、これを検出した監視部32が、画面上に禁止ワード124を表示する。これにより、担当者1は、禁止ワードを含む発言をしたことを認識して、発言の訂正や顧客2への謝罪等の対応を取ることができる。また、禁止ワードの検出は、管理者3が利用する議事録確認装置40でも報知される。報知を受けた管理者3は、商談について作成中の議事録を議事録確認装置40に表示して、担当者1の発言を記録したテキスト(図10(a)の符号209参照)の確認、発言時に記録した音声(図10(a)の符号210参照)の再生確認等を行って、必要な対応を取ることができる。

0078

監視部32が、担当者1の発言から、図6に示す全ての必須ワード123a、123bを検出して、担当者1による説明必須事項123の説明が終了したと判定すると、第3段階を終了して第4段階へ移行可能な状態となる。画面上に表示されている説明必須事項123の表示内容から、必須ワードに係る全ての説明を終えたことを確認した担当者1は、第4段階での説明対象となる商品を選択した後、第3段階終了ボタン125を押して第4段階へ移行する。具体的には、顧客2に対して医療保険Aの詳細を説明することになった場合、担当者1は、画面上で「医療保険A」と表示されている表示部分を押して選択した後、第3段階終了ボタン125を押して第4段階へ移行する。

0079

商品の種類を選択して、第4段階への移行を指示する操作が行われると、監視部32は、第4段階へ移行可能な状態であるか否かを確認する。監視部32が移行不可能と判定した場合には、第4段階へは移行せず、移行不可能である理由が画面上に表示される。

0080

具体的には、担当者1が医療保険Aを選択して第4段階へ移行しようとした際に、医療保険Aについて第3段階で説明するよう設定されている説明必須事項123全ての必須ワード123aが検出されていない場合は、監視部32は、第4段階への移行は不可能であると判定する。そして、監視部32は、担当者1に対して、未検出の必須ワード123aに係る説明を行うよう指示する情報を画面上に表示する。これを受けて、担当者1が、説明していなかった必須ワード123aに係る説明を行うと、この必須ワード123aを検出した監視部32が第4段階へ移行可能な状態になったと判定し、第4段階へ移行する。

0081

なお、担当者1が第3段階終了ボタン125を押した際に、監視部32が、第4段階へ移行可能であると判定した場合には、すぐに第4段階へ移行する。また、第3段階で、例えば顧客2が資料を一旦持ち帰って検討することになった場合には、画面上の商談終了ボタン126を押して商談を終了することもできる。

0082

図7は、第4段階で表示される議事録作成支援装置20の画面例を示す図である。第4段階に移行すると、図7に示すように、第3段階のチェックボックス131にチェックが入り、第4段階の項目がハイライト表示される。第4段階は、担当者1が、第3段階で複数商品の中から選択した1つの商品について、より詳細に説明する段階である。

0083

第4段階に入ると、第3段階で選択した選択商品について予め登録されている第4段階の必須ワードが詳細説明必須事項134として画面上に表示される。担当者1は、画面を確認しながら、商品について必須ワードに係る説明を行う。ここでも、第3段階と同様に、認識部31が担当者1の発言を認識して、監視部32が必須ワードの有無を判定する処理を行い、必須ワードを検出すると、詳細説明必須事項134の対応する項目上に取消線を追加する。

0084

また、監視部32が禁止ワードを検出すると、これが画面上に表示される。具体的には、例えば、担当者1が「お客様が死んだ場合…」と発言すると、禁止ワードとして登録されている「死んだ」のワードを検出した監視部32が、図7に示すように、検出した禁止ワード135を表示する。また、監視部32は、禁止ワード135の枠内を点滅表示するなどして、禁止ワード135が検出されたことを担当者1に報知する。これを受けて、禁止ワード135の検出を認識した担当者1は、発言の訂正や謝罪等の対応を取る。また、禁止ワードの検出は、管理者3が利用する議事録確認装置40でも報知されるので、管理者3は、担当者1の発言内容を確認して必要な対応を取ることができる。

0085

なお、第4段階で担当者1が医療保険Aについて説明を続けるうちに、顧客2へ他の商品を提案することになった場合、担当者1は、画面上の個別商品変更ボタン132を押して、第4段階の説明対象とする商品を変更することができる。商品を変更した場合には、詳細説明必須事項134が変更後の商品に関する設定内容に変更されることになる。

0086

医療保険Aについて詳細説明必須事項134の全てを説明した後、担当者1は、シミュレーションボタン133を押して、シミュレーション画面を呼び出すことができる。シミュレーションボタン133が押されると、監視部32は、シミュレーション可能な状態であるか否かを確認する。監視部32がシミュレーション不可能と判定した場合には、シミュレーション画面は表示されず、シミュレーションを実行できない理由が画面上に表示される。

0087

具体的には、担当者1がシミュレーションボタン133を押してシミュレーションを実行しようとした際に、医療保険Aについて第4段階で説明するよう設定されている詳細説明必須事項134全ての必須ワードが検出されていない場合は、監視部32は、シミュレーションの実行は不可能であると判定する。そして、監視部32は、担当者1に対して、未検出の必須ワードに係る説明を行うよう指示する情報を画面上に表示する。これを受けて、担当者1が、説明していなかった必須ワードに係る説明を行うと、この必須ワードを検出した監視部32がシミュレーションを実行可能な状態になったと判定し、シミュレーション画面を表示する。

0088

なお、担当者1がシミュレーションボタン133を押した際に、監視部32が、シミュレーションを実行可能であると判定した場合には、すぐにシミュレーション画面が表示される。また、第4段階で商談を終了することになった場合は、画面上の商談終了ボタン136を押して商談を終了する。

0089

シミュレーション画面では、顧客2の年齢既往歴希望オプション等の詳細情報を入力して保険料を算出するシミュレーションを行う。シミュレーション画面で保険料等を確認した後、図7に示す画面に戻って商談終了ボタン136を押して商談を終了する。なお、シミュレーションを終えて顧客2と契約することになった場合には、契約用の画面を表示して、顧客2の氏名や住所等の詳細を入力して契約書を作成する作業が行われることになる。

0090

このように、議事録作成システムでは、予め記憶部34のワードデータ34cに登録されている必須ワードや禁止ワードを含む発言を監視しながら担当者1による商談の進行を支援する。一方、図3を参照しながら説明したように、議事録作成部33による議事録の作成は、必須ワード及び禁止ワードに加えて、監視ワードを利用して行われる。以下、必須ワード、禁止ワード及び監視ワードの各ワードと、議事録作成について具体的に説明する。

0091

図8は、ワードデータ34cの例を示す図である。図8に示す「説明対象」は商品の種類を指定するための項目で、「説明段階」は上述した第1〜第4の各段階を指定するための項目である。また、「ワード種類」は、必須ワード、禁止ワード、監視ワードの種類を指定するための項目で、「ワード」は検出対象とするワードを指定するための項目である。このように、ワードデータ34cでは、説明対象、説明段階、ワード種類を指定して、一又は複数のワードを登録することができる。

0092

図8に示すように、例えば、商品の種類によらず(図8「全商品」)かつ説明段階によらず(図8「全段階」)、監視ワード140及び禁止ワード141を設定することができる。また、商品の種類によらず、第1段階で説明すべき内容を必須ワード142として設定することができる。また、商品の種類及び説明段階を指定して、必須ワード、禁止ワード、又は監視ワードを設定することもできる。

0093

ワードの項目では、一又は複数のワードを登録することができる。また、1つのワードを必須ワード、禁止ワード、又は監視ワードとして登録する他、複数ワードから成るワードを必須ワード、禁止ワード、又は監視ワードとして登録することも可能となっている。例えば、図8に示すように、「&(アンド)」の記号を利用して結合した複数ワード143を1つの必須ワードとして登録すると、担当者1による1つの発言の中に全てのワードが含まれる場合に、この必須ワードを検出したと判定される。また、例えば、「/(スラッシュ)」の記号を利用して結合した複数ワード144を1つの禁止ワードとして登録すると、担当者1による1つの発言の中に、いずれか1つのワードが含まれる場合に、この禁止ワードを検出したと判定される。

0094

具体的には、図8に示すように「(更新&保険料)」として必須ワードを登録すると、例えば、担当者1が「更新する際の保険料」、「更新するときの保険料」、「更新時の保険料」等の発言をした場合に、監視部32は必須ワードを検出したと判定する。また、「ケガ&(保障されます/支給されます)」として禁止ワードを登録すると、例えば、担当者1が「ケガも保障されます」、「ケガの場合も保障されます」、「ケガの場合も支給されます」等と発言した場合に、監視部32は禁止ワードを検出したと判定する。

0095

議事録作成システムでは、第1段階から商談を終えるまでカメラ10aで取得した映像を映像データ34aとして記憶部34に保存して、マイク10bで取得した音声を音声データ34bとして記憶部34に保存する。ワードデータ34cに予め登録されているワードを検出して、議事録へ発言を記録した際には、この発言の音声を再生するための音声データ34bへのリンクや、映像を再生するための映像データ34aへのリンクが生成されて議事録に追加される。

0096

図9は、映像データ及び音声データと議事録に記録する情報との関係を示す模式図である。図9では、第1段階〜第4段階の商談のうち、図5に示した第2段階と、図6に示した第3段階の一部とを示している。

0097

時刻t1から担当者1による第2段階の説明が開始されると、議事録作成支援装置20の画面上には、図5に示す画面が表示される。担当者1の発言からワードを検出する監視部32が、図9ワード検出として示したように、時刻t11で、図8に示す監視ワード140の「保険」の音声を検出すると、監視部32は検出結果を議事録作成部33へ通知する。

0098

議事録作成部33は、図9に示すように、時刻t11で検出した監視ワードを含む担当者1の発言と、この発言を受けて顧客2が行った発言とを含む時刻t11s〜t11eの間の音声を議事録登録音声P1とし、議事録登録音声P1に対応する映像部分を議事録登録映像V1とする。また、議事録登録音声P1に含まれる担当者1の発言と、顧客2の発言とをテキスト化して議事録登録発言M1とする。そして、議事録作成部33は、図10(a)に示すように、議事録に、議事録登録発言M1を記録すると共に、議事録登録音声P1を再生するためのリンクを音声アイコン205として貼り付けて、議事録登録映像V1を再生するためのリンクを映像アイコン206として貼り付ける。図10(a)に示す音声アイコン205を押すと、議事録登録発言M1を記録した議事録登録音声P1が再生され、映像アイコン206を押すと、議事録登録発言M1を記録した議事録登録映像V1が再生される。

0099

同様に、図9に示すように、時刻t12aから連続して複数の監視ワードを検出すると、議事録作成部33は、これらを一まとめにした時刻t12s〜t12eの間の音声を議事録登録音声P2、これに対応する映像を議事録登録映像V2、発言内容を議事録登録発言M2とする。そして、議事録作成部33は、図10(a)に示すように、議事録に、議事録登録発言M2を記録すると共に、議事録登録音声P2及び議事録登録映像V2のリンクを、それぞれ音声アイコン及び映像アイコンにして貼り付ける。

0100

また、図9に示すように、担当者1が、時刻t13sに離席して商談エリアから退出し、時刻t13eに再び着席すると、認識部31が、この離席を特定事象として検出して、検出結果を議事録作成部33へ通知する。通知を受けた議事録作成部33は、担当者1が離席中の時刻t13s〜t13eの映像を議事録登録映像V3として、図10(b)に示すように、特定事象に関する情報を議事録に記録する。具体的には、議事録に、離席開始時刻t13s及び離席終了時刻t13eを含む情報211を記録すると共に、議事録登録映像V3を再生するためのリンクを映像アイコンにして貼り付ける。なお、担当者1の離席を検出してから、予め設定された所定時間が経過しても担当者1が戻らず、担当者1の着席を検出できない場合には、議事録確認装置40で音や光を発して、これを管理者3へ報知するようになっている。

0101

図9に示すように、時刻t2から担当者1による第3段階の説明が開始されると、議事録作成支援装置20の画面上には図6に示す画面が表示される。図9に示すように、監視部32が、担当者1の発言から、必須ワード、禁止ワード又は監視ワードを検出する度に、検出結果が議事録作成部33へ通知され、議事録作成部33が議事録登録音声P4〜P7、議事録登録映像V4〜V7、議事録登録発言M4〜M7を議事録に記録する。

0102

図9の例は、議事録登録発言M4における会話で時刻t21以降に「医療保険A」及び「医療保険B」の監視ワードを検出し、議事録登録発言M5における会話で時刻t22以降に「医療保険A」の監視ワード及び医療保険Aについて設定された必須ワードを検出し、議事録登録発言M6における会話で時刻t23以降に「医療保険B」の監視ワード及び医療保険Bについて設定された必須ワードを検出し、議事録登録発言M7における会話で時刻t24に「医療保険A」の監視ワードを検出した例を示している(図10(b)の会話内容参照)。

0103

議事録作成部33は、議事録登録発言M4〜M7を議事録に登録するが、検出時刻順に記録する他、会話の内容に応じて内容別に並べ替えて記録することも可能となっている。具体的には、会話を時刻順に記録する設定として、議事録登録発言をM4、M5、M6、M7の順に記録することもできるし、図10(b)に示すように、医療保険Aに関する会話と、医療保険Bに関する会話と、医療保険A及び医療保険Bに関する会話とに分類する設定として、M5、M7、M6、M4の順に記録することもできる。

0104

図10(b)に示すように、第3段階以降の議事録登録発言は、関連する商品の種類を示す情報207と、一連の会話において最初に担当者1が発言した時刻208と共に議事録に記録される。これにより、実際の発言順序とは異なる順序で、内容別に、議事録登録発言を議事録に記録した場合も、実際の発言順序を認識することができる。

0105

図10に示す議事録は、記憶部34の議事録データ34dで管理されており、議事録作成支援装置20及び議事録確認装置40の画面上に議事録を呼び出して表示することができる。商談が成立して顧客2による保険の契約が行われた場合には、図10(a)に示すように、顧客2の氏名、住所、契約商品に関する情報等が議事録に記録される。

0106

図10(a)に示すように、議事録には、商談時に、情報取得装置10のカメラ10aで商談エリアの担当者1及び顧客2を撮像した画像200が貼り付けられる。また、画像200には、議事録に記録した発言の発言者を示す情報200aが表示される。

0107

また、議事録では「6.商談時説明内容」として商談時の発言内容が記録される。第2段階で得られた情報が「(1)顧客要望聴取」、第3段階で得られた情報が「(2)商品説明」、第4段落で得られた情報が「(3)保険シミュレーション」として記録される。商品について具体的に説明を行う第3段階以降の記録情報については、説明対象の商品の種類を示す情報207が記録される。

0108

議事録に貼り付けられた各音声アイコンを押すと、対応する発言を記録した音声が再生され、各映像アイコンを押すと、対応する発言を記録した映像が再生される。映像を再生する際には、議事録の画像200を参照することにより、再生した映像に映っている各人を特定して発言者を確認することができる。

0109

商談中に、予め設定された特定事象が検出された場合には、図10(b)に示すように「7.特定事象」として、特定事象の内容及び検出時刻等の情報211と、特定事象を記録した映像の映像アイコンとが議事録に記録される。

0110

また、商談中に禁止ワードを検出した場合には、図10(b)に示すように「8.要注意発言」として、禁止ワードを検出した際の情報が議事録に記録される。担当者1が明らかに禁止ワードを含む発言をした場合には、議事録に、発言時刻及び発言を音声認識して得られたテキスト209が記録され、発言を録音した議事録登録音声にリンクした音声アイコン210が貼り付けられる。

0111

一方、担当者1の発言から禁止ワードを明瞭に認識できなかった場合や、禁止ワードに続いて禁止ワードを否定するような助動詞又は禁止ワードを取り消すような内容の発言を検出した場合に、監視部32は、担当者1が禁止ワードを含む発言をしたと明確に判定できないことがある。このような場合、監視部32による検出結果を受けて、議事録作成部33は、禁止ワードの検出が明確ではないことを示す文字や記号等の所定マーク213を議事録に追加する。また、この記録を削除するための削除ボタン214と、この記録を維持するための維持ボタン215とを議事録に追加する。

0112

議事録確認装置40で、担当者1が行った商談内容の議事録を確認する管理者3は、図10(b)に示すように、議事録に所定マーク213が含まれていることを確認すると、この発言について記録された音声アイコン212を押して音声を再生し、発言内容を確認する。そして、管理者3が、担当者1は禁止ワードを含む発言をしており記録を残す必要があると判断した場合には、維持ボタン215を押して記録を維持する。一方、担当者1は禁止ワードを含む発言をしていない、又は禁止ワードを含む発言をした後でこれを否定している等の理由で、管理者3が、この記録を議事録に残す必要はないと判断した場合には、削除ボタン214を押して記録を削除する。管理者3が、削除ボタン214又は維持ボタン215を押すと、議事録の所定マーク213、削除ボタン214及び維持ボタン215は議事録から削除される。なお、削除ボタン214又は維持ボタン215を押す操作は、議事録作成支援装置20では行うことができず、議事録確認装置40で管理者3のみが行えるようになっている。

0113

本実施形態では、図9に示すように、商談中の全ての映像及び音声を記憶部34に保存しておいて、議事録に記録された発言に対応する音声及び映像のリンクを生成し、このリンクをそれぞれ音声アイコン及び映像アイコンとして議事録に貼り付ける態様を示したが、映像及び音声の保存方法がこれに限定されるものではない。例えば、図9に示す議事録登録音声P1〜P7のみを音声データ34bとして記憶部34に保存して、他の音声を残さない設定とすることもできる。映像についても同様に、図9に示す議事録登録映像V1〜V7のみを映像データ34aとして記憶部34に保存して、他の映像を残さない設定とすることもできる。また、映像には音声も含まれるため、映像データ34aのみを記録して、これを音声データ34bとして利用する態様であってもよい。

0114

議事録に記録した発言の音声と映像のみを残す場合については、全ての発言の映像及び音声を記憶部34に保存する態様に限定されず、図8に示すワードの種類や説明段階に基づいて、映像及び音声を保存するか否かを設定することも可能となっている。例えば、禁止ワード又は必須ワードを含む発言については映像及び音声を保存するが、監視ワードのみを含む発言については映像及び音声を保存しない設定とすることができる。また、例えば、第1段階及び第2段階では音声及び映像を保存せず、第3段階及び第4段階では音声及び映像を保存する設定とすることもできる。

0115

本実施形態では、担当者1と顧客2の2人で商談を行う例を説明したが、議事録作成システムでは、顧客2が2人以上である場合も、音声及び映像に基づいて、担当者1、顧客X、顧客Yというように各人を区別して上述した各機能及び動作を実現する。ただし、人数が多く全員の音声を区別できない場合には、少なくとも議事進行役である担当者1の音声を、他の音声と区別して取得するようになっている。

0116

本実施形態では、情報取得装置10が静止画像及び映像を取得するカメラ10aを備える態様を示したが、カメラ10aが赤外線等を利用する態様であってもよい。例えば、カラーの可視光画像を撮像するための画像センサと、画像センサによる撮像範囲内で各物体の位置及び深度(奥行き)を認識するための深度センサとによってカメラ10aを構成する。そして、所定パターンに配列した赤外線スポット光照射する照射部と、各スポット光反射光受光する赤外線カメラとによって深度センサを構成すれば、所定パターンに配列したスポット光を撮像範囲内に照射して、得られた反射光の状態から各物体の位置及び深度を認識することができる。なお、このような画像センサ及び深度センサを有するカメラ10aとして、例えば、マイクロソフト社製のKinect(登録商標)を利用することができる。

0117

物体の深度を認識することにより、カメラ10aによる撮像範囲内で、各人の離席や着席等、各人の動きを精度よく検出することができる。これにより、例えば、多人数が会議へ参加する場合も、監視部32は、カメラ10aによる認識結果を利用してテーブルに着席した人数を監視し、全員が着席したことを正確に検出することができる。そして、検出結果に応じて、映像及び音声の記録等、各動作を開始することができる。また、監視部32は、担当者1が離席してから所定時間経過しても席に戻らない場合に管理者3にこれを報知するが、複数人が離着席した場合も、担当者1の離席時間を正確に計測して、離席時間に応じて管理者3への報知を実行することができる。また、会議に参加する各人の離席及び着席に関する情報を議事録に記録することも可能である。

0118

上述してきたように、本実施形態に係る議事録作成システムによれば、カメラ10a及びマイク10bを含む情報取得装置10によって、所定エリア内における担当者1及び顧客2の映像と音声とを記録することができる。また、音声認識技術を利用して発言内容を認識すると共に、マイク10bで音声が得られた方向を解析したりカメラ10aで得られた映像を解析したりするなどして各発言の発言者を認識して、予め設定されているワードを検出した担当者1の発言と、この発言に対して行われた顧客2の発言とを含む一連の会話を議事録に記録して残すことができる。

0119

また、議事録作成システムでは、議事進行を監視して、担当者1が発言すべき内容を議事録作成支援装置20の表示部に表示して担当者1による議事進行を支援することができる。担当者1が、発言すべき内容を全て発言したか否かを監視して、全てを発言するまで次の処理を実行できないように監視したり、担当者1が好ましくない発言をした場合に、この発言を検出すると同時に、担当者本人や、担当者1を管理する管理者3にこれを報知することができる。

0120

また、議事録作成装置30で自動作成された議事録には、議事録に記録されている各発言の発言者や発言時刻が含まれるので、議事の進行を容易に確認することができる。また、議事録には、議事録に記録されている各発言の音声や映像を再生するためのアイコンが含まれており、アイコンを操作することによって、音声や映像を再生して発言内容等を確認することができる。

0121

以上のように、本発明に係る議事録作成システムは、議事録を自動作成しながら議事進行中に所定ワードを含む発言の有無を監視するために有用である。

0122

10情報取得装置
10aカメラ
10bマイク
20議事録作成支援装置
30議事録作成装置
31 認識部
32監視部
33議事録作成部
34 記憶部
40議事録確認装置
50 ネットワーク

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

関連する公募課題一覧

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ