図面 (/)

技術 生産計画作成装置および生産計画作成方法

出願人 株式会社日立ソリューションズ東日本
発明者 清藤駿成宗形聡
出願日 2019年4月22日 (1年10ヶ月経過) 出願番号 2019-081024
公開日 2020年10月29日 (3ヶ月経過) 公開番号 2020-177565
状態 未査定
技術分野 総合的工場管理
主要キーワード 中心頂点 充足状況 価値推定 デュアルネットワーク スケジュール案 ロットテーブル 製造スケジュール 正規乱数
関連する未来課題
重要な関連分野

この項目の情報は公開日時点(2020年10月29日)のものです。
また、この項目は機械的に抽出しているため、正しく解析できていない場合があります

図面 (12)

課題

生産計画の全体情報と詳細情報の両方を考慮した生産計画作成技術を提供する。

解決手段

生産計画作成装置において、入力された製造スケジュール頂点と辺から構成されるグラフに変換するグラフ変換機能と、グラフ特徴量抽出部でグラフの特徴量を抽出し、割付け価値を計算して評価し、割付け価値が最も高い割付けを選択する割付け選択部と、入力された製造スケジュールと割付け選択された割付けに対する、評価値を出力するスケジュール評価部と、割付け選択部を用いてスケジュール案の作成の訓練を行い、スケジュール評価部を用いてスケジュール案を評価し、スケジュール案の評価値の改善に寄与する割付け選択部の教師データを作成し、勾配降下法を用いて割付け選択部のパラメータ更新する強化学習部と、製品オーダリストに対して、強化学習部で学習した割付け選択部を用いて、スケジュールを立案し出力するスケジュール立案部とを有する。

概要

背景

近年、顧客のニーズ多様化が益々進み、かつ、製品ライフサイクル短期化している。このような状況下において、多品種少量生産型の製造業等では、資材投入から製品の出荷までの時間であるリードタイムLT)を短縮し、製造現場内在庫の適正化や短納期への対応が求められる。

これらの要望を達成するために、多くの製造業では、製造オーダ紐付一連の作業をいつ、どの設備で行うのかを決める生産スケジューリングを行い、製造のプロセスをコントロールしている。そのために、従来から、生産計画作成技術が提案されている(例えば、下記特許文献1参照)。

生産計画作成の手法には、ディスパッチング法が広く用いられている。ディスパッチング法は、所定の割付けルールに従って、作業、設備、期間を選択し、割り当てていく手法である。

多くの生産計画作成処理は、例えば、同一工程の作業をまとめて処理する、染色工程の場合に色の薄いものから処理する、などの製造現場ごとの個別の制約を反映できるように、割付けルールをカスタマイズできる機能を有している。

近年では、短納期での生産が求められることも多いことから、カスタマイズの際には、製造現場ごとの個別の制約を満たしているか否かを評価する現場的観点だけではなく、LTや納期遵守率などの製造KPI(Key Performance Indicator)を改善できるかを評価する経営的観点も満足させることが求められる。

しかしながら、現場的観点と経営的観点はトレードオフの関係にあるため、両者を満足させる割付けルールの構築は難しい。したがって、割付けルールの構築が製造現場の計画担当者等の大きな負担となっている。計画担当者の負担を軽減するために、現場的観点と経営的観点の両方を満足させる割付けルールを自動的に構築することが求められてきている。

割付けルールの構築を自動化するために、下記の非特許文献1では、強化学習を用いて割付けルールを学習する手法を提案している。強化学習による割付けルールの学習とは、スケジュール作成立案)を繰り返し行い、生産計画の評価値が改善するように作業の割付け価値を逐次更新する仕組みのことをいう。作業の割付け価値は、スケジュールの立案状態を表現する特徴量ベクトル深層ニューラルネットワーク(Deep Neural Network:DNN)に入力することにより求めることができる。評価値の高い生産計画の立案につながる各作業の割付け価値を推定することが割付けルールの学習に相当する。

概要

生産計画の全体情報と詳細情報の両方を考慮した生産計画作成技術を提供する。生産計画作成装置において、入力された製造スケジュール頂点と辺から構成されるグラフに変換するグラフ変換機能と、グラフ特徴量抽出部でグラフの特徴量を抽出し、割付け価値を計算して評価し、割付け価値が最も高い割付けを選択する割付け選択部と、入力された製造スケジュールと割付け選択された割付けに対する、評価値を出力するスケジュール評価部と、割付け選択部を用いてスケジュール案の作成の訓練を行い、スケジュール評価部を用いてスケジュール案を評価し、スケジュール案の評価値の改善に寄与する割付け選択部の教師データを作成し、勾配降下法を用いて割付け選択部のパラメータを更新する強化学習部と、製品のオーダリストに対して、強化学習部で学習した割付け選択部を用いて、スケジュールを立案し出力するスケジュール立案部とを有する。B

目的

本発明は、生産計画の全体情報と詳細情報の両方を考慮した生産計画作成技術の提供を目的とする

効果

実績

技術文献被引用数
0件
牽制数
0件

この技術が所属する分野

ライセンス契約や譲渡などの可能性がある特許掲載中! 開放特許随時追加・更新中 詳しくはこちら

請求項1

製造スケジュールにおいて、製造現場ごとの制約適合度と、経営的な評価項目である製造KPIの改善度の両方を満足させるスケジュールを作成する生産計画作成装置であって、入力された製造スケジュールを頂点と辺から構成されるグラフに変換するグラフ変換機能と、グラフ特徴量抽出部で前記グラフの特徴量を抽出し、割付け価値を計算する演算機能を有し、前記割付け価値を評価し、前記割付け価値が最も高い割付けを選択する割付け選択部と、入力された製造スケジュールと前記割付け選択部により出力された割付けに対する、評価値を出力するスケジュール評価部と、前記割付け選択部を用いてスケジュール案の作成の訓練を行い、前記スケジュール評価部を用いて前記スケジュール案の作成の訓練の過程で得られたスケジュール案を評価し、スケジュール案の評価値の改善に寄与する前記割付け選択部の教師データを作成し、勾配降下法を用いて前記割付け選択部のパラメータ更新する強化学習部と、入力された製品オーダリストに対して、前記強化学習部で学習した前記割付け選択部を用いて、スケジュールを立案し出力するスケジュール立案部とを有する生産計画作成装置。

請求項2

前記グラフ変換機能は、生産計画におけるスケジュールを、生産計画における作業、工程及び設備のうちの少なくとも1つの頂点と、前記の頂点間関係性を辺で定義したグラフ構造に変換する請求項1に記載の生産計画作成装置。

請求項3

前記割付け価値の演算機能は、前記グラフ変換機能で変換したグラフを入力とし、前記グラフ特徴量抽出部を用いて、頂点又は辺の少なくともいずれか一方の属性値又は隣接関係の少なくともいずれか一方から、前記頂点又は前記辺の少なくともいずれか一方の特徴量をグラフの特徴量として抽出し、抽出した前記グラフの特徴量を用いて入力されたスケジュールにおいて可能な割付けの価値を計算する、請求項1又は2に記載の生産計画作成装置。

請求項4

前記スケジュール評価部は、入力された製造スケジュールに対する評価値、又は、前記割付け選択部により出力された割付けに対する評価値、の少なくともいずれか一方を計算する請求項1から3までのいずれか1項に記載の生産計画作成装置。

請求項5

前記スケジュール立案部は、特急注文の場合には、立案済みのスケジュールを、作業IDと、工程IDと、ロットIDからなる既存のスケジュールテーブルに基づいて指定することを特徴とする請求項1から4までのいずれか1項に記載の生産計画作成装置。

請求項6

前記強化学習部は、前記割付け選択部を用いた割付けの選択に代えて、割付けの候補からランダムに割付けを選択する選択肢を有する請求項1から5までのいずれか1項に記載の生産計画作成装置。

請求項7

製造スケジュールにおいて、製造現場ごとの制約の適合度と、経営的な評価項目である製造KPIの改善度の両方を満足させるスケジュールをコンピュータに作成させる生産計画作成方法であって、入力された製造スケジュールを頂点と辺から構成されるグラフに変換するグラフ変換ステップと、特徴量抽出処理により前記グラフの特徴量を抽出し、割付け価値を計算する演算ステップを有し、前記割付け価値を評価し、前記割付け価値が最も高い割付けを選択する割付け選択ステップと、入力された製造スケジュールと前記割付け選択ステップにより出力された割付けに対する、評価値を出力するスケジュール評価ステップ、前記割付け選択ステップによりスケジュール案の作成の訓練を行い、前記スケジュール評価ステップにより前記スケジュール案の作成の訓練の過程で得られたスケジュール案を評価し、スケジュール案の評価値の改善に寄与する前記割付け選択処理の教師データを作成し、勾配降下法を用いて前記割付け選択処理のパラメータを更新する強化学習ステップと、入力された製品のオーダのリストに対して、前記強化学習ステップで学習した前記割付け選択結果を用いて、スケジュールを立案し出力するスケジュール立案ステップとを有する生産計画作成方法。

技術分野

0001

本発明は、生産計画作成技術に関し、特に、強化学習を用いて割付けルールを自動で構築する生産計画作成技術に関する。

背景技術

0002

近年、顧客のニーズ多様化が益々進み、かつ、製品ライフサイクル短期化している。このような状況下において、多品種少量生産型の製造業等では、資材投入から製品の出荷までの時間であるリードタイムLT)を短縮し、製造現場内在庫の適正化や短納期への対応が求められる。

0003

これらの要望を達成するために、多くの製造業では、製造オーダ紐付一連の作業をいつ、どの設備で行うのかを決める生産スケジューリングを行い、製造のプロセスをコントロールしている。そのために、従来から、生産計画作成技術が提案されている(例えば、下記特許文献1参照)。

0004

生産計画作成の手法には、ディスパッチング法が広く用いられている。ディスパッチング法は、所定の割付けルールに従って、作業、設備、期間を選択し、割り当てていく手法である。

0005

多くの生産計画作成処理は、例えば、同一工程の作業をまとめて処理する、染色工程の場合に色の薄いものから処理する、などの製造現場ごとの個別の制約を反映できるように、割付けルールをカスタマイズできる機能を有している。

0006

近年では、短納期での生産が求められることも多いことから、カスタマイズの際には、製造現場ごとの個別の制約を満たしているか否かを評価する現場的観点だけではなく、LTや納期遵守率などの製造KPI(Key Performance Indicator)を改善できるかを評価する経営的観点も満足させることが求められる。

0007

しかしながら、現場的観点と経営的観点はトレードオフの関係にあるため、両者を満足させる割付けルールの構築は難しい。したがって、割付けルールの構築が製造現場の計画担当者等の大きな負担となっている。計画担当者の負担を軽減するために、現場的観点と経営的観点の両方を満足させる割付けルールを自動的に構築することが求められてきている。

0008

割付けルールの構築を自動化するために、下記の非特許文献1では、強化学習を用いて割付けルールを学習する手法を提案している。強化学習による割付けルールの学習とは、スケジュール作成立案)を繰り返し行い、生産計画の評価値が改善するように作業の割付け価値を逐次更新する仕組みのことをいう。作業の割付け価値は、スケジュールの立案状態を表現する特徴量ベクトル深層ニューラルネットワーク(Deep Neural Network:DNN)に入力することにより求めることができる。評価値の高い生産計画の立案につながる各作業の割付け価値を推定することが割付けルールの学習に相当する。

0009

特許第4334843号公報

先行技術

0010

W. Zhang、 et al. A Reinforcement Learning Approach to Job-Shop Scheduling, Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence, Vol. 2, pp. 1114-1120 (1995).

発明が解決しようとする課題

0011

ここで、経営的観点と現場的観点の両方を考慮して定義された評価値を改善するように割付け価値を推定するためには、スケジュールの情報として、経営指標である製造KPIなどの全体情報だけではなく、どの作業がどの設備にどの順序で割付けられているのかといった、製造現場ごとの個別の制約の充足状況を判断できる詳細情報も、特徴量ベクトルとしてDNNに入力する必要がある。
しかしながら、作業を割付けた設備や作業順序などの情報は数値データではないため、生産計画の全体情報と詳細情報の両方を含む特徴量ベクトルを生成することは難しい。そのため、非特許文献1では、生産計画の全体情報である納期遅れ時間やメイクスパンなどの統計値のみを特徴量ベクトルとしてDNNに入力している。したがって、経営的観点と現場的観点の両方を考慮して定義された評価値を改善させるような作業の割付け価値を推定することはできていない。

0012

強化学習により割付けルールを自動で構築し、計画担当者の負担を軽減するためには、生産計画の全体情報と詳細情報の両方を含むような特徴量ベクトルを生成し、現場的観点と経営的観点の両方を満足させる割付け価値を学習できるようにすることが課題となっている。

0013

本発明は、生産計画の全体情報と詳細情報の両方を考慮した生産計画作成技術の提供を目的とする。

課題を解決するための手段

0014

本発明では、生産計画の全体情報と詳細情報を同時に表現できる技術として、例えば、作業や設備を頂点、それらの関係性有向辺で定義した有向グラフ等を採用し、グラフ畳み込みニューラルネットワーク(Graph Convolutional Neural network:GCN)などを用いることで、頂点や有向辺がもつ属性情報隣接関係からスケジュールの全体情報と詳細情報の両方を含む特徴量を抽出することを可能にした。抽出した特徴量をDNNに入力することで、強化学習の枠組みで経営的観点と現場的観点の両方を考慮して定義された評価値を改善させる割付け価値を推定できるようになる。

0015

本発明の一観点によれば、製造スケジュールにおいて、製造現場ごとの制約の適合度と、経営的な評価項目である製造KPIの改善度の両方を満足させるスケジュールを作成する生産計画作成装置であって、入力された製造スケジュールを頂点と辺から構成されるグラフに変換するグラフ変換機能と、グラフ特徴量抽出部で前記グラフの特徴量を抽出し、割付け価値を計算する演算機能を有し、前記割付け価値を評価し、前記割付け価値が最も高い割付けを選択する割付け選択部と、入力された製造スケジュールと前記割付け選択部により出力された割付けに対する、評価値を出力するスケジュール評価部と、前記割付け選択部を用いてスケジュール案の作成の訓練を行い、前記スケジュール評価部を用いて前記スケジュール案の作成の訓練の過程で得られたスケジュール案を評価し、スケジュール案の評価値の改善に寄与する前記割付け選択部の教師データを作成し、勾配降下法を用いて前記割付け選択部のパラメータを更新する強化学習部と、入力された製品のオーダリストに対して、前記強化学習部で学習した前記割付け選択部を用いて、スケジュールを立案し出力するスケジュール立案部と、を有する生産計画作成装置が提供される。

0016

本発明は、頂点や辺の属性情報や隣接関係から、製造スケジュールの全体情報と詳細情報の両方を含む特徴量を抽出することができる。そして、前記抽出した全体情報と詳細情報を含む作業と設備の特徴量をDNNに入力することで、強化学習の枠組みで経営的観点と現場的観点の両方を考慮して定義された評価値を改善させる割付け価値を推定できる。

0017

前記グラフ変換機能は、生産計画におけるスケジュールを、生産計画における作業、工程及び設備のうちの少なくとも1つの頂点と、前記の頂点間の関係性を辺で定義したグラフ構造に変換することが好ましい。
前記グラフ特徴量抽出機能で、頂点や辺の属性情報や隣接関係からスケジュールの全体情報と詳細情報の両方を含む特徴量を抽出することができる。
前記スケジュール評価部は、入力された製造スケジュールに対する評価値、又は、前記割付け選択部により出力された割付けに対する評価値、の少なくともいずれか一方を計算すると良い。

0018

前記割付け価値の演算機能は、前記グラフ変換機能で変換したグラフを入力とし、前記グラフ特徴量抽出部を用いて、頂点又は辺の少なくともいずれか一方の属性値又は隣接関係の少なくともいずれか一方から、前記頂点又は前記辺の少なくともいずれか一方の特徴量をグラフの特徴量として抽出し、抽出した前記グラフの特徴量を用いて入力されたスケジュールにおいて可能な割付けの価値を計算する、ことが好ましい。
前記スケジュール立案部は、特急注文の場合には、立案済みのスケジュールを、作業IDと、設備IDと、開始時刻及び終了時刻からなる既存のスケジュールテーブルに基づいて指定することが好ましい。
割付けルールベースの手法とすることで、特急注文に対して、新たなスケジュールを作り直すことなく、作成(立案)済みのスケジュールテーブルに基づいて高速再スケジューリングが可能である。
前記強化学習部は、学習結果に基づいた割付けの選択に代えて、割付けの候補からランダムに割付けを選択する選択肢を有することが好ましい。
学習結果に基づいた割付けの選択だけでは、同じ仕掛りスケジュールに対して、毎回同じ割付けを選択してしまい、同じ評価値のスケジュールしか立案できない。従って、スケジュールの評価値は改善しない。そこでランダムな割付けも行うことにより、スケジュールの探索の幅を広め、評価値の高い新しいスケジュールの発見が可能となる。

0019

本発明の他の観点によれば、製造スケジュールにおいて、製造現場ごとの制約の適合度と、経営的な評価項目である製造KPIの改善度の両方を満足させるスケジュールをコンピュータに作成させる生産計画作成方法であって、入力された製造スケジュールを頂点と辺から構成されるグラフに変換するグラフ変換ステップと、グラフ特徴量抽出処理により前記グラフの特徴量を抽出し、割付け価値を計算する演算ステップを有し、前記割付け価値を評価し、前記割付け価値が最も高い割付けを選択する割付け選択ステップと、入力された製造スケジュールと前記割付け選択ステップにより出力された割付けに対する、評価値を出力するスケジュール評価ステップ、前記割付け選択ステップによりスケジュール案の作成の訓練を行い、前記スケジュール評価ステップにより前記スケジュール案の作成の訓練の過程で得られたスケジュール案を評価し、スケジュール案の評価値の改善に寄与する前記割付け選択処理の教師データを作成し、勾配降下法を用いて前記割付け選択処理のパラメータを更新する強化学習ステップと、入力された製品のオーダのリストに対して、前記強化学習ステップで学習した前記割付け選択結果を用いて、スケジュールを立案し出力するスケジュール立案ステップと、を有する生産計画作成方法が提供される。

発明の効果

0020

本発明によれば、経営的観点と現場的観点の両方を考慮した生産計画作成技術を提供することができる。

図面の簡単な説明

0021

本発明の一実施の形態による生産計画作成技術の概要を示す図であり、現場的観点と経営的観点とを両立させるルールの学習を含む処理の概要を示す図である。
本発明の一実施の形態による生産計画作成処理を行う生産計画作成装置の一構成例を示す機能ブロック図である。
本実施の形態による生産計画作成演算処理の主要な流れを示すフローチャート図である。
強化学習部における処理の流れを示すフローチャート図である。
割付け選択部における処理の流れを示すフローチャート図である。
グラフ変換処理における、左図に示すガントチャートを右図に示すスケジュールグラフに変換する処理の一例を示す図である。
入力されたスケジュールに対するグラフ変換処理の流れを示すフローチャート図である。
グラフ畳み込みニューラルネットワーク処理の流れを示すフローチャート図である。
工程2を中心頂点とした場合の一連の畳み込み層処理の概要を示す図である。
出力層における処理の概要を示す図であり、左図におけるグラフ畳み込みニューラルネットワーク処理後のスケジュールグラフから、出力層を用いて割付け候補の価値を計算し、右図に示すガントチャートの割付け候補上に示した図である。
スケジュール立案部の処理の流れを示すフローチャート図である。

実施例

0022

本明細書において、「生産計画作成処理」とは、製品の生産等にあたって、有限リソースを用いて複数のジョブを実行する際に、所与の制約を満たすように各ジョブへのリソースの割り当てを決める処理である。
ここで、「ジョブ(作業など)」とは、製品を製造するために実行する必要がある一連の作業であり、「リソース(設備など)」とはジョブの各作業を処理する製造設備治工具作業者などである。
ジョブの作業を、いつ、どのリソースで処理するかを決めることを「割付け」と称する。

0023

以下に、本発明の実施の形態による生産計画作成技術について図面を参照しながら詳細に説明する。
本実施の形態では、LTなどの製造KPIの改善と、ロットまとめや作業順序など工場ごとに考慮する個別の事情の両方を反映したスケジュールの評価指標を定義し、良い生産計画を作成するための割付けルールをAI機械学習装置など)に学習させる生産計画作成技術を含む。良い生産計画作成につながるルールをAIで上手く学習することができれば、製造KPIを改善しつつ、工場ごとに個別に考慮される計画担当者の知見を取り込んだ割付けルールを学習することができる。この学習のためのAIモデルの構築に強化学習を用いることができる。すなわち、製造スケジュールにおいて製造現場ごとのスケジュールの詳細情報の制約の適合度と、製造スケジュール全体情報である製造KPIの改善度の両方を満足させるスケジュールを作成する生産計画作成技術に関する。

0024

強化学習とは、最終的に実現したいゴールは明確であるが、そのための具体的な行動が分からない場合に、その時々の状況でとり得る行動を繰り返してゴールへの到達度を評価し、評価(価値)を最大化するための行動を学習する手法である。特に、行動の価値を深層ニューラルネットワーク(DNN)で近似する場合には、深層強化学習と呼ばれる。深層強化学習により、生産計画作成処理をカスタマイズせずに実現することができる。

0025

図1Aは、本発明の一実施の形態による生産計画作成技術において、現場的観点と経営的観点を両立させる割付けルールの学習の概要を示す図である。図1Aに示すように、本実施の形態による生産計画作成装置は、生産計画を作成するスケジューラS、例えば、パーソナルコンピュータ(PC)などで構成することができる。PCを用いて生産計画の作成(立案)を行う際に(L1)、立案の際の条件Cとして、工場制約を充足させるための条件C1と、製造KPIを改善させるための条件C2とを両立させるように評価する(L2)。評価値Dは、この例では、7.8である。この評価値Dを用いて(L3)強化学習Eが行われた学習結果を深層ニューラルネットワーク(DNN)Fに送り(学習L4)、DNN(F)を用いて割付けの選択処理を行う(割付けの選択L5)処理を行うことができる。

0026

図1Bは、上記のような生産計画作成処理を行う生産計画作成装置の一構成例を示す機能ブロック図である。以下では、多品種少量生産の製造業の計画担当者が、図1Bに示す本発明の生産計画作成装置Aを用いて、担当製造現場の生産スケジュールを立案する例を示す。

0027

図1Bに示すように、本実施の形態による生産計画作成装置Aは、各種データテーブル等を格納する補助記憶装置1と、入力装置2と、出力装置3と、中央演算装置(CPU)4と、各種処理をCPU4に実行させるためのプログラムを格納する主記憶装置5と、を有している。補助記憶装置1は、生産計画作成装置外に設けられてネットワーク接続等されていても良い。主記憶装置5に記憶されている各プログラムは、CPU4により、生産計画作成演算処理を行う生産計画作成のための演算処理装置として機能する。

0028

まず、以下に補助記憶装置1内に格納されている各種テーブルについて説明する。
本実施の形態による生産計画作成装置Aに記憶されているマスタデータ1−1は、品目テーブル1−1−1(表1)と、品目関係テーブル1−1−2(表2)と、工程テーブル1−1−3(表3)と、設備テーブル1−1−4(表4)と、生産可能設備テーブル1−1−5(表5)とを有している。

0029

0030

表1に、品目テーブル1−1−1の一構成例を示す。品目テーブル1−1−1は、品目ID(キー)から構成される。

0031

0032

表2に、品目関係テーブル1−1−2の一構成例を示す。品目関係テーブル1−1−2は、品目ID(キー)、子品目ID(キー)、員数から構成される。ここで、子品目IDは指定した品目を生産するために必要な部品となる品目、員数はその必要数を示す。例えば、表2における製品4を生産するためには、部品2と部品3が、それぞれ1個ずつ必要である。

0033

0034

表3に、工程テーブル1−1−3の一構成例を示す。工程テーブル1−1−3は、工程ID(キー)、品目ID、工順標準時間から構成される。品目IDは、指定した工程が処理される品目を示す。工順は、指定した工程が処理される順番を示す。標準時間は、品目1個あたりの指定した工程を処理するための時間を示す。例えば、表3では、部品1の工程は工程1と工程2であり、工程1→工程2の順で処理され、それぞれ標準時間は0.01時間である。

0035

0036

表4に、設備テーブル1−1−4の一構成例を示す。設備テーブル1−1−4は、設備ID(キー)、処理効率から構成される。処理効率は、0〜1までの値であり、工程の処理時間に設備の性能を反映させるために用いる。具体的には、工程の処理時間を以下の式(2−1)で計算する。
処理時間=個数×標準時間÷処理効率 (2−1)

0037

0038

表5に、生産可能設備テーブル1−1−5の一構成例を示す。生産可能設備テーブル1−1−5は、工程ID(キー)、設備ID(キー)から構成される。例えば、工程3は設備1と設備2で処理することができる。

0039

本実施の形態によるスケジューリングデータ1−2は、オーダテーブル1−2−1(表6)と、ロットテーブル1−2−2(表7)と、ロット関係テーブル1−2−3(表8)と、作業テーブル1−2−4(表9)と、スケジュールテーブル1−2−5(表10)と、を有している。

0040

0041

表6に、オーダテーブル1−2−1の一構成例を示す。オーダテーブル1−2−1は、オーダID(キー)、品目ID、個数、納期から構成される。品目IDは指定したオーダで生産する品目のID、個数はその生産数、納期は生産の期限を示す。例えば、オーダ1は、100個の製品4を2019/4/1 18:00までに生産する。

0042

0043

表7に、ロットテーブル1−2−2の一構成例を示す。ロットテーブル1−2−2は、ロットID(キー)、品目ID、オーダID、個数から構成される。ここで、ロットとは、オーダで指定する品目を生産するために必要な部品(品目)を意味する。品目IDは指定したロットで生産する品目のID、オーダIDは指定したロットを必要とするオーダのID、個数は生産数を示す。例えば、オーダ1は製品4を生産するために、部品2と部品3が必要であり、部品2と部品3はそれぞれ部品1が100個ずつ必要であるから、部品1を合計200個、部品2を100個、部品3を100個、製品4を100個、生産するためのロットが必要である。

0044

0045

表8に、ロット関係テーブル1−2−3の一構成例を示す。ロット関係テーブル1−2−3は、ロットID(キー)、子ロットID(キー)から構成される。子ロットIDは、指定したロットを生産するために必要なロットのIDを示す。例えば、ロット5を生産するために、ロット3とロット4を生産する必要がある。

0046

0047

表9に、作業テーブル1−2−4の一構成例を示す。作業テーブル1−2−4は、作業ID(キー)、工程ID、ロットIDから構成される。工程IDは、指定した作業で処理する工程のIDを示す。ロットIDは、指定した作業が処理されるロットのIDを示す。

0048

0049

表10に、スケジュールテーブル1−2−5の一構成例を示す。スケジュールテーブル1−2−5は、作業ID(キー)、設備ID、開始時刻、終了時刻から構成される。作業IDは、指定した作業でのIDを示す。設備IDは、作業に使用する設備のIDを示す。さらに、その作業において設備を使用する開始時刻と終了時刻とを含む。

0050

0051

表11に、強化学習設定テーブル1−3の一構成例を示す。強化学習設定テーブル1−3は、強化学習における設定値を格納したテーブルであり、項目と強化学習の設定値を含む。

0052

0053

表12に、GCN設定テーブル1−5の一構成例を示す。GCN設定テーブル1−5は、GCNの設定値を格納したテーブルであり、項目に、次元、畳み込み層数、全結合層数の値を含む。

0054

0055

表13に、GCNパラメータテーブル1−4の一構成例を示す。GCNパラメータテーブル1−4は、GCNの各パラメータを格納する。

0056

次に、生産計画演算装置(主記憶装置)5における演算処理について説明する。図1Bに示すように、生産計画演算装置(主記憶装置)5は、強化学習部5−1と、割付け選択部5−2と、スケジュール立案部5−3と、スケジュール評価部5−4とを有する。尚、主記憶装置5内の各構成要素間のデータのやり取りを矢印とそれに付随するデータで示した。
強化学習部5−1では、繰り返し行われるスケジュールの立案におけるスケジュールの評価値が改善するように、割付けルールを学習する。
割付け選択部5−2では、与えられた仕掛りスケジュールで可能な割付けに対して、その価値を推定し、価値の最も高い割付けを選択する。

0057

強化学習部5−1とスケジュール立案部5−3では、学習途中または学習後の割付け選択部5−2を用いてスケジュールの立案を行う。スケジュール評価部5−4では、与えられたスケジュールと割付けに対する評価値(報酬)を計算する。
さらに、強化学習部5−1では、スケジュールの完成までの報酬の合計を最大化するように、割付けの価値を更新する。
スケジュール立案部5−3では、強化学習部5−1を用いて学習した割付け選択部5−2を用いて、指定されたオーダに対するスケジュールを立案する。

0058

以下に、生産計画作成演算処理の流れの一例について詳細に説明する。

0059

(主要処理)
図2は、生産計画作成演算処理の主要な処理の流れを示すフローチャート図である。
ステップS2−1で処理を開始し、ステップS2−2において、計画担当者は学習モードとスケジュール立案モードのいずれかを選択する(モード選択処理)。

0060

ステップS2−2において学習モードが選択された場合には、ステップS2−3に進み、強化学習部5−1を用いて、割付けルールを学習する。GCNのパラメータはランダムに初期化されているため、少なくとも1度は学習モードで割付けルールを学習する必要がある。また、強化学習部5−1では、特定のオーダのリストを指定して学習を行うことも可能である。これにより、スケジュールを立案したいオーダのリストに特化して学習できるため、より評価値の高いスケジュールの立案が可能となる。

0061

モード選択処理S2−2においてスケジュール立案モードが選択された場合には、ステップS2−4に進み、スケジュール立案部5−3を用いて、オーダテーブル1−2−1(表6)で指定したオーダを生産するスケジュールを立案する。
そして、処理を終了する(ステップS2−5)。

0062

(強化学習処理)
図3は、強化学習部5−1における処理の流れを示すフローチャート図である。
強化学習部5−1では、スケジュールの立案を繰り返し行い、スケジュールの立案結果と評価値を基に、現場的観点と経営的観点の両方を満足させるような割付けルールを学習する。

0063

本実施の形態では、行動価値ベースの手法であるQ学習を用いた例について説明する。尚、Q学習は、各スケジュールにおける各割付け(行動)の価値に基づいて割付けを選択する行動価値ベースの手法である。行動価値ベースの手法では、スケジュールの評価値を改善するように割付けの価値を更新するため、割付けの価値の更新が割付けルールの学習に相当する。

0064

ここで、強化学習の手法には、Q学習の拡張手法である、経験反復、固定教師Qニューラルネットワーク、ダブルQ学習、マルチステップ学習などを適用しても良い。また、別の行動価値ベースの手法であるモンテカルロ法SARSAなど、方策ベースの手法であるPolicy Gradientなど、デュアルネットワークモンテカルロ木探索を用いた手法であるAlpha Zeroなど、を用いても良い。

0065

図3において、処理が開始され(ステップS3−1)、ステップS3−2では、ステップS3−2からステップS3−18までの処理を、強化学習設定テーブル1−3(表11)において設定されている学習回数だけ繰り返す。
ステップS3−3では、さまざまなオーダに対して評価値の高いスケジュールを立案できる割付けルールを学習するために、スケジューリング対象となる表6のオーダだけではなく、繰り返しごとに異なるオーダのリストを作成する。表1の品目テーブルを参考に、計画担当者が品目を指定したり、ランダムに選択したり、過去のオーダの履歴を元に自動で選択したりすることができる。

0066

ステップS3−4では、ステップS3−2以降で繰り返すスケジュールの立案において使用する、ロットのリストと作業のリストを、ステップS3−3で作成したオーダのリストから展開することで作成する。
ステップS3−5では、ステップS3−3で作成したオーダに対するスケジュールの評価値の改善を行うために、ステップS3−5からS3−17までの処理を、強化学習設定テーブル1−3(表11)で指定されたエピソード回数だけ繰り返す。ここで、エピソードとは、スケジュールを1回作る繰り返しの単位である。エピソード回数は、固定の値ではなく、割付け選択部5−2の学習の度合いによって変更しても良い。例えば、直近100回のエピソードでスケジュールの評価値の改善が無いなど、学習が十分になされたと判断される場合に、そのオーダのリストでの学習を打ち切っても良い。

0067

ステップS3−6では、空のスケジュールを作成する。
ステップS3−7では、上記のスケジュールが未完成である場合に、ステップS3−7からS3−16までの処理を繰り返す。ここで、スケジュールが未完成であるとは、未割付けの作業が存在することを意味する。

0068

ステップS3−8では、割付けの候補のリストを作成する。ここで、割付けとは、スケジュールテーブル1−2−5(表10)の構成要素に相当する、作業、設備、開始時刻、終了時刻である。この際に、制約を満たさない割付けを削除しても良い。制約を満たさない割付けを削除する場合、GCNに学習させるべき情報が減少するため、学習の精度向上が期待できる。

0069

一方、制約を満たさない割付けを削除しない場合、後述するスケジュール評価部5−4において、制約を満たさない割付けに対して負の大きな報酬を与えることによって、人手によるカスタマイズ無しに、GCNに制約を満たさない割付けを学習させることができる。

0070

ステップS3−9では、例えば0から1までの範囲の乱数を生成し、その値に応じて異なる処理を行う。
ステップS3−9の乱数が強化学習設定テーブル1−3(表11)の探索係数以下である場合は、ステップS3−10において、割付けの候補からランダムに割付けを選択する。ステップS3−11に示す学習結果に基づいた割付けの選択だけでは、同じ仕掛りスケジュールに対して、毎回同じ割付けを選択してしまい、同じ評価値のスケジュールしか立案できない。従って、スケジュールの評価値の改善が起こらない。これに対して、ランダムな割付けも行うことにより、スケジュールの探索の幅を広め、評価値の高い新しいスケジュールの発見を期待することができる。

0071

ステップS3−9の乱数が強化学習設定テーブル1−3(表11)の探索係数より大きい場合、ステップS3−11において、割付け選択部5−2が、割付けを選択する。ステップS3−10に示すランダムな割付けの選択だけでは、評価値の低いスケジュールを立案する割合が多くなってしまい、探索が非効率になる。学習結果に基づいた価値の高い割付けを行うことにより、スケジュールの探索を評価値の高いスケジュールに絞ることができ、探索の効率化を期待できる。

0072

尚、上記の探索係数は、固定の値ではなく、学習回数やエピソード回数によって変更しても良い。例えば、エピソード1から100にかけて、探索係数を1.0から0.1に線形に減少させても良い。適切に探索係数の値を設定することで、学習の前半はランダムな割付けによって様々な評価値のスケジュールを立案し、割付けの価値を広く学習し、学習の後半は学習結果に基づいた価値の高い割付けによって、評価値の高いスケジュールに絞って割付けの価値を学習することができる。

0073

ステップS3−12では、スケジュール評価部5−4が、現在のスケジュールsと選択した割付けaに対する報酬r(s, a)を取得する。

0074

ステップS3−13では、GCNのパラメータの更新に用いる、教師データQT(s,a)を作成する。Q学習では、現在のスケジュールsと選択した割付けaの価値Q(s,a)、報酬r(s,a)、割付け後のスケジュールs’とスケジュールs’での割付けの候補a’の価値Q(s’,a’)に対して、式(3−1)を用いて、ベルマン方程式を満たす行動価値Q*(s,a)を計算し、式(3−2)を用いて、教師データQT(s,a)を作成する。ここで、αRLは強化学習設定テーブル1−3(表11)で指定する強化学習の学習率である。

0075

[数1]
Q*(s, a) = r(s, a) + γ max a’ { Q(s, a’) } 式(3−1)
QT(s, a) = αRL Q(s, a) + (1-αRL) Q*(s, a) 式(3−2)

0076

ステップS3−14では、式(3−3)に示すQ(s,a)とQT(s,a)の二乗誤差Lに対する、GCNの各パラメータAの勾配dL/dAを、誤差伝播法を用いて計算し、勾配降下法の更新式(3−4)を用いて、二乗誤差Lを減少させるようにGCNのパラメータを更新する。ここで、αGCNは強化学習設定テーブル1−3(表11)で指定するGCN学習率である。勾配降下法には、SGD、RSMprop、Adamなどを用いても良い。

0077

[数2]
L = ( Q(s, a) - QT(s, a) )2 式(3−3)
A ← A -αGCN dL/dA 式(3−4)

0078

割付けの価値がベルマン方程式を満たしている場合、最も価値の高い割付けを選択することが、評価値を最大化する最適な割付けであることが知られている。したがって、二乗誤差Lを小さくすることで、最適な割付けルールに近づいていく。
ステップS3−15では、現在のスケジュールを、割付け後のスケジュールに更新する。
そして、処理を終了する(ステップS3−19)。

0079

(割付け選択処理)
図4は、割付け選択部5−2における処理の流れを示すフローチャート図である。ステップS4−1で処理を開始し、ステップS4−2において、作業の割付け状況などの数値化できないスケジュールの情報をDNNに入力するため、グラフ変換処理U4−1を用いて、入力するスケジュールの情報をグラフに変換する。

0080

ステップS4−3では、例えば、グラフ畳み込みニューラルネットワーク処理(GCN処理)U4−2を用いて、ステップS4−2で変換したスケジュールの情報のグラフをグラフ畳み込みニューラルネットワーク入力し、割付け(作業と設備のペアの割付け)に対する価値を計算する。GCNを用いることで、入力されたグラフの属性情報や隣接関係からスケジュールの詳細情報や全体情報を示す特徴量を抽出することができる。したがって、現場的観点と経営的観点の両方を考慮して割付けの価値を推定できる。

0081

ここで、ステップS4−3の割付けの価値の計算には、GCNに代えて、例えば人手で設計した特徴量を入力とする深層ニューラルネットワークや、グラフカーネルなどの手法を用いても良い。 ステップS4−4で、ステップS4−3の割付け価値の計算の結果、最も価値の高い作業と設備のペアに対して、最も早く割付けが可能な開始時刻と終了時刻を計算し、割付け(作業、設備、開始時刻、終了時刻)を出力する。ステップS4−5で処理を終了する。

0082

図5は、スケジュールグラフ処理の一例を示す図である。以下では、図5の左図に示すガントチャートでのスケジュールにおける割付けの選択の例を示す。ここで、実線で囲まれた作業は割付け済みの作業であり、設備1に作業1(9:00〜10:00)→作業2(10:00〜11:00)→作業3(11:00〜12:00)の順で割付けられ、設備2に作業5(11:00〜12:00)が割付けられている。その他の作業は未割付けである。点線で囲まれた作業は、このスケジュールにおける可能な割付けの候補である。表5の生産可能設備より、作業4は設備1(12:00〜13:00)又は設備2(12:00〜13:00)に割付け可能であり、作業6は設備2(12:00〜13:00)又は設備3(12:00〜13:00)に割付け可能である。

0083

(グラフ変換処理)
図6は、入力されたスケジュールに対するグラフ変換処理U4−1の流れを示すフローチャート図である。ステップS5−1で処理を開始する。
ステップS5−2では、グラフの頂点を生成する。本実施の形態では、図3のステップS3−4、または,図10のステップ7−3で作成した10個の作業頂点(opr)、工程テーブル1−1−3(表3)に示す8個の工程頂点(prc)、設備テーブル1−1−4(表4)に示す3個の設備頂点(rsc)を生成する。

0084

ステップS5−3では、各頂点の属性値を定義する。本実施の形態では、作業頂点には(開始時刻、終了時刻)の2属性、工程頂点には工程テーブル1−1−3(表3)に示す(処理時間)の1属性、設備頂点には設備テーブル1−1−4(表4)に示す(処理効率)の1属性を定義する。ただし、未割付けの作業頂点の開始時刻と終了時刻は、スケジュールの起点となる時刻(例えば2019/4/1 9:00)を設定する。

0085

ステップS5−4では、頂点間に辺を定義する。本実施の形態では、作業頂点から割付けられた同じ設備で次に処理される作業頂点に向けて前後作業辺、作業頂点からその元となる工程頂点に向けて作業工程辺、作業頂点からその作業を割付けた設備頂点に向けて割付け設備辺、工程頂点から次に処理される工程頂点に向けて工程順序辺(品目関係テーブル1−1−2(表2)、工程テーブル1−1−3(表3)を参照)、工程からその工程を処理可能な設備に向けて生産可能設備辺(生産可能設備テーブル1−1−4(表5)を参照)、をそれぞれ張る。

0086

図5左図に示すスケジュールをグラフ化した図を図5右図に示す。尚、説明のため、以下に説明する辺を実線の矢印で示している。例えば、作業9の工程は工程7であり、設備2と設備3で処理することができる。また、工程7は工程4と工程6が前工程であり、工程8が後工程である。作業は、設備2に作業5、設備1に作業1→作業2→作業3の順で割付けられており、他の作業は未割付けである。
このように、図5の左図のスケジュールを図5の右図のグラフに変換することができる。

0087

尚、本実施の形態では、上記のようにグラフの構成を限定しているが、スケジュールの状況をより詳しく反映するために、構成要素を追加しても良い。例えば、工程間に段取り時間が発生する場合には、工程間に段取り辺を張り、段取り時間を段取り辺の属性値に定義しても良い。

0088

本実施の形態によれば、スケジュールをグラフ変換したグラフ構造を用いることで、作業の開始時間や終了時間などの数値化できる詳細情報は頂点の属性値として表現することができ、割付け設備や作業順序などの数値化できない詳細情報は有向辺として表現することができる。

0089

(グラフ畳み込みニューラルネットワーク処理)
図7は、グラフ畳み込みニューラルネットワーク処理U4−2の処理の流れを示すフローチャート図である。ステップS6−1において処理を開始する。
ステップS6−2(入力層処理U6−1)では、各頂点iの属性ベクトルを、GCN設定テーブル1−5(表12)で設定するd次元のベクトルに整形する。これを特徴ベクトルと呼ぶ。すべての頂点の属性ベクトルを固定の次元dに整形することにより、異なる種類の頂点間の特徴量の畳み込みが可能になる。

0090

ステップS6−4(畳み込み層処理U6−2)では、グラフの隣接関係に従って、隣接頂点の情報を、各頂点の属性ベクトルに畳み込む。この処理S6−4を、GCN設定テーブル1−5(表12)で指定する畳み込み層数Ncnvだけ繰り返す(S6−3〜S6−5)。畳み込み層処理により、グラフの属性情報と隣接情報から、スケジュールの詳細情報と全体情報を含む特徴量を抽出することができる。
ステップS6−6(出力層処理U6−3)では、割付けが可能な作業と設備のペアに対してその価値を計算する。作業と設備の特徴量にはスケジュールの詳細情報と全体情報が含まれているため、現場的観点と経営的観点と考慮して割付けの価値を推定できる。ステップS6−7で処理を終了する。

0091

尚、後述するGCNの各パラメータは、GCNパラメータテーブル1−4(表13)から取得する。初めて処理を実行する場合には、各パラメータを−1〜+1の範囲の一様乱数で初期化する。初期化には、正規乱数などを用いても良い。
以下に、図7で説明したグラフ畳み込みニューラルネットワーク処理の詳細について説明する。

0092

(入力層処理U6−1)
まず、入力層処理U6−1について説明する。
入力層では、頂点iの種類NT(i)ごとに異なるパラメータ、2×d行列A(in,opr)、1×d行列A(in,prc)、1×d行列A(in,rsc)、1×d行ベクトルb(in,opr)、1×d行ベクトルb(in,prc)、1×d行ベクトルb(in,rsc)を用いて、作業の2次元属性ベクトル、工程の1次元属性ベクトル、設備の1次元属性ベクトルx(i)を、式(6−1)でアフィン変換し、次元dの特徴ベクトルh(i,0)に整形する。

0093

[数3]
h(i, 0) = x(i) A(in,NT(i)) + b(in, NT(i)) 式(6−1)

0094

(畳み込み層処理U6−2)
図8は、工程2を中心頂点とした場合の畳み込み層処理の概要図である。
畳み込み層では、式(6−1)で計算した頂点iの特徴ベクトルh(i,0)から開始し、メッセージ関数アップデート関数を用いて、h(i,t−1)に隣接頂点jの特徴ベクトルh(j,t−1)を畳み込み、頂点i(この頂点を「中心頂点」と称する)の次の特徴ベクトルh(i,t)を計算する。

0095

メッセージ関数では、中心頂点iのすべての隣接頂点jに対して、接続する有向辺eの種類ET(e)と中心頂点iへの出入りの種類(in,out)ごとに異なるパラメータ、d×d行列A(cnv,ET(e),in)、d×d行列A(cnv,ET(e),out)、と、中心頂点iの種類NT(i)ごとに異なるパラメータ、1×d行ベクトルb(cnv,NT(i))、を用いて、隣接頂点jの特徴ベクトルh(j,t−1)をそれぞれ式(6−2)でアフィン変換する。計算したベクトルをメッセージベクトル、1×d行ベクトルm(i,t)、と呼ぶ。

0096

[数4]
m(i, t) = Σe : i→j h(j, t - 1) A(cnv, ET(e), out) + Σe : j→i h(j, t - 1) A(cnv, ET(e), in)+ b(cnv,NT(i))(式(6−2))

0097

アップデート関数では、中心頂点iの種類NT(i)ごとに異なるパラメータ、d×d行列A(cnt,NT(i))、d×d行列A(msg,NT(i))、1×d行ベクトルb(upd,NT(i))、を用いて、式(6−3)で中心頂点iの特徴ベクトルh(i,t−1)とメッセージベクトルm(i,t−1)をアフィン変換し、式(6−4)のLReLU関数(Leaky Rectified Linear Unit)で活性化する。なお、LReLU関数はスカラに対して式(6−5)で定義され、ベクトルに対しては式(6−5)を各成分に適応する。

0098

[数5]
h’(i, t) = h(i, t - 1) A(cnt,NT(i)) + m(i, t - 1) A(msg, NT(i)) + b(upd, NT(i)) (式6−3)
h(i, t) = LReLU(h’(i, t)) (式(6−4)
LReLU(x) = (x ≧ 0 の場合):x(x < 0 の場合):0.01 x (式(6−5)

0099

本実施の形態では、畳み込み層t(図では、1)から3))ごとに同一のパラメータを用いるが、異なるパラメータを用いても良い。
図8に示すように、工程2は、左図のように作業2/4、工程1/3/5、設備1/2と隣接しており、それら頂点の特徴量を中心頂点の特徴量に畳み込む。これにより、有向辺で表現した、スケジュールの数値化できない詳細情報を特徴量に反映することができる。

0100

さらに、中心頂点2の隣接頂点は、前の畳み込み層処理において、さらにその隣接頂点の特徴量が畳み込まれているため、畳み込み層処理を繰り返すにつれて、中心頂点2に隣接していない遠くの頂点の特徴量も中心頂点に反映される(畳み込み層1)→畳み込み層2)→畳み込み層3))。したがって、各頂点の特徴量にスケジュールの全体情報を反映させることができる。

0101

(出力層処理U6−3)
図9は、出力層処理の概要図である。
出力層では、割付可能な作業頂点iと設備頂点jのすべての組に対して、それらの特徴ベクトルh(i,Ncnv)とh(j,Ncnv)に、式(6−6)でアフィン変換と、式(6−7)でLReLU関数を適用する。式(6−8),(6−9)の処理は、GCN設定テーブル1−5(表12)で指定する全結合層数Noutだけ繰り繰り返す。最後に、式(6−10)でアフィン変換を行い、スカラに整形する。ここで、パラメータは、d×d行列A(out,opr)、d×d行列A(out,rsc)、1×d行ベクトルb(out)、1×d行ベクトルb(fc,t)、d×1行列A(rsh)、1×1行ベクトルb(rsh)、である。また、式(6−8)のアフィン変換は、各層tで異なるパラメータA(fc,t)とb(fc,t)を用いる。

0102

[数6]
Q’(i, j, 0) = h(i, Ncnv) A(out, opr) + h(j, Ncnv) A(out, rsc) + b(out) 式(6−6)
q(i, j, 0) = LReLU(q’(i, j, 0)) 式(6−7)
q’(i, j, t) = q(i, j, t - 1) A(fc, t) + b(fc, t) 式(6−8)
q(i, j, t) = LReLU(q’(i, j, t)) 式(6−9)
q(i, j) = q(i, j, Nout) A(rsh) + b(rsh) 式(6−10)

0103

本実施の形態では、GCN処理U4−2を上記のように限定して説明したが、割付けの価値の推定精度を向上させるために、処理を変更しても良い。例えば、アップデート関数にGRU(Gated Recurrent Unit)を用いても良い。

0104

図9のスケジュールでは、作業4は設備1又は2、作業6は設備2又は3に割付け可能であるため、作業と設備の各ペアに対して、出力層処理を行う。
その結果、各割付けの価値は、作業4を設備1に割付けた場合に価値2、作業4を設備2に割付けた場合に価値7、作業6を設備2に割付けた場合に価値10、作業6を設備3に割付けた場合に価値5であり、最も価値の高い作業6の設備2への割付けを選択することができる。

0105

本実施の形態によれば、出力層処理では、数値化できる詳細情報だけでなく、数値化できない詳細情報や全体情報も反映された特徴量を用いるため、現場的観点と経営的観点の両方を考慮して割付けの価値を推定することができる。

0106

(スケジュール評価部)
スケジュール評価部5−4では、入力となるスケジュールと割付けに対する報酬(価値)を出力する。強化学習部5−1では、スケジュールの完成までの報酬の合計を改善するように割付けの価値を更新するため、報酬は現場的観点と経営的観点の両方を考慮して設計する必要がある。

0107

例えば、現場的観点として、工程順序を遵守していることや、設備の同じ時間に作業が重複していることなどの、制約を満たしていない割付けを選択した場合に、負の大きな値(例えば−1,000)、同じ工程の作業を同じ設備で連続して処理していることや、染色工程の作業で色の濃い品目の前に色の薄い品目を割り当てることなどの、望ましい割付けを選択した場合には、正の値(例えば+10)、を報酬の値とするように定義してもよい。

0108

また、経営的観点として、スケジュールが完成する割付けの場合に、すべての作業の開始から終了までの期間であるメイクスパンや、納期の遵守率などの値を定義してもよい。
報酬の値を人手によって定義するのではなく、過去のスケジュールの実績データを基に、逆強化学習などの手法を用いることで、自動的に定義するようにしてもよい。

0109

(スケジュール立案部)
図10は、スケジュール立案部5−3の処理の流れを示すフローチャート図である。スケジュール立案部5−3では、強化学習部5−1で学習した割付けの価値を用いて、ユーザに指定されたオーダに対するスケジュールを立案する。処理が開始され(ステップS7−1)、ステップS7−2では、入力装置2を用いて、オーダテーブル1−2−1(表6)からオーダのリストを取得する。本実施の形態では、例えば、オーダ1で100個の製品4を2019/4/1 18:00までに生産することが指定されている。

0110

ステップS7−3では、オーダのリストから、ロットのリスト、作業のリストを作成する。ロットと作業の情報は、出力装置3を用いて出力され、ロットテーブル1−2−2(表7)、ロット関係テーブル1−2−3(表8)、作業テーブル1−2−4(表9)に格納される。
ステップS7−4においては、空のスケジュールを作成する。特急注文の場合には、既に立案済みのスケジュールをスケジュールテーブル1−2−5(表10)で指定することができる。

0111

ステップS7−5では、スケジュールが未完成の場合、ステップS7−5からS7−8までの処理を繰り返す。
ステップS7−6では、強化学習部5−1で学習した割付け選択部5−2を用いて、割付けを選択する。

0112

ステップS7−7では、現在のスケジュールを、選択した割付け後のスケジュールに更新する。
ステップS7−9では、出力装置3を用いて出力し、完成したスケジュールをスケジュールテーブル1−2−5(表10)に格納する。ステップS7−10で処理を終了する。

0113

以上に説明したように、本実施の形態では、スケジュールの全体情報と詳細情報を同時に表現できる方法として、作業や設備を頂点、それらの関係性を有向辺で定義した有向グラフを採用し、グラフ畳み込みニューラルネットワーク(GCN)を用いることで、頂点や有向辺の属性情報や隣接関係からスケジュールの全体情報と詳細情報の両方を含む特徴量を抽出することが可能である。
抽出した特徴量をDNNに入力することで、強化学習の枠組みで経営的観点と現場的観点の両方を考慮して定義された評価値を改善させる割付け価値を推定できるようになる。そして、スケジュールの特徴量を抽出する新たな仕組みを利用した強化学習の適用を通して、評価値の高いスケジュールを立案することができる。

0114

(付記)
本発明は以下の開示を含む。
(1)
製造現場ごとの制約を満たすかを評価する現場的観点と、製造KPIの改善を評価する経営的観点の、両方を満足させるスケジュールを立案する生産計画作成装置であって、
強化学習を用いた作業割付け価値の学習を行う強化学習部と、前記強化学習部において学習した前記作業割付け価値に基づきオーダの作業を設備に割付けるスケジュール立案部と、を有し、
前記強化学習部は、
空のスケジュールを開始状態として、スケジュールをグラフに変換するグラフ変換部(1)と、
グラフ畳み込みにより前記スケジュールの全体情報と詳細情報を含む特徴量を抽出する特徴量抽出部(2)と、
前記特徴量抽出部が抽出した特徴量をDNNに入力して作業の割付け価値を推定する割付け価値推定部(3)と、
前記割付け価値推定部により推定された推定価値に基づき最も 価値の高い作業を1つ割付けてスケジュールを更新するスケジュール更新部(4)と、
前記スケジュール更新部において更新された前記スケジュールの評価値から割付け価値を出力するDNNのパラメータを更新するDNNパラメータ更新部(5)と、を有し、
前記DNNパラメータ更新部において更新された前記スケジュールを次の開始状態として処理をことによって前記全体情報と前記詳細情報の両観点の評価値を改善するような割付け価値を学習する
生産計画作成装置。

0115

上記の発明は、図1Bの機能ブロック図において、主記憶装置に、学習部と立案部とが設けられている構成を特定している。
学習部には、以下の構成が設けられている。上記付記に記載の発明(1)の記載における構成要件に付された符号は、以下の構成に対応し、上記の機能を有している。
1)有向グラフ変換部
2)特徴量抽出部
3)割付け価値推定部
4)スケジュール更新部
5)DNNパラメータ更新部

0116

本明細書において、処理および制御は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)によるソフトウェア処理ASIC(Application Specific IntegratedCircuit)やFPGA(Field Programmable Gate Array)によるハードウェア処理によって実現することができる。

0117

また、上記の実施の形態において、図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

0118

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。

0119

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

0120

本発明は、生産計画作成装置に利用可能である。

0121

A生産計画作成装置
1補助記憶装置
2入力装置
3出力装置
4中央演算装置(CPU)
5主記憶装置(生産計画作成演算装置)
5−1強化学習部
5−2割付け選択部
5−3スケジュール立案部
5−4 スケジュール評価部

ページトップへ

この技術を出願した法人

この技術を発明した人物

ページトップへ

関連する挑戦したい社会課題

関連する公募課題

該当するデータがありません

ページトップへ

技術視点だけで見ていませんか?

この技術の活用可能性がある分野

分野別動向を把握したい方- 事業化視点で見る -

ページトップへ

おススメ サービス

おススメ astavisionコンテンツ

新着 最近 公開された関連が強い技術

この 技術と関連性が強い技術

関連性が強い 技術一覧

この 技術と関連性が強い人物

関連性が強い人物一覧

この 技術と関連する社会課題

関連する挑戦したい社会課題一覧

この 技術と関連する公募課題

該当するデータがありません

astavision 新着記事

サイト情報について

本サービスは、国が公開している情報(公開特許公報、特許整理標準化データ等)を元に構成されています。出典元のデータには一部間違いやノイズがあり、情報の正確さについては保証致しかねます。また一時的に、各データの収録範囲や更新周期によって、一部の情報が正しく表示されないことがございます。当サイトの情報を元にした諸問題、不利益等について当方は何ら責任を負いかねることを予めご承知おきのほど宜しくお願い申し上げます。

主たる情報の出典

特許情報…特許整理標準化データ(XML編)、公開特許公報、特許公報、審決公報、Patent Map Guidance System データ