判定工件合格與否的加工機械系統的制作方法

本發明涉及一種判定工件合格與否的加工機械系統。

背景技術：

在制造工廠中，通過機床、注射成型機、或者電弧焊接等機器人這樣的加工機械，進行工件的加工或焊接等作業。另外，為了加工工件，通過多個加工機械構筑生產線，例如構筑制造單元。此時，經由通信網絡通過單元控制器來控制構筑制造單元的各機床。還通過上位的主控制器來管理單元控制器。

在這樣的加工機械系統中，通過對全部工件進行檢查或抽樣檢查來進行通過加工機械加工后的工件的合格與否判定。

例如像日本特開2006-146459號公報所記載的那樣，已知在半導體裝置的制造系統中，根據裝置日志信息的履歷數據制作多個異常判定閾值，并進行晶圓加工處理的異常判定。

此外，例如像日本特開2002-341909號公報所記載的那樣，已知一種在工件加工裝置中，對于作業工程設定抽樣部位，根據該每個部位的信號的標準偏差來監視作業工程有無異常的方法。

此外，例如像日本特開2010-76177號公報所記載的那樣，已知一種合格與否判定裝置，其測量對注射成型機的成型品品質造成影響的壓力、速度、時間等物理量，并設定上限值以及下限值來進行成型品的合格與否判定。

如果能夠針對全部數量的工件進行通過加工機械加工后的工件的合格與否判定則檢查精度高，但是會花費很多工時，并且效率差。另一方面，如果不進行全部數量的檢查而進行抽樣檢查，則能夠削減合格與否判定對象的工件個數，但是可能會漏過不良品。

技術實現要素：

本發明的目的在于鑒于上述問題，提供一種能夠削減精度檢查對象的工件個數，同時防止漏過不良品的加工機械系統。

為了實現上述目的，加工機械系統具備：加工機械，其通過至少一個電動機驅動軸來加工工件；數值控制裝置，其基于加工程序生成用于驅動加工機械的軸的指令；內部信息取得部，其取得數值控制裝置的內部信息；臨時判定部，其基于通過內部信息取得部取得的內部信息與閾值的比較結果來判定加工機械加工后的工件的合格與否；最終判定部，其針對至少包含了由臨時判定部進行了合格與否判定的工件的精度檢查對象的工件，基于與該工件的精度相關的實測結果來判定合格與否；以及閾值更新部，其基于臨時判定部的判定結果以及最終判定部的判定結果來更新在臨時判定部的判定處理中使用的閾值。

在此，加工機械系統可以還具備測定器，該測定器實際測定加工機械加工后的工件的至少關于加工形狀或加工面的精度。

另外，加工機械系統還可以具備：通信網絡，其將各組由加工機械和與該加工機械對應地設置的數值控制裝置構成的多組制造單元與至少一個測定器之間可相互通信地連接；以及單元控制器，其與通信網絡可通信地連接，控制各個制造單元的動作，將內部信息取得部、臨時判定部、最終判定部以及閾值更新部設置在單元控制器內。

另外，加工機械系統還可以具備主控制器，該主控制器與多個單元控制器可通信地連接，記錄并管理在各個單元控制器中取得的與臨時判定部的判定結果相關的信息、在各個單元控制器中取得的與最終判定部的判定結果相關的信息、以及由測定器取得的與加工機械加工后的工件的精度相關的實測結果。

另外，閾值更新部可以在通過臨時判定部判定為合格且對于精度檢查對象的全部工件通過最終判定部判定為合格的情況下，將已經設定的閾值乘以小于1且大于0的第一系數而得到的值設定為新的閾值，在通過臨時判定部判定為合格且在精度檢查對象的工件中包含通過最終判定部判定為不合格的工件的情況下，將已經設定的閾值乘以小于第一系數且大于0的第二系數而得到的值設定為新的閾值，在通過臨時判定部判定為不合格且在精度檢查對象的工件中包含通過最終判定部判定為合格的工件的情況下，將已經設定的閾值乘以大于1的第三系數而得到的值設定為新的閾值，在通過臨時判定部判定為不合格且對于精度檢查對象的全部工件通過最終判定部判定為不合格的情況下，維持已經設定的閾值。

加工機械可以是通過電動機驅動旋轉軸以及直線軸來加工工件的機械，內部信息可以包含與位置偏差有關的信息，該位置偏差為針對直線軸的位置指令與關于直線軸的測定位置之間的差。

加工機械可以是通過電動機驅動多個旋轉軸以及多個直線軸來加工工件的機械，內部信息可以包含與關于工具的位置偏差相關的信息，該關于工具的位置偏差是針對在旋轉軸以及直線軸上設置的工具的基于加工程序的位置指令與關于工具的位置的測定位置之間的差。

另外，可以針對加工機械加工的工件的每個加工對象區域設置在臨時判定部的判定處理中使用的閾值。

另外，內部信息可以包含對高頻成分進行二階積分而得到的數據，該高頻成分是使數值控制裝置生成的具有加速度因次的指令經過高通濾波器而抽出的高頻成分。

另外，內部信息也可以包含通過由安裝在加工機械上的傳感器取得的信息和加工位置或加工時刻聯系起來的數據。

另外，加工機械系統還可以具備機器學習器，該機器學習器具有：狀態觀測部，其觀測狀態變量，該狀態變量包含如下信息而構成：通過內部信息取得部取得的內部信息、與加工機械加工后的工件的精度相關的實測結果、與臨時判定部的判定結果相關的信息、以及與最終判定部的判定結果相關的信息；以及學習部，其按照基于狀態變量生成的訓練數據集來學習內部信息取得部應取得的內部信息。

在此，作為狀態觀測部觀測的狀態變量，還可以包含通過閾值更新部設定的閾值以及加工程序。

另外，加工機械系統還可以具備意圖決定部，該意圖決定部基于學習部按照訓練數據集進行學習的結果，對當前的狀態變量的輸入進行響應來決定內部信息取得部應取得的內部信息。

另外，學習部可以具備回報計算部，其基于與臨時判定部的判定結果相關的信息以及與最終判定部的判定結果相關的信息來計算回報；以及函數更新部，其基于狀態變量以及回報來更新用于選擇內部信息取得部應取得的內部信息的函數。

另外，回報計算部可以在通過臨時判定部判定為合格且對于精度檢查對象的全部工件通過最終判定部判定為合格的情況、以及通過臨時判定部判定為不合格且對于精度檢查對象的全部工件通過最終判定部判定為不合格的情況下，增加回報，在通過臨時判定部判定為合格且在精度檢查對象的工件中包含通過最終判定部判定為不合格的工件的情況、以及通過臨時判定部判定為不合格且在精度檢查對象的工件中包含通過最終判定部判定為合格的工件的情況下，減少回報。

附圖說明

通過參照以下的附圖，能夠更加明確地理解本發明。

圖1是第一實施方式的加工機械系統的原理框圖。

圖2是表示數值控制裝置內的軸控制部以及與數值控制裝置相連接的加工機械的結構的框圖。

圖3是表示第一實施方式的加工機械系統的動作流程的流程圖。

圖4是表示圖3所示的臨時判定部的判定處理、最終判定部的判定處理、以及閾值更新部的閾值更新處理的動作流程的流程圖。

圖5是第二實施方式的加工機械系統的原理框圖。

圖6是第三實施方式的加工機械系統的原理框圖(其1)。

圖7是第三實施方式的加工機械系統的原理框圖(其2)。

圖8是第四實施方式的加工機械系統的原理框圖。

圖9是表示第四實施方式的具備應用了強化學習的機器學習器的加工機械系統的機器學習的動作流程的流程圖。

圖10是表示神經元模型的示意圖。

具體實施方式

以下，參照附圖對判定工件合格與否的加工機械系統進行說明。然而，本發明并不限于附圖或以下說明的實施方式。

圖1是第一實施方式的加工機械系統的原理框圖。另外，圖2是表示數值控制裝置內的軸控制部以及與數值控制裝置相連接的加工機械的結構的框圖。以下，在不同的附圖中賦予了相同參照符號意味著是具有相同功能的結構要素。為了容易理解，這些附圖適當變更了比例尺。另外，附圖所示的方式是用于實施本發明的一個例子，但是本發明并不限于圖示的方式。

第一實施方式的加工機械系統1具備加工機械11、數值控制裝置12、內部信息取得部13、臨時判定部14、最終判定部15、閾值更新部16。另外，加工機械系統1還具備測定器17，該測定器17實際測定加工機械11加工后的工件的至少加工形狀或加工面的精度。在本實施方式中，在臨時判定部14中基于數值控制裝置12的內部信息與通過閾值更新部16設定的閾值之間的比較結果來暫時進行由加工機械11加工后的工件的合格與否判定，并且在最終判定部15中針對至少包含通過臨時判定部14判定為不合格的工件的精度檢查對象的工件，基于與該工件的精度相關的實測結果進行最終的合格與否判定，由此能夠在削減精度檢查對象的工件個數的同時防止漏過不良品。

加工機械11通過電動機21驅動軸(驅動體)22來加工工件。作為加工機械11的例子，具有nc機床、注射成型機、電弧焊接等工業機器人、plc、輸送機、測量器、實驗裝置、沖壓機、壓入器、打印機、壓鑄機、食品機械、包裝機、焊接機、清洗機、涂裝機、組裝裝置、安裝機、木工機械、密封裝置、或切割機等，但是對于加工機械11自身的種類，并不特別地限于本發明。

在加工機械11中至少設置了1個根據用途安裝了工具或工件等的軸(驅動體)。例如，在加工機械11為車床時組合設置了直線軸以及旋轉軸，在加工機械為加工中心時作為軸22以組合的形式設置了多個直線軸以及多個旋轉軸。此外，在圖示的例子中，作為一個例子使軸22為3個，但是對于軸22自身的個數并不限于本發明。一般對應于一個軸22，設置了1個電動機21以及1個放大器23。

作為安裝了工具或工件等的軸(驅動體)22的驅動源使用加工機械11內的電動機21，根據電動機21與軸22之間的動力傳遞機構來直線驅動或旋轉驅動軸22。此外，電動機21的種類和結構并不限于本發明，可以是感應電動機或同步電動機這樣的交流電動機，或者也可以是直流電動機。通過放大器23供給電動機21的驅動電力。

加工機械11內的放大器23是基于由后述的數值控制裝置12生成的指令來生成驅動電力的電流放大器，該驅動電力用于向電動機21供給驅動電力，例如，放大器23通過由半導體開關元件的全橋電路組成的逆變器而構成。根據由數值控制裝置12內的軸控制部24生成的開關指令，對放大器23內的開關元件進行接通斷開驅動，由此放大器23將直流電力變換為期望的交流電力后向電動機21進行供給。放大器23的種類和結構并不特別地限于本發明。

在加工機械11中設置了傳感器25，該傳感器25用于取得電動機21的速度、包含電動機21在內的加工機械11的各部位的溫度、軸22的位置、或者由加工機械11產生的振動、噪音、濕氣或影像信息等各種傳感器信息。作為傳感器25的例子，具有用于檢測電動機21速度的速度檢測器25-1、用于檢測包含電動機21在內的加工機械11的各部位的溫度的溫度檢測器(未圖示)、用于檢測軸22位置的位置檢測器25-2、用于檢測振動的振動傳感器(未圖示)、用于檢測噪音的聲音傳感器(未圖示)、用于檢測濕氣的濕度傳感器(未圖示)、用于檢測影像的ccd照相機(未圖示)等。

測定器17實際測定加工機械11加工后的工件的至少加工形狀或加工面的精度。測定器17的種類和結構并不特別地限于本發明，例如通過光學或電子的方法來實際測定工件的加工形狀或加工面的精度。將測定器17的實測結果發送給最終判定部15。

數值控制裝置12具有軸控制部24，其基于預定的加工程序生成用于驅動加工機械11的軸22的指令。對應于加工機械11的放大器23設置軸控制部24。在圖2中，表示了軸控制部24為1個的情況，但是在加工機械11內的軸22為多個時，設置與該個數相對應的軸控制部24。加工程序是把用于加工機械11進行預定作業的命令處理進行編程后的信息。例如，在多關節機器人的情況下，在加工程序中包含用于使手臂部移動到作業位置的動作命令、向外部通知任意信號的命令、讀取任意信號的狀態的命令等信息。另外，在加工程序中還包含作業位置的位置信息、進行操作的信號的編號。當然，只要是能夠在程序上登記的命令則可以是任何的命令。即，本發明并不限于在此舉例說明的編程信息。

軸控制部24具備位置控制部31、速度控制部32以及電流控制部33。位置控制部31基于位置指令與通過位置檢測器25-2測定到的軸22的測定位置即位置反饋值之間的差即位置偏差來生成速度指令，該位置指令是從上述控制裝置(例如后述的單元控制器19或主控制器100等)接收到的基于加工程序的位置指令。速度控制部32基于從位置控制部31接收到的速度指令與速度檢測器25-1測定出的電動機21的速度即速度反饋值之間的差即速度偏差來生成電流指令(扭矩指令)。電流控制部33基于從速度控制部32接收到的電流指令與電流檢測器(未圖示)測定出的從放大器23向電動機21流動的電流即電流反饋值之間的差即電流偏差來生成用于對放大器23內的開關元件進行接通斷開控制的開關指令。例如，在放大器23為pwm控制方式的逆變器時，由電流控制器33生成的開關指令是pwm指令。由此，放大器23根據由軸控制部24生成的開關指令，對放大器23內的開關元件進行接通斷開驅動，由此放大器23將直流電力變換為期望的交流電力后向電動機21進行供給。

內部信息取得部13從數值控制裝置12取得在臨時判定部14的判定處理中使用的內部信息。

內部信息取得部13取得的內部信息是在加工機械11內的運算處理裝置(未圖示)的計算中使用的信息，或者是保存在加工機械11內的存儲器(未圖示)中的信息，或者是通過設置在加工機械11中的傳感器25取得的信息，例如，具有與位置指令與測定位置之間的差即位置偏差有關的數據、負載數據、各種傳感器信息等。

與位置指令與測定位置之間的差即位置偏差有關的內部信息例如具有以下兩個信息。例如，在加工機械11為通過電動機21驅動旋轉軸以及直線軸來加工工件的車床這樣的機械時，因為對于直線軸的位置指令與關于直線軸的測定位置之間的差即位置偏差對工件的形狀精度造成影響，所以將與該位置偏差有關的信息作為內部信息來使用。另外，例如在加工機械11是通過電動機21驅動多個旋轉軸以及多個直線軸來加工工件的加工中心這樣的機械時，因為通過進行加工的工具前端與工件的位置關系來決定形狀精度，所以作為內部信息使用與工具的位置偏差有關的信息，工具的位置偏差是指針對設置在旋轉軸以及直線軸上的工具的基于加工程序的位置指令與關于工具位置的測定位置之間的差。

除了與位置偏差有關的內部信息以外，作為例子舉出如下的內部信息。

例如，一般已知當對拍攝工件的加工面而得到的圖像數據進行解析時，工件加工面的粗糙度具有高頻成分。因此在本實施方式中，考慮到由于數值控制裝置12生成的扭矩指令或電流指令等具有加速度的因次的指令而引起工件加工面的粗糙度，可以將如下數據作為內部信息來使用，該數據是通過使數值控制裝置12生成的具有加速度的因次的指令經過高通濾波器來抽出高頻成分，并對該高頻成分進行二階積分而得到的具有位置因次的數據(不具有漂移成分，相當于表面粗糙度的數據)。如果使用該內部信息來進行臨時判定部14的判定處理，則能夠高效地評價最終判定部15中的與表面精度有關的判定結果。

此外，例如作為內部信息，還可以使用通過安裝在加工機械11中的傳感器25取得的信息和工件的加工位置或加工時刻聯系起來的數據。例如，已知電動機21的溫度對工件的形狀精度造成影響，加工機械11產生的振動或噪音對工件的表面精度造成影響，因此可以在內部信息中包含這些溫度信息、振動信息、影像信息以及聲音信息。如果使用通過傳感器25取得的信息來進行臨時判定部14的判定處理，則能夠高效地評價最終判定部15中的與表面精度有關的判定結果。

另外，例如在內部信息中還可以包含在數值控制裝置12內的軸控制部24中設置的速度控制部32生成的電流指令(扭矩指令)、通過速度檢測器25-1取得的速度反饋值、通過電流檢測器(未圖示)測定出的從放大器23向電動機21流動的電流即電流反饋值等。另外，例如在內部信息中可以包含在加工機械11中使用的加工程序。

如以上說明的那樣考慮具有多個內部信息，在將這些內部信息與用于識別加工機械11所加工的工件的編號(以下，稱為“工件識別編號”)聯系起來的狀態下，通過內部信息取得部13取得這些內部信息，并發送給臨時判定部14。

返回到圖1的加工機械系統1的結構的說明，臨時判定部14基于內部信息取得部13取得的內部信息與通過閾值更新部16設定的閾值之間的比較結果來判定加工機械11加工后的工件合格與否。將臨時判定部14的判定結果發送給閾值更新部16。

最終判定部15對于至少包含由臨時判定部14進行了合格與否判定的工件的精度檢查對象的工件，基于與該工件的精度相關的實測結果來判定合格與否。工件的精度通過測定器17進行測定，至少與加工形狀或加工面的精度有關。精度檢查對象的工件只要至少包含由臨時判定部14進行了合格與否判定的工件即可，例如在進行了合格與否判定的工件為10個時，精度檢查對象的工件只要是進行了該合格與否判定的10個工件自身，或者包含該進行了合格與否判定的10個工件在內的總共11個以上的工件即可。將最終判定部15的判定結果發送給閾值更新部16。

閾值更新部16基于臨時判定部14的判定結果以及最終判定部15的判定結果來更新在臨時判定部14的判定處理中使用的閾值。關于閾值，設定了上限閾值以及下限閾值。即，在內部信息收納在上限閾值與下限閾值之間時，臨時判定部14判定為“工件合格”，在內部信息超過上限閾值時以及在低于下限閾值時，臨時判定部14判定為“工件不合格”。

對在臨時判定部14的判定處理中使用的由內部信息取得部13取得的每個內部信息設定閾值。例如，在內部信息是對于直線軸的位置指令與關于直線軸的測定位置之間的差即位置偏差相關的信息時，設定與該位置偏差對應的閾值，在內部信息是針對在旋轉軸以及直線軸上設置的工具的基于加工程序的位置指令與工具位置的測定位置之間的差即與工具有關的位置偏差相關的信息時，設定與該位置偏差對應的閾值。此時，因為加工機械11加工的工件的每個加工對象區域的要求精度不同，所以針對加工機械11加工的工件的每個加工對象區域設定在臨時判定部14的判定處理中使用的閾值。對于與如下數據有關的內部信息，設定與其對應的閾值，該數據是通過使數值控制裝置12生成的具有加速度的因次的指令經過高通濾波器來抽出高頻成分，并對該高頻成分進行二階積分而得到的具有位置因次的數據。同樣地，對于內部信息設定與溫度信息、振動信息以及聲音信息相對應的閾值。通過閾值更新部16，基于臨時判定部14的判定結果以及最終判定部15的判定結果來適當更新與各內部信息相對應的閾值。將通過閾值更新部16設定(更新)后的閾值發送給臨時判定部14。接著說明閾值更新部16的閾值更新處理的詳細內容。

此外，上述的內部信息取得部13、臨時判定部14、最終判定部15以及閾值更新部16例如可以通過軟件程序形式來構筑，或者也可以通過各種電路與軟件程序的組合來構筑。例如在通過軟件程序形式來構筑它們的情況下，使加工機械系統1內具有的運算處理裝置按照該軟件程序進行動作，能夠實現上述各部的功能。又或者，也可以作為寫入了用于實現各部的功能的軟件程序的半導體集成電路來實現內部信息取得部13、臨時判定部14、最終判定部15以及閾值更新部16。

接著，對本實施方式的加工機械系統1的動作原理進行說明。圖3是表示第一實施方式的加工機械系統的動作流程的流程圖。

在步驟s101中，加工機械11基于從數值控制裝置12接收到的指令，從放大器23供給電力來使電動機21進行驅動，從而對根據用途安裝了工件或工具等的軸22進行驅動來加工工件。

在步驟s102中，內部信息取得部13在加工機械11加工工件的加工期間，從數值控制裝置12取得內部信息，并從傳感器25取得作為內部信息的各種傳感器信息。

在步驟s103中，臨時判定部14將內部信息取得部13取得的內部信息與通過閾值更新部16設定的閾值進行比較，基于該比較結果來判定加工機械11加工后的工件合格與否。將臨時判定部14的判定結果發送給閾值更新部16。步驟s103中的臨時判定部14的判定處理的詳細內容如后所述。

在步驟s104中，最終判定部15對于至少包含由臨時判定部14進行了合格與否判定的工件的精度檢查對象的工件，基于與該工件的精度有關的測定器17的實測結果來判定合格與否。將最終判定部15的判定結果發送給閾值更新部16。

在步驟s105中，閾值更新部16基于步驟s103中的臨時判定部14的判定結果以及步驟s104中的最終判定部15的判定結果來更新在步驟s103中的臨時判定部14的判定處理中使用的閾值。將閾值更新部16設定的閾值發送給臨時判定部14。步驟s105中的閾值更新部16的閾值更新處理的詳細內容如后所述。

在步驟s106中，判定是否結束加工機械11的工件加工。因為加工機械11基于從數值控制裝置12接收到的指令進行動作，所以如果從數值控制裝置12接收到加工結束的指令則加工結束。關于來自數值控制裝置12的加工結束指令，例如一般在加工程序中規定的，或者由作業者通過預定的操作進行輸出，或者例如在檢測到停電等異常時進行輸出，步驟s106的處理內容本身并不特別地限定本發明。在步驟s106中沒有判定為加工結束時，返回到步驟s101，繼續進行加工機械11針對工件的加工。

在此，對步驟s103中的臨時判定部14的判定處理、步驟s104中的最終判定部15的判定處理以及步驟s105中的閾值更新部16的閾值更新處理的詳細內容進行說明。

圖4是表示圖3所示的臨時判定部的判定處理、最終判定部的判定處理、以及閾值更新部的閾值更新處理的動作流程的流程圖。

在步驟s103中，臨時判定部14將內部信息取得部13取得的內部信息與通過閾值更新部16設定的閾值進行比較，基于該比較結果來判定加工機械11加工后的工件合格與否。如上所述，針對內部信息取得部13取得的每個內部信息設定閾值。例如，當內部信息是與位置指令與測定位置之間的差即位置偏差相關的內部信息時，在作為內部信息的位置偏差收納在上限閾值與下限閾值之間時，判定為“工件合格”，在超過上限閾值以及低于下限閾值的情況下，判定為“工件不合格”。又例如，在內部信息與通過使數值控制裝置12生成的具有加速度的因次的指令經過高通濾波器來抽出高頻成分，并對該高頻成分進行二階積分而得到的具有位置因次的數據(不具有漂移成分，相當于表面粗糙度的數據)相關的情況下，當該內部信息收納在上限閾值與下限閾值之間的范圍時，將工件的加工面的粗糙度判定為“合格”，在除此之外的情況下，判定為“工件不合格”。對于為溫度信息、振動信息、影像信息以及聲音信息的內部信息也同樣地進行合格與否判定。

在步驟s103中通過臨時判定部14判定為“工件合格”時，向步驟s104-1前進，在判定為“工件不合格”時，向步驟s104-2前進。

在步驟s104-1中，最終判定部15對至少包含由臨時判定部14進行了合格與否判定的工件的精度檢查對象的全部工件，基于與該工件的精度相關的測定器17的實測結果來判定是否合格。在步驟s104-1中，當通過最終判定部15判定為“精度檢查對象的全部工件合格”時，向步驟s105-1前進。另一方面，在步驟s104-1中，當通過最終判定部15沒有判定為“精度檢查對象的全部工件合格”時，意味著“在精度檢查對象的工件中包含不合格的工件”，此時，向步驟s105-2前進。

同樣的，在步驟s104-2中，最終判定部15對于至少包含由臨時判定部14進行了合格與否判定的工件的作為精度檢查對象的全部工件，基于與該工件的精度相關的測定器17的實測結果來判定是否合格。在步驟s104-2中，當通過最終判定部15沒有判定為“精度檢查對象的全部工件不合格”時，意味著“在精度檢查對象的工件中包含合格的工件”，并向步驟s105-3前進。另一方面，在步驟s104-2中，當通過最終判定部15判定為“精度檢查對象的全部工件不合格”時，向步驟s105-4前進。

當在步驟s103中通過臨時判定部14判定為合格且在步驟s104-1中對于作為精度檢查對象的全部工件通過最終判定部15判定為合格的情況下，通過閾值更新部16執行步驟s105-1。此時，臨時判定部14的判定結果與最終判定部15的判定結果一致，能夠將閾值更新部16已經設定的閾值縮減為更小的值來提高評價效率，所以把已設定的閾值乘以小于1且大于0的第一系數α1而得到的值設定為新的閾值。

當在步驟s103中通過臨時判定部14判定為合格，且在步驟s104-1中在作為精度檢查對象的工件中包含通過最終判定部15判定為不合格的工件的情況下，通過閾值更新部16執行步驟s105-2。此時，臨時判定部14的判定結果與最終判定部15的判定結果不一致，在臨時判定部14的判定處理中使用的閾值的情況下，在作為精度檢查對象的工件中包含不合格的工件，所以將已設定的閾值乘以小于第一系數α1且大于0的第二系數α2而得到的值設定為新的閾值。

當在步驟s103中通過臨時判定部14判定為不合格，且在步驟s104-2中在精度檢查對象的工件中包含通過最終判定部15判定為合格的工件的情況下，通過閾值更新部16執行步驟s105-3。此時，意味著即便具有由臨時判定部14判定為不合格的工件，但是在作為精度檢查對象的工件中包含通過最終判定部15判定為合格的工件，即，在臨時判定部14的判定處理中使用的閾值的情況下，將本來應該合格的工件誤判定為不合格。因此在這種情況下，為了將閾值更新部16已經設定的閾值變更為更大的值，將已設定的閾值乘以大于1的第三系數α3而得到的值設定為新的閾值。

在步驟s103中通過臨時判定部14判定為不合格且在步驟s104-2中對于作為精度檢查對象的全部工件通過最終判定部15判定為不合格的情況下，通過閾值更新部16執行步驟s105-4。此時，因為臨時判定部14的判定結果與最終判定部15的判定結果一致，所以維持已經設定的閾值。

如此，閾值更新部16根據判定部14的判定結果與最終判定部15的判定結果是否一致，將0＜α2＜α1＜1＜α3的關系成立的系數與已經設定的閾值相乘來設定新的閾值。經過步驟s105-1～s105-4中的任意一個的處理向圖3的步驟s106前進。直到在步驟s106中判定為加工機械11的工件加工結束為止，重復執行閾值更新部16的閾值更新處理。通過該重復處理，對閾值進行適當設定使得判定部14的判定結果與最終判定部15的判定結果盡可能一致。如果判定部14的判定結果與最終判定部15的判定結果一致的精度高，則能夠減少最終判定部15的精度檢查對象的工件的個數，并且能夠防止不良品的漏檢。

接下來，對第二實施方式進行說明。圖5是第二實施方式的加工機械系統的原理框圖。將第二實施方式的加工機械系統2構成為單元制造系統，該單元制造系統具備多組由第一實施方式的加工機械11和與其對應地設置的數值控制裝置12構成的制造單元10。

如圖5所示，第二實施方式的加工機械系統2還具備在多個制造單元10與至少1個測定器17之間可相互通信地連接的通信網絡18、與通信網絡可通信地連接并控制各制造單元10的動作的單元控制器19。在本實施方式的加工機械系統2中，內部信息取得部13、臨時判定部14、最終判定部15以及閾值更新部16設置在單元控制器19內。

將制造單元10與單元控制器19例如經由內聯網等那樣的網絡18可通信地相互連接。單元控制器19內的內部信息取得部13經由網絡18從各制造單元10中的數值控制裝置12取得內部信息。另外，單元控制器19內的最終判定部15經由網絡18從與各個制造單元10相連接的測定部17取得與各制造單元10中的加工機械11加工后的工件的精度相關的實測結果。因此，單元控制器19具備針對網絡18的通信接口即通信部20。

制造單元10是將制造產品的多個加工機械11柔性地進行組合后的集合。制造單元10例如由各種機床或機器人這樣的多個或多種的加工機械11來構筑，但是不限定制造單元10中的加工機械11的個數。例如，制造單元10可以是通過多個加工機械11依次處理某個工件由此成為最終產品的生產線。此外，例如制造單元10也可以是將2個以上的加工機械11分別處理后的2個以上的工件(部件)在制造工序的過程中通過其他的加工機械11進行組合由此完成最終的工件(產品)的生產線。此外，例如也可以通過將2個以上的制造單元10處理后的2個以上的工件進行組合來完成最終的工件(產品)。

將制造單元10配置在制造產品的工廠中。與此相對，單元控制器19可以配置在設置有制造單元10的工廠中，或者可以配置在與工廠不同的建筑物中。例如，單元控制器19也可以配置在設置有制造單元10的工廠用地上的其他的建筑物中。

關于加工機械系統2，因為上述以外的結構要素與參照圖1～4說明的結構要素相同，所以對相同的結構要素賦予相同的符號并省略關于該結構要素的詳細說明。

通過以上說明的第二實施方式，關于內部信息取得部13、臨時判定部14、最終判定部15以及閾值更新部16，因為不是對每個制造單元10單獨設置，而是在單元控制器19內集中設置，所以能夠降低各制造單元10的運行成本和處理負擔，并且能夠防止系統大型化。

接下來，對第三實施方式進行說明。圖6以及圖7是第三實施方式的加工機械系統的原理框圖。將第三實施方式的加工機械系統3構成為在第二實施方式的單元控制器19的上位設置了主控制器100的單元制造系統。圖6表示在主控制器100上可通信地連接1個單元控制器19的例子，圖7表示在主控制器100上可通信地連接多個單元控制器19的例子。

主控制器100記錄并管理在各單元控制器19中取得的與臨時判定部14的判定結果相關的信息、在各單元控制器19中取得的與最終判定部15的判定結果相關的信息、以及由各測定器17取得的與各加工機械11加工后的工件的精度相關的實測結果。另外，主控制器100還具有顯示所取得的各信息的功能。

主控制器100例如可以配置在遠離工廠的辦公室中。在這種情況下，單元控制器19與主控制器100可以經由通信裝置32、例如因特網的網絡來可通信地相互連接。

關于加工機械系統3因為上述以外的結構要素與參照圖1～6說明的結構要素相同，所以對相同的結構要素賦予相同的符號并省略關于該結構要素的詳細說明。

通過以上說明的第三實施方式，能夠記錄、管理以及顯示在各單元控制器19中取得的與臨時判定部14的判定結果相關的信息、在各單元控制器19中取得的與最終判定部15的判定結果相關的信息以及由各測定器17取得的與各加工機械11加工后的工件的精度相關的實測結果。

接下來對第四實施方式進行說明。圖8是第四實施方式的加工機械系統的原理框圖。第四實施方式的加工機械系統4在第一～第三實施方式的加工機械系統中還具備用于學習內部信息取得部13應取得的內部信息的種類的機器學習器40。第四實施方式的機器學習器40可用于上述第一～第三實施方式中的任意一個實施方式，在這里對用于第一實施方式的情況進行說明。

第四實施方式的加工機械系統4還具備：具有狀態觀測部111和學習部112的機器學習器20、意圖決定部113。

狀態觀測部111觀測狀態變量，該狀態變量是包含由內部信息取得部13取得的內部信息、與加工機械11加工后的工件的精度相關的實測結果、與臨時判定部的判定結果相關的信息、以及與最終判定部15的判定結果相關的信息而構成的。另外，在狀態觀測部111觀測的狀態變量中還可以包含由閾值更新部16設定的閾值以及加工程序。

學習部112按照基于狀態觀測部111觀測到的狀態變量而生成的訓練數據集來學習內部信息取得部13應取得的內部信息。學習部12使用的學習算法可以使用任意的算法，機器學習器40具有從輸入到裝置的數據集合中，通過解析抽出其中有用的規則、知識表示、判斷基準等，輸出該判斷結果，并且進行知識學習的功能。在本實施方式中，作為學習算法使用強化學習。例如，優選通過應用gpgpu(general-purposecomputingongraphicsprocessingunits通用圖形處理器)或大規模pc集群等來實現機器學習器40。

學習部112具備回報計算部121和函數更新部122。

回報計算部121基于與臨時判定部14的判定結果相關的信息和與最終判定部15的判定結果相關的信息來計算回報。

函數更新部122基于狀態觀測部111觀測到的狀態變量以及回報計算部121計算出的回報，來更新用于選擇內部信息取得部13應取得的內部信息的函數(行為價值表)。函數(行為價值表)的更新方法如后所述。

學習部112可以通過多層結構運算由狀態觀測部111觀測到的狀態變量，并實時地更新函數(行為價值表)。例如，函數更新部122可以基于由狀態觀測部111觀測到的狀態變量以及由回報計算部121計算出的回報，按照神經網絡模型來更新用于選擇內部信息取得部13應取得的內部信息的函數(行為價值表)。在這里，作為通過多層結構運算狀態變量的方法，例如能夠使用多層神經網絡。

回報計算部121在通過臨時判定部14判定為合格并且對于精度檢查對象的全部工件通過最終判定部15判定為合格的情況下，以及在通過臨時判定部14判定為不合格并且對于精度檢查對象的全部工件通過最終判定部15判定為不合格的情況下，臨時判定部14的判定結果與最終判定部15的判定結果一致，意味著為了臨時判定部14的判定處理，內部信息取得部13取得的內部信息是適當的，所以增加回報。

另一方面，回報計算部121在通過臨時判定部14判定為合格并且在精度檢查對象的工件中包含通過最終判定部15判定為不合格的工件的情況下，以及在通過臨時判定部14判定為不合格并且在精度檢查對象的工件中包含通過最終判定部15判定為合格的工件的情況下，臨時判定部14的判定結果和最終判定部15的判定結果不一致，意味著為了臨時判定部14的判定處理，內部信息取得部13取得的內部信息不適當，所以減少回報。

意圖決定部113基于上述學習部112按照訓練數據集進行學習的結果，對當前的狀態變量的輸入進行響應來決定內部信息取得部13應取得的內部信息。將與已決定的內部信息取得部13應取得的內部信息相關的學習結果發送給內部信息取得部13，內部信息取得部13基于該學習結果從數值控制裝置12取得內部信息。就這樣，通過第四實施方式，自動地學習通過內部信息取得部13從數值控制裝置12應取得的效率最好的內部信息。

圖9表示第四實施方式的具備應用了強化學習的機器學習器的加工機械系統的機器學習的動作流程的流程圖。

一般來說，在強化學習中隨機地選擇行為的初始值。在本實施例中，在步驟s201中隨機地選擇作為行為的“內部信息取得部13應取得的內部信息”。

在步驟s202中，加工機械11基于從數值控制裝置12接收到的指令，從放大器23供給電力來使電動機21進行驅動，從而對根據用途安裝了工件或工具等的軸22進行驅動來加工工件。在此期間，內部信息取得部13取得當前的內部信息，測定器17取得與加工機械11加工后的工件的精度相關的實測結果，臨時判定部14以及最終判定部15分別進行判定處理，閾值更新部16進行閾值的更新處理。

在步驟s203中，狀態觀測部111觀測狀態變量，該狀態變量是包含內部信息取得部13取得的內部信息、與加工機械11加工后的工件的精度相關的實測結果、與臨時判定部14的判定結果相關的信息、以及與最終判定部15的判定結果相關的信息而構成。另外，狀態觀測部111還可以觀測由閾值更新部16設定的閾值以及加工程序來作為狀態變量。

接下來，在步驟s204中，狀態觀測部111判定觀測到的臨時判定部14的判定結果與最終判定部15的判定結果是否一致。在通過臨時判定部14判定為合格并且對于精度檢查對象的全部工件通過最終判定部15判定為合格的情況下，以及在通過臨時判定部14判定為不合格并且對于精度檢查對象的全部工件通過最終判定部15判定為不合格的情況下，在步驟s205中回報計算部121增加回報。另一方面，在通過臨時判定部14判定為合格并且在精度檢查對象的工件中包含通過最終判定部15判定為不合格的工件的情況下，以及在通過臨時判定部14判定為不合格并且在精度檢查對象的工件中包含通過最終判定部15判定為合格的工件的情況下，在步驟s206中回報計算部121減少回報。

在步驟s207中，函數更新部122基于通過狀態觀測部111觀測到的狀態變量以及通過回報計算部121計算出的回報，來更新用于選擇內部信息取得部13應取得的內部信息的函數(行為價值表)。

在步驟s208中，意圖決定部113基于在步驟s207中更新后的函數來選擇(決定)獲得最多回報的內部信息取得部13應取得的內部信息，并輸出該內部信息。把意圖決定部113決定的內部信息取得部13應取得的內部信息在步驟s209中通知給內部信息取得部13。

此后，返回到步驟s202。在此之后，直到加工機械系統4停止為止，重復執行步驟s202～s208的處理。由此，機器學習器40學習內部信息取得部13應取得的內部信息。此外，可以從多個電動機驅動裝置取得訓練數據集，此時，學習部112按照對于多個加工機械系統取得的訓練數據集來重復執行步驟s201～s209的處理，學習內部信息取得部13應取得的內部信息。當對于多個加工機械系統取得了訓練數據集時，機器學習器40的學習精度提高。

接著對使用了強化學習的機器學習器40進行更詳細的說明。

作為強化學習的問題設定，如下進行考慮。

·加工機械系統觀測環境的狀態，決定行為。

·環境按照某些規則進行變化，并且還有自身的行為對環境造成變化的情況。

·在每次進行行為時會返回回報信號。

·希望最大化的是今后的(折扣)回報的總和。

·從完全不知道行為引起的結果，或者只是不完全知道的狀態起開始學習。即，加工機械系統只在實際進行動作后，能夠取得其結果來作為數據。也就是說，需要一邊試錯一邊探索最佳的行為。

·將為了模仿人的動作而進行了先前學習(有教師學習、逆強化學習這樣的方法)的狀態作為初始狀態，能夠從好的開始地點開始學習。

在這里，“強化學習”是不僅通過判定和分類，還通過學習行為，根據行為對環境賦予的相互作用來學習適當的行為，即，用于使將來獲得的回報成為最大的學習方法。這表示在本實施方式中，能夠獲得使內部信息取得部13取得的內部信息最佳化的對未來造成影響的這樣的行為。例如在q學習的情況下繼續說明，但是并不限于此。

q學習是在某種環境狀態s下，學習用于選擇行為a的價值q(s、a)的方法。即，在某種狀態s時，可以選擇價值q(s、a)最高的行為a來作為最佳的行為。但是，最初對于狀態s與行為a的組合，完全不知道價值q(s、a)正確的值。因此，智能體(行為主體)在某種狀態s下選擇各種行為a，并針對此時的行為a給予回報。因此，智能體學習更好的行為的選擇，即正確的價值q(s、a)。

并且，作為行為的結果，希望使將來獲得的回報的總和最大化，所以最終的目標是成為q(s，a)＝e[σγ^trt]。在此，對于按照最佳的行為狀態進行了變化時的情況來取得期望值，因為不知道該期望值，所以一邊探索一邊進行學習。這樣的價值q(s、a)的更新式例如能夠通過下式1來表示。

在上述的式1中，st表示在時刻t的環境的狀態，at表示在時刻t的行為。通過行為at，狀態變化為st+1。rt+1表示由于該狀態的變化而得到的回報。另外，帶有max的項是在狀態st+1下，選擇了此時已知的q值最高的行為a時的q值乘以γ的項。γ是0＜γ≤1的參數，被稱為折扣率。α是學習系數，為0＜α≤1的范圍。

式1表示基于作為試行at的結果而返回的回報rt+1，對狀態st下的行為at的評價值q(st、at)進行更新的方法。表示了如下情況：如果基于回報rt+1+行為a的下一個狀態下的最佳的行為maxa的評價值q(st+1、maxat+1)比狀態s下的行為a的評價值q(st、at)大，則將q(st、at)增大，反之如果基于回報rt+1+行為a的下一個狀態下的最佳的行為maxa的評價值q(st+1、maxat+1)比狀態s下的行為a的評價值q(st、at)小，則將q(st、at)也減小。即，使某個狀態下的某個行為的價值接近作為結果立即返回的回報和基于該行為的下一個狀態下的最佳行為的價值。

在此，作為q(s、a)在計算機上的表現方法，具有針對全部的狀態行為對(s、a)，將該值保存為表(行為價值表)的方法；準備用于近似q(s、a)的函數的方法。在后者的方法中，能夠通過使用隨機梯度下降法等方法調整近似函數的參數來實現上述的更新式。作為近似函數，能夠使用后述的神經網絡。

另外，作為強化學習中的價值函數的近似算法，能夠使用神經網絡。神經網絡例如由用于實現神經網絡的運算裝置以及存儲器等構成，該神經網絡模擬圖10所示的神經元模型。圖10是表示神經元模型的示意圖。

如圖10所示，神經元輸出與多個輸入x(在圖中作為一個例子，輸入x1～輸入x3)相對的輸出y。在各輸入x1～x3中，對該輸入x乘以對應的權值w(w1～w3)。因此，神經元輸出式2表現的輸出y。此外，輸入x、輸出y以及權值w全是矢量。另外，在下式2中，θ為偏置，fk為激活函數。

在以上說明的第四實施方式中，將機器學習器40用于第一實施方式，但是也可以用于第二以及第三實施方式中的任意一個實施方式。例如，在用于第二實施方式時，可以在單元控制器19上設置機器學習器40，在用于第三實施方式時，可以在單元控制器19或主控制器100上設置機器學習器40。

此外，上述的狀態觀測部111、學習部112以及意圖決定部113例如可以由軟件程序形式來構筑，或者也可以由各種電路與軟件程序的組合來構筑。例如在由軟件程序形式來構筑它們時，能夠設置按照該軟件程序進行動作的運算處理裝置、或者在云服務器上運行該軟件程序來實現上述各部的功能。又或者，可以作為寫入了用于實現各部的功能的軟件程序的半導體集成電路來實現具備狀態觀測部111以及學習部112的機器學習器40。又或者，可以通過不僅包含具備狀態觀測部111以及學習部112的機器學習器40還包含意圖決定部113的結構來實現寫入了用于實現各部功能的軟件程序的半導體集成電路。

通過本發明，能夠實現一種加工機械系統，其能夠在削減精度檢查對象的工件個數的同時防止漏過不良品。