基于Unity 3D的智能制造車間的實時監控方法
【專利摘要】本發明公開一種基于Unity 3D的智能制造車間的實時監控方法，包括如下步驟：利用傳感器檢測智能制造車間狀態信息的變化；利用3dsmax對智能制造車間進行等價造型，獲得虛擬空間的等價三維模型，輸出為FBX格式的文件；將等價三維模型導入Unity 3D開發引擎中，建立TCP/IP連接，實時接收智能制造車間的狀態信息；編寫C#腳本程序，結合智能制造車間的狀態信息驅動腳本；創建任務下達窗口和狀態信息顯示窗口；智能制造車間的各個控制單元接收訂單指令和操作指令，進行相應動作。本發明不僅能實時顯示智能制造車間的各個設備的運行狀態，進行故障檢測，而且能實時控制智能制造車間，給車間下放任務和控制設備動作。
【專利說明】
基于Unity 3D的智能制造車間的實時監控方法
技術領域
[0001 ]本發明涉及智能制造領域，尤其涉及一種基于Unity 3D的智能制造車間的實時監控方法。
【背景技術】
[0002]智能制造是基于新一代信息技術，貫穿設計、生產、管理、服務等制造系統的各個環節，具有信息深度自感知、智慧化自決策、精準控制自執行等功能的先進制造過程，系統與模式的總稱。智能制造車間具有顯著的不確定性、實時變化性和訂單個性化的特征，這樣使得車間情況更加復雜，迫切需要一種實時監控的方法。目前，傳統視頻監控方法要么注重于實時收發仿真數據;要么是注重于對特定目標工廠的數字化車間的實際運行狀態的可視化監控;或注重于顯示通訊設備仿真模塊中的設備運行狀態，以及能靈活地進行故障檢測和故障修復的操作等。而均未涉及到智能制造車間和Unity 3D監控界面實時數據交換，沒有利用監控界面對實際車間進行操控。
【發明內容】
[0003]本發明的目的在于通過一種基于Unity3D的智能制造車間的實時監控方法，來解決以上【背景技術】部分提到的問題。
[0004]為達此目的，本發明采用以下技術方案:
[0005]—種基于Unity 3D的智能制造車間的實時監控方法，其包括如下步驟:
[0006]S101、利用傳感器檢測智能制造車間狀態信息的變化，并通過無線網將狀態信息實時輸出；
[0007]S102、利用3dsmax對智能制造車間進行等價造型，獲得虛擬空間的等價三維模型，輸出為FBX格式的文件;其中，3dsmax是3D Stud1 Max的簡稱，它是Discreet公司開發的基于PC系統的三維動畫渲染和制作軟件。FBX格式為3D文件格式的一種。
[0008]S103、將所述等價三維模型導入Unity 3D開發引擎中，建立TCP/IP連接，實時接收智能制造車間的狀態信息；其中，Unity 3D是由Unity Technologies開發的一個讓玩家輕松創建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內容的多平臺的綜合型游戲開發工具，是一個全面整合的專業游戲引擎。Unity類似于Director ,Blender gameengine,Virtools或Torque Game Builder等利用交互的圖型化開發環境為首要方式的軟件。其編輯器運行在Windows和Mac OS X下，可發布游戲至Windows、Mac、Wi 1、iPhone、WebGL、Windows phone 8和Android平臺。
[0009]S104、編寫腳本程序，結合智能制造車間的狀態信息驅動腳本；
[0010]S105、創建任務下達窗口和狀態信息顯示窗口 ；
[0011]S106、智能制造車間的各控制單元接收訂單指令和操作指令進行相應動作。
[0012]特別地，所述步驟SlOl具體包括:S1011、根據所需實時監控的動態特征，確定各傳感器所需要的檢測信號；S1012、在智能制造車間的各個相應的位置布置相應的傳感器，傳感器檢測到相應的信號，數據采集模塊采集傳感器信號，將傳感器信號封裝成數據報文；S1013、利用WIFI模塊無線發送數據，設定每隔固定時間檢測一次，此往復循環完成對智能制造車間的實時數據采集與發送。
[0013]特別地，所述步驟S102具體包括:利用3dsmax對智能制造車間進行1:1造型，獲得虛擬空間的等價三維模型，對模型賦予相應的材質，造型完成后導出FBX格式的文件。
[0014]特別地，所述步驟S103具體包括:將所述等價三維模型導入Unity3D開發引擎中，利用TCP/IP協議建立局域網、服務器端和客戶端，將智能制造車間中各個模塊通過無線局域網連接在一起，進行狀態信息和控制信號的互相傳輸。
[0015]特別地，所述步驟S104具體包括:在Unity 3D中，編寫C#的腳本程序，利用TCP/IP協議編寫腳本建立客戶端，將智能制造車間發送的報文解析成等價三維模型的驅動指令；針對Unity 3D模型的驅動，采用坐標驅動模型和導航網格尋路的方法，其中，所述坐標驅動模型的方法是指將接收到的實體的旋轉角度或位移，給定運動時間，控制監控平臺內的相應模型的運動;所述導航網格尋路的方法是指通過接收到的AGV(自動導引小車)的實時位置設置AGV的目的地，渲染AGV的路徑，AGV接收到目的地指令后移向目的地。
[0016]特別地，所述步驟S105具體包括:利用Unity3D的UGUI技術，創建多任務窗口，操作窗口，任務下達窗口和狀態信息顯示窗口，并設置相應按鈕，只有相應的按鈕觸發時才會顯示相應模塊的狀態信息;其中，所述任務下達窗口為操作者提供下單的方法，操作者通過任務下達窗口發送訂單指令到智能制造車間內的各個控制單元，智能制造車間內的各個部分相互協調，完成訂單加工;所述狀態顯示窗口通過接收到的車間狀態信息，顯示智能制造車間各個部分的狀態信息。
[0017]特別地，所述智能制造車間各個部分的狀態信息包括但不限于機床重要結構的溫度、機床是否故障、機床是否空閑、AGV是否空閑。
[0018]本發明提出的基于Unity3D的智能制造車間的實時監控方法不僅解決了虛擬世界對現實世界的監控，并且實現了虛擬世界對現實世界的控制；提供了智能制造車間的三維建模方法和模型對制造車間的控制方法。本發明不僅能實時顯示智能制造車間的各個設備的運行狀態，靈活的進行故障檢測，而且能夠實時控制智能制造車間，給車間下放任務和控制設備動作。
【附圖說明】
[0019]圖1為本發明實施例提供的智能制造車間組成結構示意圖；
[0020]圖2為本發明實施例提供的基于Unity3D的智能制造車間的實時監控方法的流程關系不意圖；
[0021 ]圖3為本發明實施例提供的訂單下達后的運動流程示意圖。
【具體實施方式】
[0022]為了便于理解本發明，下面將參照相關附圖對本發明進行更全面的描述。附圖中給出了本發明的較佳實施例。但是，本發明可以以許多不同的形式來實現，并不限于本文所描述的實施例。相反地，提供這些實施例的目的是使對本發明的公開內容理解的更加透徹全面。需要說明的是，除非另有定義，本文所使用的所有的技術和科學術語與屬于本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在于限制本發明。本文所使用的術語“及/或”包括一個或多個相關的所列項目的任意的和所有的組合。
[0023]本發明提出的基于Unity3D的智能制造車間的實時監控方法是面向智能制造車間的，包括智能制造車間的可視化部分和控制部分，可視化部分首先利用3dsmaX對智能制造車間進行等價造型，導入到Unity 3D中；其次利用傳感器采集車間的狀態信息，經數據采集系統利用無線局域網技術傳輸到Unity 3D開發引擎中；然后Unity 3D開發引擎解析接收到來自智能制造車間的動態數據，利用這些數據驅動等價三維模型，從而實現車間可視化的目的。控制部分是在上述的可視化界面即智能制造車間實時監控平臺中添加控制界面和訂單操作界面，用戶可以通過這些界面下達任務指令或操作指令，將指令發送給智能制造車間的各個控制單元，從而實現控制智能制造車間的目的。簡單來講，本發明就是通過對智能制造車間的研究，將通過局域網采集的車間的狀態信息用來驅動三維虛擬空間內的模型即虛擬空間的等價三維模型，從而用三維動畫模擬車間的狀態，并將車間狀態顯示在虛擬空間內，并且可以通過三維虛擬空間內的多任務窗口控制智能制造車間的訂單加工。下面對本發明原理、工作過程進行詳細說明:
[0024]請參照如圖1，本實施例中模擬的智能制造車間包括I個倉庫、2輛AGV小車和4個加工單元。倉庫單元含I臺三坐標機械手、I個成品倉庫和I個廢品倉庫。每個加工單元包括I個三自由度機械手和一臺機床。需要說明的是，智能制造車間的結構組成并不局限于此，也可以有其它結構形式。
[0025]如圖2所示，本實施例中基于Unity3D的智能制造車間的實時監控方法具體包括如下步驟:
[0026]S101、利用傳感器檢測智能制造車間狀態信息的變化，并通過無線網將狀態信息實時輸出。具體包括:S1011、根據所需實時監控的動態特征，確定各傳感器所需要的檢測信號;例如:兩臺AGV小車的實時坐標、三坐標機械手的各個方向上的位移、三自由度機械手的各個關節的旋轉角度等。S1012、在智能制造車間的各個相應的位置布置相應的傳感器，傳感器檢測到相應的信號，數據采集模塊采集傳感器信號，將傳感器信號封裝成數據報文；S1013、利用WIFI模塊無線發送數據，設定每隔固定時間檢測一次，此往復循環完成對智能制造車間的實時數據采集與發送。
[0027]S102、利用3dsmax對智能制造車間進行等價造型，獲得虛擬空間的等價三維模型，輸出為FBX格式的文件。具體的:利用3dsmax對智能制造車間進行1:1造型，獲得虛擬空間的等價三維模型，為了減輕計算機的運行負擔，這里將不會對設備的內部結構造型，只是用簡單的立體幾何圖形替代，對模型賦予相應的材質，使模型更加逼真，造型完成后導出FBX格式的文件。
[0028]S103、將所述等價三維模型導入Unity 3D開發引擎中，建立TCP/IP連接，實時接收智能制造車間的狀態信息。將所述等價三維模型導入Unity 3D開發引擎中，利用TCP/IP協議建立局域網、服務器端和客戶端，設置監控電腦為總服務器，設置AGV小車是四個加工單元和倉庫的服務器，設置AGV小車是監控電腦的客戶端，設置四個加工單元和倉庫是小車的客戶端，然后將智能制造車間中的各個模塊通過無線局域網連接起來，狀態信息經狀態指令生成算法生成為狀態指令，控制信息經控制指令生成算法生成為控制指令從而實現狀態信息和控制信息的互相傳輸。
[0029]S104、編寫C#腳本程序，結合智能制造車間的狀態信息驅動腳本。在Unity 3D中，編寫C#的腳本程序，利用TCP/ IP協議編寫腳本建立客戶端，將智能制造車間發送的報文解析成等價三維模型的驅動指令;針對Unity 3D模型的驅動，采用坐標驅動模型和導航網格尋路的方法，其中，所述坐標驅動模型的方法是指將接收到的實體的旋轉角度或位移，給定運動時間，控制監控平臺內的相應模型的運動;所述導航網格尋路的方法是指通過接收到的AGV的實時位置設置AGV的目的地，清染AGV的路徑，AGV接收到目的地指令后移向目的地。
[0030]Unity 3D主要是對各個模型添加組件，從而控制模型。在本實施例中AGV小車采用Unity 3D自帶的導航網格尋路方法，三自由度機械手采取坐標驅動模型的方法。導航網格尋路方法，先渲染AGV的可行路徑，然后給AGV添加Nav Mesh Agent組件，通過接收到的AGV的實時位置設置AGV的目的地，從而實現監控界面中的AGV在智能制造車間中的AGV位置監控。坐標驅動機械手模型，通過接收到的舵機的旋轉角度和直線模組的位移，控制智能制造車間監控平臺的模型的運動，從而實現監控界面中的機械手在智能制造車間的狀態監控。
[0031]S105、創建任務下達窗口和狀態信息顯示窗口。具體的，利用Unity 3D的UGUI技術，創建多任務窗口，操作窗口，任務下達窗口和狀態信息顯示窗口，并設置相應按鈕，只有相應的按鈕觸發時才會顯示相應模塊的狀態信息。
[0032]S106、智能制造車間的各個控制單元接收訂單指令和操作指令，進行相應動作。
[0033]所述任務下達窗口為操作者提供下單的方法，操作者通過任務下達窗口發送訂單指令到智能制造車間內的各個控制單元，智能制造車間內的各個部分相互協調，完成訂單加工;所述狀態顯示窗口通過接收到的車間狀態信息，顯示智能制造車間各個部分的狀態信息。所述智能制造車間各個部分的狀態信息包括但不限于機床重要結構的溫度、機床是否故障、機床是否空閑、AGV是否空閑
[0034]在本實施例中創建機械手和加工單元的復位按鈕，機械手和加工單元的復位操作指令連接在各個復位按鈕上，由復位按鈕觸發，復位操作指令經無線局域網發送到機械手和加工單元的控制單元中，控制機械手和加工單元的復位操作。利用Unity 3D的UGUI技術創建產品的訂單下達界面，結合MySQL數據庫，利用TCP/IP協議發送訂單到AGV小車上，如圖3所示。
[0035]本發明不僅能實時顯示智能制造車間的各個設備的運行狀態，靈活的進行故障檢測，而且能夠實時控制智能制造車間，給車間下放任務和控制設備動作。由于智能制造車間內有AGV小車、三坐標直線運動機械手和三自由度機械手，提出了實時坐標控制每個自由度的感念;對于車間的控制，提出了虛擬空間內訂單控制程序指令的概念;并利用了TCP/IP連接，實現實際空間和虛擬空間的數據交互。
[0036]本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機存儲記憶體(Random AccessMemory，RAM)等。
[0037]以上結合具體實施例描述了本發明的技術原理。這些描述只是為了解釋本發明的原理，而不能以任何方式解釋為對本發明保護范圍的限制。基于此處的解釋，本領域的技術人員不需要付出創造性的勞動即可聯想到本發明的其它【具體實施方式】，這些方式都將落入本發明的保護范圍之內。
【主權項】
1.一種基于Unity3D的智能制造車間的實時監控方法，其特征在于，包括如下步驟: 5101、利用傳感器檢測智能制造車間狀態信息的變化，并通過無線網將狀態信息實時輸出； 5102、利用3dsmax對智能制造車間進行等價造型，獲得虛擬空間的等價三維模型，輸出為FBX格式的文件； 5103、將所述等價三維模型導入Unity3D開發引擎中，建立TCP/IP連接，實時接收智能制造車間的狀態信息； 5104、編寫C#腳本程序，結合智能制造車間的狀態信息驅動腳本； 5105、創建任務下達窗口和狀態信息顯示窗口； 5106、智能制造車間的各控制單元接收訂單指令和操作指令進行相應動作。2.根據權利要求1所述的基于Unity3D的智能制造車間的實時監控方法，其特征在于，所述步驟SlOl具體包括:S1011、根據所需實時監控的動態特征，確定各傳感器所需要的檢測信號；S1012、在智能制造車間的各個相應的位置布置相應的傳感器，傳感器檢測到相應的信號，數據采集模塊采集傳感器信號，將傳感器信號封裝成數據報文;S1013、利用WIFI模塊無線發送數據，設定每隔固定時間檢測一次，此往復循環完成對智能制造車間的實時數據采集與發送。3.根據權利要求2所述的基于Unity3D的智能制造車間的實時監控方法，其特征在于，所述步驟S102具體包括:利用3dsmax對智能制造車間進行1:1造型，獲得虛擬空間的等價三維模型，對模型賦予相應的材質，造型完成后導出FBX格式的文件。4.根據權利要求3所述的基于Unity3D的智能制造車間的實時監控方法，其特征在于，所述步驟S103具體包括:將所述等價三維模型導入Unity 3D開發引擎中，利用TCP/IP協議建立局域網、服務器端和客戶端，將智能制造車間中各個模塊通過無線局域網連接在一起，進行狀態信息和控制信號的互相傳輸。5.根據權利要求4所述的基于Unity3D的智能制造車間的實時監控方法，其特征在于，所述步驟S104具體包括:在Unity 3D中，編寫C#的腳本程序，利用TCP/IP協議編寫腳本建立客戶端，將智能制造車間發送的報文解析成等價三維模型的驅動指令;針對Unity 3D模型的驅動，采用坐標驅動模型和導航網格尋路的方法，其中，所述坐標驅動模型的方法是指將接收到的實體的旋轉角度或位移，給定運動時間，控制監控平臺內的相應模型的運動;所述導航網格尋路的方法是指通過接收到的AGV的實時位置設置AGV的目的地，渲染AGV的路徑，AGV接收到目的地指令后移向目的地。6.根據權利要求5所述的基于Unity3D的智能制造車間的實時監控方法，其特征在于，所述步驟S105具體包括:利用Unity 3D的UGUI技術，創建多任務窗口，操作窗口，任務下達窗口和狀態信息顯示窗口，并設置相應按鈕，只有相應的按鈕觸發時才會顯示相應模塊的狀態信息;其中，所述任務下達窗口為操作者提供下單的方法，操作者通過任務下達窗口發送訂單指令到智能制造車間內的各個控制單元，智能制造車間內的各個部分相互協調，完成訂單加工;所述狀態顯示窗口通過接收到的車間狀態信息，顯示智能制造車間各個部分的狀態信息。7.根據權利要求6所述的基于Unity3D的智能制造車間的實時監控方法，其特征在于，所述智能制造車間各個部分的狀態信息包括但不限于機床重要結構的溫度、機床是否故 障、機床是否空閑、AGV是否空閑ο
【文檔編號】G05B19/418GK105955230SQ201610573772
【公開日】2016年9月21日
【申請日】2016年7月19日
【發明人】唐敦兵, 張濤, 張澤群, 許超, 魏鑫, 張海濤, 黃騰霄
【申請人】南京航空航天大學, 南京航空航天大學無錫研究院