專利名稱：手術(shù)室醫(yī)學(xué)信息重構(gòu)與交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種通信和醫(yī)學(xué)信息處理技術(shù)領(lǐng)域的系統(tǒng)，具體是一種手術(shù)室醫(yī)學(xué)信息重構(gòu)與交互系統(tǒng)。
背景技術(shù)：
隨著社會信息化和數(shù)字化程度的與日俱增，醫(yī)院信息化建設(shè)已在全國各地醫(yī)院普遍推廣，許多醫(yī)院成立了信息科，建立了基于傳統(tǒng)視頻傳輸技術(shù)的手術(shù)示教及遠程會診系統(tǒng)?，F(xiàn)代化手術(shù)室裝備了各種數(shù)字化醫(yī)療設(shè)備，如腔鏡、C型臂X光機、術(shù)中導(dǎo)航系統(tǒng)等。傳統(tǒng)手術(shù)室信息系統(tǒng)不完善的設(shè)計以及對各設(shè)備信息的獨立操作，已無法滿足更現(xiàn)代化的手術(shù)需求。另外，為了手術(shù)過程可以提供給學(xué)員觀看以及實現(xiàn)遠程會診，視頻傳輸?shù)那逦群退俣纫彩切畔⑾到y(tǒng)的重要指標。為了集成手術(shù)室內(nèi)各種信息，豐富手術(shù)過程中的示教內(nèi)容， 實現(xiàn)高效和準確的遠程醫(yī)療會診已成為現(xiàn)代臨床醫(yī)生的迫切需求。近幾年高清視頻壓縮和實時傳輸技術(shù)的發(fā)展為這類需求提供了技術(shù)可能性。視音頻傳輸技術(shù)正不斷在手術(shù)室中得到應(yīng)用。2003年，武漢大學(xué)將第二臨床學(xué)院的手術(shù)室與教室和病房連接起來，在多個圖像采集點之間進行實時的語音和圖像交互，系統(tǒng)僅供教學(xué)使用，且采集圖像局限于手術(shù)局部；2006年，廣州南方醫(yī)院采用深圳迪威視訊(DVISI0N)公司的MPEG-2視訊系統(tǒng)將其神經(jīng)外科手術(shù)圖像傳到觀摩室進行手術(shù)觀摩指導(dǎo)。但是這些應(yīng)用仍就無法解決手術(shù)室內(nèi)廣泛的視音頻需求。經(jīng)對現(xiàn)有文獻檢索發(fā)現(xiàn)，孫碧海、張曉祥等人于2007年發(fā)表在《中國數(shù)字醫(yī)學(xué)》 上的論文“醫(yī)院手術(shù)室數(shù)字轉(zhuǎn)播的設(shè)計與實現(xiàn)”，設(shè)計了用于手術(shù)示教的數(shù)字化轉(zhuǎn)播系統(tǒng)， 但該系統(tǒng)沒有對手術(shù)室內(nèi)豐富的醫(yī)學(xué)信息進行整合，也無法處理和傳輸高清晰度的視頻信息。陳歡、李勁松等人于2010年在《中國數(shù)字醫(yī)學(xué)》上發(fā)表論文“全高清1080P手術(shù)示教系統(tǒng)的設(shè)計與實現(xiàn)”，該文向人們展示了全高清1080P技術(shù)在手術(shù)示教系統(tǒng)中的應(yīng)用，但是該文設(shè)計的系統(tǒng)同樣無法對手術(shù)室內(nèi)豐富的醫(yī)學(xué)信息進行整合，也很難在網(wǎng)絡(luò)條件復(fù)雜的遠程會診中使用。
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中存在的不足，提供一種手術(shù)室醫(yī)學(xué)信息重構(gòu)與交互系統(tǒng)，通過對系統(tǒng)采集的視音頻信息及醫(yī)學(xué)影像信息的重構(gòu)組合以及基于H. 264和 RTP標準的視音頻編解碼傳輸，建立手術(shù)室與外界的網(wǎng)絡(luò)連接，實現(xiàn)手術(shù)室與示教室、主任室以及遠程會議室之間高清且豐富的視音頻交互，具有以軟件方式實時組合傳輸高清醫(yī)學(xué)影像的優(yōu)點。本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明包括信息采集模塊、信息處理模塊、 服務(wù)器端模塊和客戶端模塊，其中客戶端模塊通過局域網(wǎng)和/或因特網(wǎng)與服務(wù)器端模塊相連，傳輸手術(shù)過程中醫(yī)學(xué)影像及視音頻信息。所述的信息采集模塊包括音頻采集子模塊、全景視頻采集子模塊、術(shù)野視頻采集子模塊和醫(yī)學(xué)設(shè)備影像采集子模塊，其中音頻采集子模塊采集環(huán)境音頻。全景視頻采集子模塊采集全景攝像頭圖像，術(shù)野視頻采集子模塊采集手術(shù)術(shù)野視頻。醫(yī)學(xué)設(shè)備影像采集子模塊采集腔鏡、C型臂X光機設(shè)備影像。所述的信息處理模塊包括信息重構(gòu)子模塊、編解碼子模塊和信息交互子模塊，其中信息重構(gòu)子模塊實現(xiàn)對采集的視頻信息和醫(yī)學(xué)信息的重構(gòu)。該模塊使用畫中畫和分屏的方式對術(shù)野攝像頭視頻、全景攝像頭視頻以及腔鏡設(shè)備影像進行組合，經(jīng)組合的視頻作為重構(gòu)后的信息經(jīng)由系統(tǒng)壓縮后傳輸至服務(wù)器端和客戶端。編解碼子模塊實現(xiàn)高清視音頻的編解碼和實時遠程傳輸。視頻編解碼基于H. 264的標準，使用純軟件實現(xiàn)，提供高清編解碼和實時的網(wǎng)絡(luò)傳輸功能，通過線程優(yōu)化，提高視頻編解碼在多核計算機上的性能和可靠性。視音頻傳輸基于RTP協(xié)議，實現(xiàn)傳輸過程中的視音頻同步，并保證各種網(wǎng)絡(luò)條件下的多媒體通信質(zhì)量。信息交互子模塊使用畫中畫方式組合遠端全景視頻和重構(gòu)后的視頻信息， 提供視頻對話功能。該模塊對音頻信息和視頻信息獨立管理，以實現(xiàn)在交互過程中音頻的點對點通信和廣播通信。所述的服務(wù)器端模塊包括觸摸控制子模塊和多屏顯示子模塊，其中觸摸控制子模塊通過觸摸屏統(tǒng)一控制手術(shù)室內(nèi)醫(yī)學(xué)設(shè)備和手術(shù)室內(nèi)外視音頻交互。多屏顯示子模塊將重構(gòu)的醫(yī)學(xué)影像信息以及交互視頻通過手術(shù)室內(nèi)多塊醫(yī)學(xué)專用屏和醫(yī)學(xué)展示屏進顯示。所述的客戶端模塊包括示教室子模塊、遠程會議室子模塊和主任室子模塊，其中示教室子模塊用于現(xiàn)場教學(xué)，使得手術(shù)室內(nèi)醫(yī)師和示教室內(nèi)學(xué)員可以通過系統(tǒng)軟件面對面交流，共享在手術(shù)過程中豐富的主體醫(yī)療設(shè)備信息。遠程會議室子模塊用于遠程會診和手術(shù)展示，會診專家可以在遠程會場通過系統(tǒng)軟件觀看手術(shù)過程并查看實時的手術(shù)信息，以對手術(shù)醫(yī)師提供幫助。主任室子模塊用于醫(yī)院內(nèi)部管理和手術(shù)過程監(jiān)控，手術(shù)過程中，醫(yī)院管理層可以通過系統(tǒng)軟件監(jiān)視手術(shù)全過程，同時可以對手術(shù)醫(yī)師下達指示或進行手術(shù)情況的咨詢。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是基于高分辨率視音頻信息的高質(zhì)量低帶寬編碼與傳輸，實現(xiàn)了針對手術(shù)室內(nèi)異構(gòu)醫(yī)學(xué)信息的重構(gòu)與交互。本發(fā)明完成了手術(shù)室術(shù)野高分辨率視頻信息、全景視頻信息、各種醫(yī)療設(shè)備圖像信息以及各種來源的音頻信息的分析與組合；實現(xiàn)了不同儲存格式、不同分辨率的視頻信息的分析、處理與重構(gòu)，實施手術(shù)室、示教室、主任辦公室、以及遠程會議室之間視音頻實時交互。
圖1為本發(fā)明結(jié)構(gòu)示意圖。
具體實施例方式以下結(jié)合附圖和實施例對本發(fā)明的技術(shù)方案作進一步詳細說明。以下實施例在以本發(fā)明技術(shù)方案為前提下進行實施，給出了詳細的實施方式和過程，但本發(fā)明的保護范圍不限于下述的實施例。為了更好地理解本發(fā)明提出的方法，本實施例搭建了模擬的手術(shù)室及會議室，軟件部分使用VS2008開發(fā)平臺實現(xiàn)，具體實施如下
1)本實施例包括如下一些設(shè)備手術(shù)室內(nèi)無影燈下的術(shù)野攝像頭、吊臂上的全景攝像頭、一個42寸液晶屏及兩個醫(yī)用顯示屏、音頻處理設(shè)備和視音頻服務(wù)器(處理器化切1 Xeon E5450女2,16GB DDR2 內(nèi)存，操作系統(tǒng)為windows XP Professional SP3)、觸摸屏、PACS服務(wù)器、腔鏡機。示教室/遠程會議室內(nèi)全景攝像頭、音頻處理設(shè)備、PC機(處理器htel Quad 6600,4GB DDR2 內(nèi)存，操作系統(tǒng)為 windows XP Professional SP3)、42 寸液晶屏。主任室內(nèi)一臺PC機(處理器htel Quad 6600,4GB DDR2內(nèi)存，操作系統(tǒng)為 windows XPProfessional SP3)、音頻處理設(shè)備。2)本實施例包括如下模塊信息采集模塊、信息處理模塊、服務(wù)器端模塊和客戶端模塊，其中手術(shù)室服務(wù)器位于上海，客戶端模塊的示教室子模塊和主任室子模塊通過局域網(wǎng)與服務(wù)器端模塊相連傳輸手術(shù)過程中醫(yī)學(xué)影像及視音頻信息。遠程會議室子模塊位于武漢，通過因特網(wǎng)與服務(wù)器端模塊相連傳輸手術(shù)過程中醫(yī)學(xué)影像及視音頻信息。所述的信息采集模塊包括音頻采集子模塊、全景視頻采集子模塊、術(shù)野視頻采集子模塊和醫(yī)學(xué)設(shè)備影像采集子模塊，其中音頻采集子模塊采集環(huán)境音頻，音頻由話筒輸入。全景視頻采集子模塊采集全景攝像頭圖像，全景攝像頭通過高清圖像采集卡與服務(wù)器相連。術(shù)野視頻采集子模塊采集手術(shù)術(shù)野視頻，術(shù)野相機通過1394B卡與服務(wù)器相連。醫(yī)學(xué)設(shè)備影像采集子模塊采集腔鏡和PACS醫(yī)學(xué)設(shè)備影像。所述的信息處理模塊包括信息重構(gòu)子模塊、編解碼子模塊和信息交互子模塊，其中信息重構(gòu)子模塊實現(xiàn)對采集的視頻信息和醫(yī)學(xué)信息的重構(gòu)。該模塊使用畫中畫和分屏的方式對術(shù)野攝像頭視頻、全景攝像頭視頻以及腔鏡設(shè)備影像進行組合，組合過程通過軟件實現(xiàn)，可靈活變動，經(jīng)組合的視頻作為重構(gòu)后的信息經(jīng)由系統(tǒng)壓縮后傳輸至服務(wù)器端和客戶端。編解碼子模塊實現(xiàn)高清視音頻的編解碼和實時遠程傳輸。視頻編解碼基于H.沈4 標準，音頻編碼基于MP3標準，使用OpenMP進行線程優(yōu)化，提供高性能和高可靠性的視頻編解碼處理能力，尤其在多核計算機上的性能優(yōu)化。應(yīng)用該模塊，可對視頻和音頻進行單獨編碼傳輸，或分別編碼然后作為整體傳輸，以實現(xiàn)視音頻同步。針對hternet應(yīng)用遵循RTP 協(xié)議，實現(xiàn)穿透NAT/防火墻的P2P網(wǎng)絡(luò)傳輸，應(yīng)用自適應(yīng)比特率控制、前向糾錯等技術(shù)以保證各種網(wǎng)絡(luò)條件下的多媒體通信質(zhì)量。視音頻傳輸基于RTP協(xié)議，實現(xiàn)傳輸過程中的視音頻同步，并保證各種網(wǎng)絡(luò)條件下的多媒體通信質(zhì)量。信息交互子模塊使用畫中畫方式組合遠端全景視頻和重構(gòu)后的視頻信息，提供視頻對話功能。該模塊對音頻信息和視頻信息獨立管理，實現(xiàn)在交互過程中音頻的點對點通信和廣播通信。通過對多路采集的視頻圖像分屏組合和畫中畫處理，可以將手術(shù)室內(nèi)多個設(shè)備信息同時向遠端傳送，并可以針對不同客戶端定制不同的畫面顯示。手術(shù)室內(nèi)醫(yī)師和示教室內(nèi)學(xué)員可通過畫中畫顯示的圖像互看全景，學(xué)員在觀看手術(shù)過程和相關(guān)信息的同時可以與醫(yī)師面對面交流。所述的服務(wù)器端模塊包括觸摸控制子模塊和多屏顯示子模塊，其中觸摸控制子模塊通過觸摸屏統(tǒng)一控制手術(shù)室內(nèi)醫(yī)學(xué)設(shè)備和手術(shù)室內(nèi)外視音頻交互。觸摸屏連接服務(wù)器電腦，直接控制服務(wù)器端程序。多屏顯示子模塊將重構(gòu)的醫(yī)學(xué)影像信息以及交互視頻通過手術(shù)室內(nèi)多塊醫(yī)學(xué)專用屏和醫(yī)學(xué)展示屏進行顯示。手術(shù)室內(nèi)42寸液晶屏及兩個醫(yī)用顯示屏用于顯示重構(gòu)的醫(yī)學(xué)影像信息以及交互視頻，醫(yī)用屏掛在手術(shù)床邊，顯示醫(yī)學(xué)影像信息和術(shù)野攝像頭的組合信息，42寸液晶屏掛在墻上，顯示組合的影像和遠端視頻，用于示教和遠程會議。所述的客戶端模塊包括示教室子模塊、遠程會議室子模塊和主任室子模塊，其中示教室子模塊用于現(xiàn)場教學(xué)，使得手術(shù)室內(nèi)醫(yī)師和示教室內(nèi)學(xué)員可以通過系統(tǒng)軟件面對面交流，共享在手術(shù)過程中豐富的主體醫(yī)療設(shè)備信息。手術(shù)室內(nèi)醫(yī)師在手術(shù)過程中可以向示教室內(nèi)學(xué)員展示術(shù)野視頻以及各種主體醫(yī)療設(shè)備信息如內(nèi)窺鏡屏幕信息、PACS圖像信息等，進行現(xiàn)場教學(xué)；示教室內(nèi)學(xué)員可以隨時提問并通過互看全景的方式實現(xiàn)與醫(yī)師進行面對面交流；遠程會議室子模塊用于遠程會診和手術(shù)展示，會診專家可以在遠程會場通過系統(tǒng)軟件觀看手術(shù)過程，并根據(jù)實時的手術(shù)信息提供可能的幫助。主任室子模塊用于醫(yī)院內(nèi)部管理和手術(shù)過程監(jiān)控，通過獨立的數(shù)據(jù)庫系統(tǒng)進行賬戶管理。醫(yī)院領(lǐng)導(dǎo)可以通過管理端連接手術(shù)室，查看和咨詢手術(shù)進行狀況。在通過畫中畫處理之后，管理端的顯示可以獨立于示教室和遠程會議室，使得在管理層查看手術(shù)的過程中不影響示教和遠程會議。在醫(yī)院管理者登錄系統(tǒng)時，在屏幕右上角顯示管理者頭像，作人性化提示。3)本實施例的工作過程如下手術(shù)室內(nèi)開啟視音頻服務(wù)器以及各種醫(yī)學(xué)設(shè)備，示教室客戶端和主任室管理端通過局域網(wǎng)連接至手術(shù)室，遠程會議室客戶端通過因特網(wǎng)連接至手術(shù)室。在手術(shù)室內(nèi)醫(yī)師的手術(shù)過程中，手術(shù)室內(nèi)護士使用觸摸屏控制手術(shù)室內(nèi)外信息組合和連接邏輯，使用分屏和畫中畫方式組合各種影像信息，在手術(shù)室內(nèi)多個顯示屏上顯示不同的實時信息，為手術(shù)醫(yī)師提供服務(wù)，同時經(jīng)重構(gòu)的影像在網(wǎng)絡(luò)傳輸后向示教室內(nèi)學(xué)員展示術(shù)野視頻以及各種主體醫(yī)療設(shè)備信息如內(nèi)窺鏡屏幕信息、PACS圖像信息等，進行現(xiàn)場教學(xué)；示教室內(nèi)學(xué)員可以隨時提問并通過互看全景的方式實現(xiàn)與醫(yī)師進行面對面交流；會診專家在遠程會場觀看手術(shù)過程，并根據(jù)實時的手術(shù)信息提供可能的幫助；醫(yī)院領(lǐng)導(dǎo)通過管理端軟件查看和咨詢手術(shù)進行狀況；在醫(yī)院管理者登錄系統(tǒng)時，在屏幕右上角顯示管理者頭像；對示教室、遠程會議上和主任室的音頻管理使得這些地方可與手術(shù)室內(nèi)單獨交流或共同討論。本實施例實現(xiàn)了對多種醫(yī)療設(shè)備圖像信息以及視音頻信息的重構(gòu)與實時傳輸，實現(xiàn)了高分辨率視音頻信息的高質(zhì)量低帶寬編碼與傳輸，在實現(xiàn)高清編碼的傳輸過程中系統(tǒng)平均帶寬占用為2Mbps，局域網(wǎng)平均網(wǎng)絡(luò)延時為200ms，因特網(wǎng)平均網(wǎng)絡(luò)延時為2000ms。
權(quán)利要求
1.一種手術(shù)室醫(yī)學(xué)信息重構(gòu)與交互系統(tǒng)，其特征在于，包括信息采集模塊、信息處理模塊、服務(wù)器端模塊和客戶端模塊，其中客戶端模塊通過局域網(wǎng)和/或因特網(wǎng)與服務(wù)器端模塊相連，傳輸手術(shù)過程中醫(yī)學(xué)影像及視音頻信息所述的信息處理模塊包括信息重構(gòu)子模塊、編解碼子模塊和信息交互子模塊，其中 信息重構(gòu)子模塊使用畫中畫和分屏的方式對術(shù)野攝像頭視頻、全景攝像頭視頻以及腔鏡設(shè)備影像進行組合實現(xiàn)對采集的視頻信息和醫(yī)學(xué)信息的重構(gòu)，經(jīng)組合的視頻作為重構(gòu)后的信息經(jīng)由系統(tǒng)壓縮后傳輸至服務(wù)器端和客戶端，編解碼子模塊采用基于H. 264的標準視頻編解碼并采用基于RTP協(xié)議進行視音頻傳輸，通過線程優(yōu)化實現(xiàn)高清視音頻的編解碼和實時遠程傳輸，實現(xiàn)傳輸過程中的視音頻同步，信息交互子模塊對音頻信息和視頻信息獨立管理并使用畫中畫方式組合遠端全景視頻和重構(gòu)后的視頻信息以實現(xiàn)在交互過程中音頻的點對點通信和廣播通信。
2.根據(jù)權(quán)利要求1所述的手術(shù)室醫(yī)學(xué)信息重構(gòu)與交互系統(tǒng)，其特征是，所述的信息采集模塊包括音頻采集子模塊、全景視頻采集子模塊、術(shù)野視頻采集子模塊和醫(yī)學(xué)設(shè)備影像采集子模塊，其中音頻采集子模塊采集環(huán)境音頻，全景視頻采集子模塊采集全景攝像頭圖像，術(shù)野視頻采集子模塊采集手術(shù)術(shù)野視頻，醫(yī)學(xué)設(shè)備影像采集子模塊采集腔鏡、C型臂X 光機設(shè)備影像。
3.根據(jù)權(quán)利要求1所述的手術(shù)室醫(yī)學(xué)信息重構(gòu)與交互系統(tǒng)，其特征是，所述的服務(wù)器端模塊包括觸摸控制子模塊和多屏顯示子模塊，其中觸摸控制子模塊通過觸摸屏統(tǒng)一控制手術(shù)室內(nèi)醫(yī)學(xué)設(shè)備和手術(shù)室內(nèi)外視音頻交互，多屏顯示子模塊將重構(gòu)的醫(yī)學(xué)影像信息以及交互視頻通過手術(shù)室內(nèi)多塊醫(yī)學(xué)專用屏和醫(yī)學(xué)展示屏進行顯示。
全文摘要
一種面向手術(shù)室的手術(shù)室醫(yī)學(xué)信息重構(gòu)與交互系統(tǒng)，包括信息采集模塊、信息處理模塊、服務(wù)器端模塊和客戶端模塊，客戶端模塊通過局域網(wǎng)和/或因特網(wǎng)與服務(wù)器端模塊相連，傳輸手術(shù)過程中醫(yī)學(xué)影像及視音頻信息。本發(fā)明通過對系統(tǒng)采集的視音頻信息及醫(yī)學(xué)影像信息的重構(gòu)組合以及基于H.264和RTP標準的視音頻編解碼傳輸，建立手術(shù)室與外界的網(wǎng)絡(luò)連接，實現(xiàn)手術(shù)室與示教室、主任室以及遠程會議室之間高清且豐富的視音頻交互，具有以軟件方式實時組合傳輸高清醫(yī)學(xué)影像的優(yōu)點。
文檔編號G06F19/00GK102164273SQ20111009934
公開日2011年8月24日 申請日期2011年4月20日 優(yōu)先權(quán)日2011年4月20日
發(fā)明者嚴駿馳, 劉允才, 宋健, 沈軼, 趙乾坤 申請人:上海交通大學(xué)