基于在線手語翻譯的聾人遠程聊天方法與流程

本發明涉及聾人服務應用技術領域，具體涉及一種基于在線手語翻譯的聾人遠程聊天方法。

背景技術：

在現代信息社會，音視頻聊天是異地親友間遠程溝通使用的主要方式。然而聾人由于聽覺和語言障礙，無法通過現有的聊天系統或軟件與聽人親友進行遠程無障礙溝通。其解決方法目前主要有四種：第一，現場人工翻譯。在聾人現場或聽人現場，安排專門的手語翻譯者進行聾、聽互譯。這種方式的缺點是：手語翻譯從業者數量較少且費用較高，并且聾人群體和手語翻譯者信息流通不暢，造成供需不平衡不及時。第二，文字溝通。聾、聽雙方使用普通聊天軟件的文字聊天功能進行溝通，但受文化程度和表達習慣等影響，這種方式并未得到聾人認可，而且文字溝通存在速度慢、打字不方便等缺點。第三，借助基于人工智能的手語自動翻譯器，但這種翻譯器本身尚處于研究階段，目前并未看到成熟的應用級產品。第四，有人提出利用傳統視頻電話技術將聾人、聽人和手語翻譯者連接完成溝通的方法，但這種方法的實現需要傳統視頻會議系統的支持，這對普通使用者難度較大，且使用范圍較小；而且，該方法不能做到實時在線地提供翻譯服務，對供需雙方需求問題解決效果并不好。此外，為了改善聾人和聽人的現場溝通困難，我們提出了基于在線手語翻譯的聾人溝通方法(專利申請號：201710474975.1)。本文發明是對上述專利的擴展，主要解決了聾人和聽人在異地、遠程進行溝通的問題。

總的來說，手語翻譯是聾人和聽人親友間遠程溝通時的共同需求，但現有方法還不能很好地支持這一需求，還存在費用高、不符合聾人習慣等不足，因此，研究新的、適合聾人的遠程聊天方法就具有重要的現實意義。

技術實現要素：

本發明的目的在于解決現有聊天方法用于聾人和聽人遠程聊天時存在成本高、使用習慣不兼容、溝通效果差等不足，旨在提供一種費用低、普遍可接受、溝通效果好的聾人遠程聊天方法。

一種基于在線手語翻譯的聾人遠程聊天方法，包括如下步驟：

step1：選擇并呼叫好友；

step2：聾人端和聽人端建立并維護連接；

step3：服務器端判定所述聾人端和所述聽人端是否接通，如果是則轉step4，否則轉step2；

step4：呼叫客服；

step5：所述服務器端判定是否有空閑客服，如果是，則選擇一個空閑客服并轉step7，否則轉step6；

step6：所述服務器端判定是否繼續呼叫，如果是，則轉step4，否則結束；

step7：所述聾人端、所述聽人端和所述客服端三方建立并維護連接；

step8：所述服務器端判定三方是否接通，如果是則轉step9，否則轉step7；

step9：所述聾人端、所述聽人端和所述客服端三方信息交互；

step10：所述服務器端判定所述聾人端、所述聽人端和所述客服端三方交互是否中斷，如果是則轉step11，否則轉step9；

step11：所述服務器端判定是否正常結束，如果是則結束，否則轉step7。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step1具體為：

所述聾人端為聾人攜帶的便攜式移動終端，所述聽人端為聽人攜帶的便攜式移動終端，所述客服端為手語翻譯客服人員使用的計算機軟硬件系統，所述服務器端為提供所述聾人端、所述聽人端和所述客服端請求響應與服務的計算機軟硬件系統。

所述聾人端、所述聽人端和所述客服端可分別向所述服務器端注冊成為合法聾人端用戶、聽人端用戶和客服端用戶；聾人端用戶和聽人端用戶可以互相加為好友；對于每個聾人端用戶和聽人端用戶，服務器端都為其維護一個好友列表，并為其提供增加、刪除、修改、查找、選擇、呼叫好友功能，且在同一時刻，每個聾人端用戶和聽人端用戶能且只能選擇一個處于在線狀態的好友進行呼叫，聾人端用戶或聽人端用戶的每個選擇并呼叫好友的操作，均形成一對“聾人端用戶-聽人端用戶”；客服端用戶的狀態有：在線、離線、空閑、服務，其中空閑的定義為該客服端用戶處于在線狀態且未和任何一對“聾人端用戶-聽人端用戶”交互，服務的定義為該客服端用戶處于在線狀態且正與某對“聾人端用戶-聽人端用戶”交互。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step2具體為：

“聾人端用戶-聽人端用戶”建立網絡和音視頻連接，二者建立連接的必要條件是二者同時在線且均同意建立連接；所述服務器端負責在二者之間建立并維護連接。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step4具體為：

“聾人端用戶-聽人端用戶”呼叫客服，指所述聾人端用戶和/或所述聽人端用戶向所述服務器端提交呼叫客服請求。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step5具體為：

所述服務器端響應step4中的呼叫客服請求后，查詢在本端注冊的合法客服端用戶并判定是否存在空閑客服，若是，則所述服務器端選定一個空閑客服分配給提出請求的“聾人端用戶-聽人端用戶”，該空閑客服轉變為服務客服，從而形成一組“聾人端用戶-聽人端用戶-服務客服”，轉step7執行；否則轉step6執行。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step6具體為：

所述服務器端向提出請求的“聾人端用戶-聽人端用戶”反饋信息“當前無空閑客服”；該“聾人端用戶-聽人端用戶”收到反饋信息后，如果選擇繼續呼叫客服，則轉step2執行；否則，結束。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step7具體為：

對于每組“聾人端用戶-聽人端用戶-服務客服”，所述服務器端負責在聾人端用戶、聽人端用戶、服務客服三方建立并維護連接，此連接是網絡和音視頻連接。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step8具體為：

對于每組“聾人端用戶-聽人端用戶-服務客服”，定義其連接的狀態值：1表示三方處于接通狀態，意為三方中的任意兩方均處于接通狀態；0表示三方處于斷開狀態，意為至少存在兩方處于斷開狀態；如果其連接的狀態值為1，則轉step9，為0則轉step7。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step9具體為：

step91：所述聾人端采集聾人手語及文字信息，并通過step7建立的連接將其發送給所述客服端；所述客服端接收所述聾人端發送來的聾人手語及文字信息并展示給服務客服進行翻譯，接著所述客服端通過采集服務客服手語、語音及文字信息生成翻譯信息一，然后通過step7建立的連接將翻譯信息一發送給所述聽人端；所述聽人端接收所述客服端發送來的翻譯信息一并展示給聽人；

step92：所述聽人端采集聽人語音及文字信息，并通過step7建立的連接將其發送給所述客服端；所述客服端接收所述聽人端發送來的聽人語音及文字信息并展示給服務客服進行翻譯，接著所述客服端通過采集服務客服手語、語音及文字信息生成翻譯信息二，然后通過step7建立的連接將翻譯信息二發送給所述聾人端；所述聾人端接收所述客服端發送來的翻譯信息二并展示給聾人。

對于每組處于接通狀態的“聾人端用戶-聽人端用戶-服務客服”，三方采用不分先后的步驟step91和步驟step92進行交互，所述服務器端負責監控每組“聾人端用戶-聽人端用戶-服務客服”的用戶狀態及連接狀態。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step10具體為：

對于每組“聾人端用戶-聽人端用戶-服務客服”，當其連接的狀態值從1變為0時，稱為三方交互中斷；所述服務器端負責判斷三方交互是否中斷，如果交互中斷，則轉step11執行，否則轉step9執行。

在本發明提供的基于在線手語翻譯的聾人遠程聊天方法的一種較佳實施例中，步驟step11具體為：

對于每組交互中斷的“聾人端用戶-聽人端用戶-服務客服”，定義：如果聾人端用戶和聽人端用戶至少一方主動掛斷三方連接，則稱三方交互正常結束，否則稱非正常結束；所述服務器端負責判斷三方交互是否正常結束，如果是，則結束；否則轉step7執行。

相較于現有技術，本發明主要解決了聾人和聽人在異地、遠程進行溝通的問題，且具有以下有益效果：

一、解決現有聊天軟件或系統對聾人支持不夠的問題，明顯改善聾人和聽人親友在異地、遠程溝通時的體驗；

二、相較于現場人工翻譯方法，具有成本低、服務實時的優點；

三、相較于文字溝通方法，具有使用習慣普遍接受，溝通體驗好的優點；

四、相較于自動翻譯器等其它方法，具有實施難度低、溝通效果好的優點。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖，其中：

圖1示出了本發明所提基于在線手語翻譯的聾人遠程聊天方法流程圖；

圖2是本文所提方法工作原理圖；

圖3是本文所提方法各端連接圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明的一部分實施例，而不是全部的實施例。另外，本發明所提方法可通過一般可執行程序代碼實現。

請參閱圖1，是本發明所提基于在線手語翻譯的聾人遠程聊天方法流程圖。

step1：選擇并呼叫好友；

step2：聾人端和聽人端建立并維護連接；

step3：服務器端判定所述聾人端和所述聽人端是否接通，如果是則轉step4，否則轉step2；

step4：呼叫客服；

step5：所述服務器端判定是否有空閑客服，如果是，則選擇一個空閑客服并轉step7，否則轉step6；

step6：所述服務器端判定是否繼續呼叫，如果是，則轉step4，否則結束；

step7：所述聾人端、所述聽人端和所述客服端三方建立并維護連接；

step8：所述服務器端判定三方是否接通，如果是則轉step9，否則轉step7；

step9：所述聾人端、所述聽人端和所述客服端三方信息交互；

step10：所述服務器端判定所述聾人端、所述聽人端和所述客服端三方交互是否中斷，如果是則轉step11，否則轉step9；

step11：所述服務器端判定是否正常結束，如果是則結束，否則轉step7。

實施例

步驟step1：選擇并呼叫好友。具體步驟如下：

第一步，請參閱圖2和圖3，令聾人端為聾人攜帶的手機，記為a，可處理聾人手語及文字信息；令聽人端為聽人攜帶的手機，記為b，可處理聽人語音及文字信息；令客服端為手語翻譯客服人員使用的pc計算機系統，記為p；令服務器端為提供請求響應與服務的服務器系統，記為s；將a、b、p和s以圖3所示方式連接；

第二步，令a、b、p分別向s注冊成為合法用戶；

第三步，令a和b的狀態均為“在線”；

第三步，令a和b互相加為好友；

第四步，請參閱圖2中的“一”，令a在其好友列表查找并選擇b，然后向s請求呼叫好友；

第五步，請參閱圖2中的“二”，s處理a的呼叫請求操作，并形成一對“聾人端用戶-聽人端用戶”即“a-b”。

步驟step2：聾人端和聽人端建立并維護連接。具體步驟如下：

第一步，請參閱圖2中的“三”，s在a和b之間建立網絡和音視頻連接；

第二步，s負責維護“a-b”連接，轉step3執行。

步驟step3：服務器端判定所述聾人端和所述聽人端是否接通，如果是則轉step4，否則轉step2。具體步驟如下：

第一步，對于“a-b”，s判定其連接的狀態為接通；

第二步，轉step4執行。

步驟step4：呼叫客服。具體步驟如下：

第一步，請參閱圖2中的“四”，令a向s提交呼叫客服請求，即“a-b”向s提交呼叫客服請求。

步驟step5：所述服務器端判定是否有空閑客服，如果是，則選擇一個空閑客服并轉step7，否則轉step6。具體步驟如下：

第一步，令p的狀態為空閑；

第二步，請參閱圖2中的“五”，s收到“a-b”的呼叫客服請求后，查詢到本端已注冊的合法客服端用戶p，并判定p的狀態為空閑；

第三步，請參閱圖2中的“六”，s選擇p并將其分配給“a-b”，p成為服務客服，從而形成一組“聾人端用戶-聽人端用戶-服務客服”，即“a-b-p”；

第四步，轉step7執行。

步驟step7：所述聾人端、所述聽人端和所述客服端三方建立并維護連接。具體步驟如下：

第一步，請參閱圖2中的“七”，對于“a-b-p”，s在a、b、p三方建立網絡和音視頻連接；

第二步，s將“a-b-p”連接的狀態值置為1，并負責維護此連接，轉step8執行。

步驟step8：所述服務器端判定三方是否接通，如果是則轉step9，否則轉step7。具體步驟如下：

第一步，對于“a-b-p”，s判斷其三方接通；

第二步，轉step9執行。

步驟step9：所述聾人端、所述聽人端和所述客服端三方信息交互。具體步驟如下：

第一步，請參閱圖2，a負責采集聾人手語及文字信息，并通過“a-b-p”連接將其發送給p；

第二步，p接收a發送來的聾人手語及文字信息并展示給客服進行翻譯，接著采集客服手語、語音及文字信息以生成翻譯信息一，然后通過“a-b-p”連接將翻譯信息一發送給b；

第三步，b接收p發送來的翻譯信息一并展示給聽人，然后采集聽人語音及文字信息，并通過“a-b-p”連接將其發送給p；

第四步，p接收b發送來的聽人語音及文字信息并展示給客服進行翻譯，接著采集客服手語、語音及文字信息以生成翻譯信息二，然后通過“a-b-p”連接將翻譯信息二發送給a；

第五步，請參閱圖2中的“八”，三方進行交互式通話，s負責監控“a-b-p”的用戶狀態及連接狀態。

步驟step10：所述服務器端判定所述聾人端、所述聽人端和所述客服端三方交互是否中斷，如果是則轉step11，否則轉step9。具體步驟如下：

第一步，請參閱圖2中的“九”，a主動掛斷連接；

第二步，“a-b-p”連接的狀態值1變為0；

第三步，s判斷“a-b-p”三方交互中斷，轉step11執行。

步驟step11：所述服務器端判定是否正常結束，如果是則結束，否則轉step7。具體步驟如下：

第一步，請參閱圖2中的“十”，s判斷“a-b-p”三方交互正常結束”；

第二步，結束。

相較于現有技術，本發明主要解決了聾人和聽人在異地、遠程進行溝通的問題，且具有以下有益效果：

一、解決現有聊天軟件或系統對聾人支持不夠的問題，明顯改善聾人和聽人親友在異地、遠程溝通時的體驗；

二、相較于現場人工翻譯方法，具有成本低、服務實時的優點；

三、相較于文字溝通方法，具有使用習慣普遍接受，溝通體驗好的優點；

四、相較于自動翻譯器等其它方法，具有實施難度低、溝通效果好的優點。

為使本發明的目的、方案和優點更加清楚明白，本實施例僅以手機為例并結合說明書附圖來進行說明，其他可實現聯網及音視頻連接的移動端，以及對于本領域普通技術人員來講，在不付出創造性勞動的前提下所提出的類似方法，都在該權利保護的范圍之內。