概括而言,本申請涉及機器學習。
背景技術:
1、隨著包括機器學習(ml)模型的人工智能(ai)實現移動計算設備中的變換式新用戶體驗,數據安全和隱私變得越來越重要。在移動部署場景中,ml模型可以利用大訓練數據集在遠程的、基于云的服務器中被訓練,并且然后可以被部署到移動設備。雖然該方法推廣到一些移動設備用戶,但這并不提供用戶個性化,因此某些用戶可能體驗到低于標準的性能。此外,給定用戶在對托管在基于云的服務器上的ml模型的訓練進行個性化上可能是猶豫的(例如,其不關心數據安全性和隱私)。
技術實現思路
1、提供了用于個性化機器學習的系統、方法和制品,包括計算機程序產品。
2、在一個方面中,提供了一種方法,所述方法包括:由用戶設備接收用于機器學習模型的配置,配置包括由服務器在對機器學習模型的第一階段訓練期間確定的多個權重;由用戶設備使用在用戶設備處的本地訓練數據來發起對機器學習模型的第二階段訓練,以在不更新機器學習模型的多個權重的情況下將機器學習模型個性化到用戶設備的用戶,其中,本地訓練數據被應用于機器學習模型以至少生成映射到標簽的參考嵌入,其中,參考嵌入和標簽被存儲在用戶設備處的字典中;響應于在機器學習模型處接收到第一未知樣本,由用戶設備使用機器學習模型通過生成第一嵌入來執行第一推理任務,第一嵌入用于查詢字典以至少找到第一參考嵌入和用于標識第一未知樣本的標簽;響應于用戶設備處的條件被滿足,由用戶設備至少使用在用戶設備處的本地訓練數據來觸發對機器學習模型的第三階段訓練,以更新機器學習模型的多個權重并且將機器學習模型進一步個性化到用戶設備的用戶;以及響應于在機器學習模型處接收到第二未知樣本,由用戶設備使用具有所更新的權重的機器學習模型,通過生成第二嵌入以查詢字典以找到第二參考嵌入和用于標識第二未知樣本的對應標簽,來執行第二推理任務。
3、在一些變型中,本文公開的包括以下特征的特征中的一個或多個特征可以可選地包括在任何可行的組合中。響應于機器學習模型的多個權重的更新,參考嵌入被更新。接收還可以包括:接收映射到對應標簽的一個或多個參考嵌入的初始集合。機器學習模型接收來自不同域的輸入,其中,不同域包括以下各項中的至少一項:音頻樣本、視頻樣本、圖像樣本、生物特征樣本、生物電樣本、心電圖樣本、腦電圖樣本和/或肌電圖樣本。字典包括包含在用戶設備中的關聯存儲器,其中,關聯存儲器存儲多個參考嵌入,多個參考嵌入中的每個參考嵌入被映射到標簽。關聯存儲器包括查找表、內容可尋址存儲器和/或散列函數實現的存儲器,和/或其中,關聯存儲器包括耦合到數字電路的隨機存取存儲器,所述數字電路針對參考嵌入來搜索隨機存取存儲器。字典被包括在使用自旋軌道扭矩和/或自旋轉移扭矩的磁阻存儲器中。第一未知樣本和第二未知樣本包括來自至少一個揚聲器的語音樣本,其中,第一未知樣本和第二未知樣本包括圖像樣本,和/或其中,第一未知樣本和第二未知樣本包括視頻樣本。第一未知樣本和第二未知樣本包括生物特征樣本,其中,生物特征樣本包括心電圖樣本、腦電圖樣本和/或肌電圖信號。至少一個參考嵌入、第一嵌入和第二嵌入各自包括作為機器學習模型的輸出來生成的特征向量。機器學習模型包括神經網絡和/或卷積神經網絡。機器學習模型是使用三元組損失函數和/或梯度下降來訓練的。當處理來自不同域的輸入時,機器學習模型的至少一個層使用相同的權重。
4、當前主題的實現可以包括與本文提供的描述一致的系統和方法以及包括有形地體現的機器可讀介質的制品,機器可讀介質可操作以使得一個或多個機器(例如,計算機等)導致本文描述的操作。類似地,還描述了可以包括一個或多個處理器和耦合到一個或多個處理器的一個或多個存儲器的計算機系統。可以包括計算機可讀存儲介質的存儲器可以包括、編碼、存儲等一個或多個程序,該一個或多個程序使得一個或多個處理器執行本文描述的操作中的一個或多個操作。與當前主題的一個或多個實現一致的計算機實現的方法可以由駐留在單個計算系統或多個計算系統中的一個或多個數據處理器來實現。這樣的多個計算系統可以被連接并且可以經由一個或多個連接(包括但不限于通過網絡(例如,互聯網、無線廣域網、局域網、廣域網、有線網絡等)的連接、經由在多個計算系統中的一個或多個計算系統之間的直接連接等)交換數據和/或命令或其它指令等。
5、在附圖和以下描述中闡述了本文描述的主題的一個或多個變型的細節。根據說明書和附圖以及權利要求,本文描述的主題的其它特征和優點將是顯而易見的。盡管出于說明性目的關于個性化機器學習描述了當前公開的主題的某些特征,但是應當容易理解,此類特征不旨在是限制性的。遵循本公開內容的權利要求旨在限定受保護主題的范圍。
1.一種方法,包括:
2.根據權利要求1所述的方法,其中,響應于所述機器學習模型的所述多個權重的所述更新,所述參考嵌入被更新,和/或其中,所述接收還包括:接收映射到對應標簽的一個或多個參考嵌入的初始集合。
3.根據權利要求1所述的方法,其中,所述機器學習模型接收來自不同域的輸入,其中,所述不同域包括以下各項中的至少一項:音頻樣本、視頻樣本、圖像樣本、生物特征樣本、生物電樣本、心電圖樣本、腦電圖樣本和/或肌電圖樣本。
4.根據權利要求1所述的方法,其中,所述字典包括包含在所述用戶設備中的關聯存儲器,其中,所述關聯存儲器存儲多個參考嵌入,所述多個參考嵌入中的每個參考嵌入被映射到標簽。
5.根據權利要求4所述的方法,其中,所述關聯存儲器包括查找表、內容可尋址存儲器和/或散列函數實現的存儲器,和/或其中,所述關聯存儲器包括耦合到數字電路的隨機存取存儲器,所述數字電路針對參考嵌入來搜索所述隨機存取存儲器。
6.根據權利要求1所述的方法,其中,所述字典被包括在使用自旋軌道扭矩和/或自旋轉移扭矩的磁阻存儲器中。
7.根據權利要求1所述的方法,其中,所述第一未知樣本和所述第二未知樣本包括來自至少一個揚聲器的語音樣本,其中,所述第一未知樣本和所述第二未知樣本包括圖像樣本,和/或其中,所述第一未知樣本和所述第二未知樣本包括視頻樣本。
8.根據權利要求1所述的方法,其中,所述第一未知樣本和所述第二未知樣本包括生物特征樣本,其中,所述生物特征樣本包括心電圖樣本、腦電圖樣本和/或肌電圖信號。
9.根據權利要求1所述的方法,其中,所述至少一個參考嵌入、所述第一嵌入和所述第二嵌入各自包括作為所述機器學習模型的輸出來生成的特征向量。
10.根據權利要求1所述的方法,其中,所述機器學習模型包括神經網絡和/或卷積神經網絡。
11.根據權利要求1所述的方法,其中,所述機器學習模型是使用三元組損失函數和/或梯度下降來訓練的。
12.根據權利要求1所述的方法,其中,當處理來自不同域的輸入時,所述機器學習模型的至少一個層使用相同的權重。
13.一種系統,包括:
14.根據權利要求13所述的系統,其中,響應于所述機器學習模型的所述多個權重的所述更新,所述參考嵌入被更新,和/或其中,所述接收還包括:接收映射到對應標簽的一個或多個參考嵌入的初始集合。
15.根據權利要求13所述的系統,其中,所述機器學習模型接收來自不同域的輸入,其中,所述不同域包括以下各項中的至少一項:音頻樣本、視頻樣本、圖像樣本、生物特征樣本、生物電樣本、心電圖樣本、腦電圖樣本和/或肌電圖樣本。
16.根據權利要求13所述的系統,其中,所述字典包括包含在所述系統中的關聯存儲器,其中,所述關聯存儲器存儲多個參考嵌入,所述多個參考嵌入中的每個參考嵌入被映射到標簽。
17.根據權利要求16所述的系統,其中,所述關聯存儲器包括查找表、內容可尋址存儲器和/或散列函數實現的存儲器,和/或其中,所述關聯存儲器包括耦合到數字電路的隨機存取存儲器,所述數字電路針對參考嵌入來搜索所述隨機存取存儲器。
18.根據權利要求13所述的系統,其中,所述字典被包括在使用自旋軌道扭矩和/或自旋轉移扭矩的磁阻存儲器中。
19.根據權利要求13所述的系統,其中,所述第一未知樣本和所述第二未知樣本包括來自至少一個揚聲器的語音樣本,其中,所述第一未知樣本和所述第二未知樣本包括圖像樣本,和/或其中,所述第一未知樣本和所述第二未知樣本包括視頻樣本。
20.根據權利要求13所述的系統,其中,所述第一未知樣本和所述第二未知樣本包括生物特征樣本,其中,所述生物特征樣本包括心電圖樣本、腦電圖樣本和/或肌電圖信號。
21.根據權利要求13所述的系統,其中,所述至少一個參考嵌入、所述第一嵌入和所述第二嵌入各自包括作為所述機器學習模型的輸出來生成的特征向量。
22.根據權利要求13所述的系統,其中,所述機器學習模型包括神經網絡和/或卷積神經網絡。
23.根據權利要求13所述的系統,其中,所述機器學習模型是使用三元組損失函數和/或梯度下降來訓練的。
24.根據權利要求13所述的系統,其中,當處理來自不同域的輸入時,所述機器學習模型的至少一個層使用相同的權重。
25.根據權利要求13所述的系統,其中,所述系統包括用戶設備或被包括在用戶設備中。
26.一種包括代碼的非暫時性計算機可讀存儲介質,所述代碼在由至少一個處理器執行時使得包括以下各項的操作:
27.一種裝置,包括:
28.根據權利要求27所述的裝置,還包括在權利要求2-12中任一項中記載的功能中的任何一個功能。