北京搜狗科技發展有限公司占吉清獲國家專利權
買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！
龍圖騰網獲悉北京搜狗科技發展有限公司申請的專利一種模型訓練方法、裝置和用于模型訓練的裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114090730B 。
龍圖騰網通過國家知識產權局官網在2025-12-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111276228.X，技術領域涉及：G06F16/334；該發明授權一種模型訓練方法、裝置和用于模型訓練的裝置是由占吉清設計研發完成，并于2021-10-29向國家知識產權局提交的專利申請。
本一種模型訓練方法、裝置和用于模型訓練的裝置在說明書摘要公布了：本發明實施例提供了一種模型訓練方法、裝置和用于模型訓練的裝置。所述方法包括：獲取訓練數據，所述訓練數據包括與預訓練任務無關的第一訓練數據，以及與預訓練任務相關的第二訓練數據；將所述第一訓練數據輸入語言模型，基于所述預訓練任務對所述語言模型進行預訓練，得到候選語言模型；基于所述第二訓練數據對所述候選語言模型進行調整，得到目標語言模型。本發明實施例得到候選語言模型能夠適用于預訓練任務，網絡結構、參數等更符合預訓練任務的任務需求；基于與預訓練任務相關的第二訓練數據對所述候選語言模型進行調整，根據候選模型的損失值調整模型參數，進一步提升了模型性能，提高了目標語言模型的準確度。
本發明授權一種模型訓練方法、裝置和用于模型訓練的裝置在權利要求書中公布了：1.一種模型訓練方法，其特征在于，所述方法包括： 獲取訓練數據，所述訓練數據包括與預訓練任務無關的第一訓練數據，以及與預訓練任務相關的第二訓練數據； 將所述第一訓練數據的第一字符編碼向量、第一拼音編碼向量、第一位置編碼向量和第一聲學特征向量輸入語言模型，基于所述預訓練任務對所述語言模型進行預訓練，得到候選語言模型，所述預訓練任務包括文本順滑任務、第一任務和第二任務，所述文本順滑任務用于識別文本數據中不流利部分的字符，并去除文本中的不流利部分，所述第一任務用于預測所述第一訓練數據中需要被順滑的字符，所述第二任務用于預測所述第一訓練數據中被遮蔽的字符； 基于所述第二訓練數據的順滑標簽和預測結果對所述候選語言模型的模型參數進行調整，得到目標語言模型；所述預測結果為所述第二訓練數據的文本順滑結果。
如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京搜狗科技發展有限公司，其通訊地址為：100084 北京市海淀區中關村東路1號院9號樓搜狐網絡大廈9層01房間；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
以上內容由龍圖騰AI智能生成。
免責聲明
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
開放平臺
擔保交易
惠及多方
會員特惠
專屬平臺
適合多方
數據共享
功能齊全
皖公網安備 34010402703815號
請提出您的寶貴建議，有機會獲取IP積分或其他獎勵