| 創(chuàng)澤機器人 |
| CHUANGZE ROBOT |
語言大模型由于在大規(guī)模通用L域數(shù)據預訓練通常缺乏對特定任務或L域的知識，因此需要適配微調。微調可以幫助模型更好地適應特定需求，如對敏感數(shù)據(如醫(yī)療記錄)的處理，同時不暴露原始數(shù)據。此外，微調可以提G部署效率、減少計算資源需求。指令微調和參數(shù)G效學習是適配微調的關鍵技術。
指令微調(Instruction Tuning)[21],是一種可以幫助語言大模型實現(xiàn)人類語言指令遵循的能力，在零樣本設置中泛化到未見任務上的學習方法。指令微調學習形式與多任務提示微調相似，但與提示微調讓提示適應語言大模型并且讓下游任務對齊預訓練任務不同，其是讓語言大模型對齊理解人類指令并按照指令要求完成任務，即在給定指令提示的情況下給出特定的回應，其中提示可以選擇性包含一條解釋任務的指令。指令微調研究涉及指令理解、指令數(shù)據獲取和指令對齊等內容。
(1)指令理解，指語言大模型準確理解人類語言指令的能力，是語言大模型執(zhí)行指令完成任務的前提。為了增強對指令的理解，許多工作采用多任務提示方式對基于指令描述的大量任務集上對語言大模型進行微調，如FLAN[50]、InstructGPT[21]等，這些模型在未見的任務上顯示出優(yōu)越的零樣本性能。
(2)指令數(shù)據獲取，指如何構建包含多樣性的任務指令數(shù)據。指令數(shù)據構建常見有三種方式：i)基于公開人工標注數(shù)據構建，代表指令數(shù)據集包括1616種不同任務的Super-Natural Instruction[51]、2000種不同NLP任務的OPT-IML[52]。ii)借助語言大模型的自動生成構建，如Unnatural Instructions[53],通過種子指令作為提示讓語言大模型生成新的指令描述和問題，然后再輸入到模型讓其輸出回答。iii)基于人工標注方法，如ChatGPT在人工標注指令的基礎上通 過GPT-3、InstructGPT等在線平臺收集用戶真實指令數(shù)據。
 |
| 機器人底盤 Disinfection Robot 消毒機器人 講解機器人 迎賓機器人 移動機器人底盤 商用機器人 智能垃圾站 智能服務機器人 大屏機器人 霧化消毒機器人 紫外線消毒機器人 消毒機器人價格 展廳機器人 服務機器人底盤 核酸采樣機器人 機器人代工廠 智能配送機器人 噴霧消毒機器人 圖書館機器人 導引機器人 移動消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 消殺機器人 導覽機器人 |
