速途網(wǎng)6月27日訊（報道：喬志斌）今年3月，基于文心大模型3.0打造的百度新一代知識增強大語言模型“文心一言”公開邀測。時隔三個多月，文心大模型3.5版本即取得了效果、功能和性能上的全面提升。近日，百度首席技術(shù)官王海峰接受采訪，詳細解讀了文心3.5在技術(shù)和工程上的升級，展望了大模型在千行百業(yè)的落地前景。
據(jù)了解，與文心大模型3.0相比，3.5版本不僅在創(chuàng)作、問答、推理和代碼能力上全面升級，安全性顯著提升，訓(xùn)練和推理速度也大幅提升。對比數(shù)據(jù)顯示，文心大模型3.5的訓(xùn)練速度提升2倍，推理速度提升17倍。這將大大提高模型迭代升級的效率，大幅降低訓(xùn)練及使用成本，進一步提升用戶體驗。
新增插件機制，文心3.5擴增能力邊界
功能方面，文心大模型最大的一個變化是新增了插件機制。
“文心大模型3.5通過插件方式擴增了大模型的能力邊界。”王海峰說，默認的內(nèi)置插件“百度搜索”，使得文心一言具備生成實時準(zhǔn)確信息的能力；長文本摘要和問答插件“ChatFile”支持超長文本輸入等等。
王海峰表示，下一階段，文心一言將發(fā)布更多優(yōu)質(zhì)的百度官方和第三方插件，讓用戶能夠更好地應(yīng)用文心大模型。同時，文心一言也將逐步開放插件生態(tài)給第三方開發(fā)者，幫助開發(fā)者基于文心大模型打造自己的應(yīng)用。
持續(xù)技術(shù)創(chuàng)新，文心3.5學(xué)習(xí)和掌握更多知識
王海峰透露，文心大模型3.5在基礎(chǔ)模型訓(xùn)練上采用了飛槳最先進的自適應(yīng)混合并行訓(xùn)練技術(shù)及混合精度計算策略，并采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，大大加快了模型的迭代速度，顯著提升了模型效果和安全性。同時，百度文心大模型研發(fā)團隊創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù)，使模型效果及場景適配能力進一步顯著提升。
王海峰說，在此前知識增強和檢索增強的基礎(chǔ)上，文心大模型3.5版本進一步提出了“知識點增強技術(shù)”。具體而言，知識點增強技術(shù)首先是對用戶輸入的查詢、問題等進行分析理解，并解析出生成答案所需要的相關(guān)知識點；之后運用知識圖譜和搜索引擎為這些知識點找到相應(yīng)答案，最后再用這些知識點構(gòu)造輸入給大模型的提示。顯然，知識點增強技術(shù)能為大模型注入更具體、更詳細、更專業(yè)的知識點，顯著提升大模型對世界知識的掌握和運用，從而使其在各項任務(wù)上都取得了顯著的效果提升。
此外，在推理方面，研發(fā)團隊還通過大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識建模、粗粒度與細粒度語義知識組合以及符號神經(jīng)網(wǎng)絡(luò)技術(shù)，顯著提升文心大模型3.5在邏輯推理、數(shù)學(xué)計算及代碼生成等任務(wù)上的表現(xiàn)。
文心大模型最新能力，時刻準(zhǔn)備落地
面向公眾邀測的文心一言自5月23日以來，已升級到文心一言2.0，最新版本為 6月21日上線的文心一言V2.1.0。該版本的更新信息有“上線官方插件ChatFile，可基于長文檔進行問答和摘要”、“優(yōu)化了模型在數(shù)學(xué)計算和作文創(chuàng)作的能力”等，其背后，正是文心大模型3.5 提供的服務(wù)。
王海峰說，已獲得邀測資格的用戶可以隨時訪問服務(wù)，體驗文心大模型3.5的實際效果。
“凡是要跟語言文字或程序代碼打交道的應(yīng)用場景，都可能有文心一言的用武之地。”他表示，已經(jīng)有很多在積極應(yīng)用文心一言的場景，包括智能辦公、智能編程、智能營銷、智能媒體、智能教育、智能金融等。例如，當(dāng)前百度“如流”已經(jīng)基于文心一言的能力上線了“智能總結(jié)”、“智能洞察”、“超級助理”等多個新功能，傾力打造企業(yè)辦公的統(tǒng)一入口、重塑業(yè)務(wù)流程、打破系統(tǒng)邊界，實現(xiàn)工作模式的范式變革；再如，在智能編程方面，百度智能編碼助手Comate已可根據(jù)自然語言的描述，生成對應(yīng)的代碼片段，也支持在代碼編輯區(qū)內(nèi)根據(jù)注釋自動生成代碼，提升開發(fā)效率。
王海峰表示，文心大模型時刻準(zhǔn)備著落地千行百業(yè)，以高水平科技自立自強支撐高質(zhì)量發(fā)展。
