速途網訊 10月16日，IDEA研究院（粵港澳大灣區數字經濟研究院）CCNL封神榜團隊開源中文基座模型Ziya2-13B-Base及其對話模型Ziya2-13B-Chat，兩款模型均完全免費、可商用，已在魔搭社區ModelScope首發上架。

三個月前，Meta開源Llama2系列大模型，包括7B、13B、70B等多個版本，它們均基于超過2萬億tokens數據集訓練而成。封神榜團隊在Llama2-13B的基礎上，進行了650B tokens自建高質量中英文數據集的繼續訓練，最終訓練出Ziya2-13B系列模型，彌補Llama2中文能力不足的問題。

今年5月，封神榜團隊曾基于LLaMA一代推出了Ziya-LLaMA-13B模型并開源，迅速成為LLaMA生態里最好的中文基座模型。相較于Ziya-LLaMA-13B，Ziya2-13B-Base的初始訓練loss值更低，訓練速度提升38%，還解決了訓練后期不穩定的問題。

評測結果顯示，Ziya2-13B-Base模型在中文、英文、數學、代碼等下游理解任務上的表現均明顯優于Llama2-13B和Ziya-LLaMA-13B。

依托于Ziya2-13B-Base強大的基礎能力，封神榜團隊優化了SFT階段的訓練策略，在300B tokens 預訓練的Ziya2-13B-Base模型基礎上，使用約40萬指令樣本和8K上下文窗口，訓練出對話模型Ziya2-13B-Chat。此外，還在數萬條高質量人類偏好數據訓練的獎勵模型上，針對多種問答、寫作以及安全任務進行了強化學習訓練，使Ziya2-13B-Chat模型的輸出更貼合人類偏好，具有更高的安全性。

評測結果顯示，Ziya2-13B-Chat模型與Ziya-LLaMA-13B-v1.1模型在side-by-side評測下取得了66.5%的勝率，相較于人類反饋強化學習前的版本取得了58.4%的勝率。

魔搭社區基于Ziya2-13B-Chat模型開發了體驗接口，普通用戶可以直接體驗或使用模型；魔搭公眾號也推出了最佳實踐教程，提前跑通模型的部署、推理和微調，供開發者參考。

作為魔搭社區的重要合作伙伴，封神榜團隊開源的系列大模型都把魔搭作為首發平臺，這些模型也在開發者群體中廣受歡迎。

阿里云魔搭是國內規模最大、開發者最活躍的AI模型社區，已聚集國內30多家頭部人工智能機構貢獻的1200多款優質AI模型，并提供一站式的模型體驗、下載、推理、調優、定制等服務，模型總下載量已突破 8500萬次。（梔橙）