百川智能再次展示了自己的“發(fā)展速度”。從今年4月成立后，相繼推出便相繼發(fā)布了Baichuan-7B、Baichuan-13B兩款開源免費可商用的中文大模型后，這次他們又出手了，再次迎來新的里程碑。
9月6日，百川智能宣布正式開源微調后的Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat與其4bit量化版本，并且均為免費可商用。
這款大模型進化到什么程度？按照百川智能CEO王小川的說法是，全面超越了LLaMA2的性能?！癇aichuan7B 70億參數模型在英文評測級上就已經能夠去齊平LLaMA2130億參數的模型。因此，我們說以小博大，小模型相當于大模型，我們有同尺寸大的模型就可以得到更高的性能，全面超越了LLaMA2的性能?！?/p>
百川智能此次還開源了模型訓練的Check Point，并宣布將發(fā)布 Baichuan 2技術報告，詳細介紹Baichuan 2的訓練細節(jié)，幫助大模型學術機構、開發(fā)者和企業(yè)用戶更深入的了解其訓練過程，更好地推動大模型學術研究和社區(qū)的技術發(fā)展。
文理兼?zhèn)湫阅軆?yōu)異，全面領先 LLaMA2
Baichuan2-7B-Base 和 Baichuan2-13B-Base，均基于 2.6萬億高質量多語言數據進行訓練，在保留了上一代開源模型良好的生成與創(chuàng)作能力，流暢的多輪對話能力以及部署門檻較低等眾多特性的基礎上，兩個模型在數學、代碼、安全、邏輯推理、語義理解等能力有顯著提升。
其中Baichuan2-13B-Base相比上一代13B模型，數學能力提升49%，代碼能力提升46%，安全能力提升37%，邏輯推理能力提升25%，語義理解能力提升15%。
本次開源的兩個模型在各大評測榜單上的表現優(yōu)秀，在MMLU、CMMLU、GSM8K等幾大權威評估基準中，以絕對優(yōu)勢領先LLaMA2，相比其他同等參數量大模型，表現也十分亮眼，性能大幅度優(yōu)于LLaMA2等同尺寸模型競品。
更值得一提的是，根據MMLU等多個權威英文評估基準評分 Baichuan2-7B以70億的參數在英文主流任務上與130億參數量的LLaMA2持平。
Baichuan2-7B和Baichuan2-13B不僅對學術研究完全開放，開發(fā)者也僅需郵件申請獲得官方商用許可后，即可以免費商用。
國內首創(chuàng)全程開源模型訓練Check Point，助力學術研究
大模型訓練包含海量高質量數據獲取、大規(guī)模訓練集群穩(wěn)定訓練、模型算法調優(yōu)等多個環(huán)節(jié)。每個環(huán)節(jié)都需要大量人才、算力等資源的投入，從零到一完整訓練一個模型的高昂成本，阻礙了學術界對大模型訓練的深入研究。
本著協作和持續(xù)改進的精神，百川智能本次開源了模型訓練從220B到2640B全過程的 Check Ponit。這對于科研機構研究大模型訓練過程、模型繼續(xù)訓練和模型的價值觀對齊等極具價值，將極大推動國內大模型的科研進展，開源訓練模型過程對國內開源生態(tài)尚屬首次。
技術報告揭示訓練細節(jié)，繁榮開源生態(tài)
當前大部分開源模型在開源過程中只是對外公開自身的模型權重，很少提及訓練細節(jié)，企業(yè)、研究機構、開發(fā)者們只能在開源模型的基礎上做有限的微調，很難進行深入研究。
秉持更開放、更透明的理念，為幫助從業(yè)者深入了解Baichuan 2的訓練過程和相關經驗，更好地推動大模型社區(qū)的技術發(fā)展。百川智能在發(fā)布會上宣布，公開Baichuan2的技術報告。技術報告將詳細介紹Baichuan 2 訓練的全過程，包括數據處理、模型結構優(yōu)化、Scaling law、過程指標等。
百川智能自成立之初，就將通過開源方式助力中國大模型生態(tài)繁榮作為公司的重要發(fā)展方向。成立不到四個月，便相繼發(fā)布了Baichuan-7B、Baichuan-13B兩款開源免費可商用的中文大模型，以及一款搜索增強大模型Baichuan-53B，兩款開源大模型在多個權威評測榜單均名列前茅，目前下載量超過500萬次。
不僅如此，在今年創(chuàng)立的大模型公司中，百川智能是唯一一家通過《生成式人工智能服務管理暫行辦法》備案，可以正式面向公眾提供服務的企業(yè)。憑借行業(yè)領先的基礎大模型研發(fā)和創(chuàng)新能力，此次開源的兩款Baichuan 2大模型，得到了上下游企業(yè)的積極響應，騰訊云、阿里云、火山方舟、華為、聯發(fā)科等眾多知名企業(yè)均參加了本次發(fā)布會并與百川智能達成了合作。
