OpenAI開源的數(shù)學(xué)數(shù)據(jù)集，中國廠商新成績一舉沖到最前列!

就在9月16日，國產(chǎn)大模型在權(quán)威推理評測集GSM8K中，首次達(dá)到了80%正確率，大幅領(lǐng)先GPT-3.5（57.1%）和LLaMA2-70B(56.8%)。

而且這家廠商在大模型榜單上刷新全球紀(jì)錄，已經(jīng)不是第一次了。

它背后的公司在風(fēng)起云涌的大模型技術(shù)江湖中，也頻頻被提及，越來越受關(guān)注。

不賣關(guān)子，它正是天工大模型，由昆侖萬維打造。

怎么做到的?具體來看。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

大模型推理能力Benchmark躋身前列

天工大模型這次一戰(zhàn)成名的，是大模型數(shù)學(xué)推理能力評測基準(zhǔn)，GSM8K。

GSM8K由OpenAI發(fā)布，是一個涵蓋8500個小學(xué)水平高質(zhì)量數(shù)學(xué)題的數(shù)據(jù)集，設(shè)計原則有四:

高質(zhì)量、高多樣性、中等難度和自然語言解決方案。

所以這家伙現(xiàn)在一般被用做測試各家大模型推理能力的Benchmark。

上個月，微軟和中國科學(xué)院聯(lián)合發(fā)布了一項關(guān)于WizardMath的研究結(jié)果，主要在GSM8K和另一個常見數(shù)學(xué)基準(zhǔn)上測試了市面上主流開閉源大模型的性能。

閉源模型上，拿下最高分的是GPT-4，正確率92%;GPT-3.5的正確率為57.1%。

開源模型這邊，不同參數(shù)規(guī)模的LLaMA-2最高正確率56.8%，最高分則被微軟的WizardMath-70B拿走，正確率81.6%。

那么，天工大模型的成績怎么樣?

正確率80%。

這個成績，比目前最強(qiáng)數(shù)學(xué)垂域開源模型的WizardMath-70B低了1.6%，與ChatGPT、540B參數(shù)的PaLM-2幾乎持平。

并且大幅超過GPT-3.5和各個規(guī)模的LLaMA2。

同時在小米公開的中文數(shù)學(xué)測試集Cmath上，天工大模型平均準(zhǔn)確率為76.8%（ChatGPT74.8%）。

為了做個驗證，按照慣例，天工大模型和GPT-3.5面臨了來自GSM8K測試集的英文同題考驗。

Round one

問:每天，Wendi給每只雞喂三杯混合雞飼料，其中包括種子、黃粉蟲和蔬菜，以幫助它們保持健康。她分三餐給雞喂食。上午，她給雞群喂15杯飼料。下午，她再給雞喂25杯飼料。

如果Wendi有20只雞，那么一天的最后一餐，她需要給雞喂多少杯飼料?

天工大模型答，一天的最后一餐中要喂20杯飼料，才能確保雞崽子們一天都吃飽。

GPT-3.5答，Wendi需要在一天的最后一餐中給雞崽子們喂21杯飼料。

OK，這一局，GPT-3.5輸了。

Round two

問:道費(fèi)爾姐妹帶著從動物收容所領(lǐng)養(yǎng)的7只小貓開車回家時，媽媽打來電話，告訴她們家里的兩只貓剛生了小貓。媽媽說，Patchy貓貓生了三倍于被領(lǐng)養(yǎng)數(shù)量的小貓，而另一只Trixie貓貓生了12只。

現(xiàn)在道費(fèi)爾一家一共有多少只小貓?

天工大模型答，當(dāng)然是有40只小貓啦～

GPT-3.5答，道費(fèi)爾一家現(xiàn)在共有33只小貓。

看來第二局還是天工大模型贏了。

Round3

問:巨龍高坐在法爾博山上，向1000英尺范圍內(nèi)的任何東西瘋狂噴火。波莉可以將壓制巨龍的武器投擲400英里，但當(dāng)她拿著藍(lán)寶石時，能比不拿寶石時把標(biāo)槍扔得遠(yuǎn)三倍。

如果拿著寶石，波莉能站在龍焰射程之外多遠(yuǎn)的地方，用金標(biāo)槍擊中龍?

天工大模型給出的解題思路如下，并且生成答案為200英尺。

GPT-3.5給出的解題思路也擺在這，最后答案也是200英尺。

這次二位打成了平局。

但是可以看到，相比GPT-3.5，天工大模型的解題思路更簡單直接，解題步驟也更少更短。

一般來說，目前主流大模型們最近不太流行公開評測結(jié)果，但昆侖萬維放話了:

更重要的是，天工大模型允許研究人員、開發(fā)者申請API，對上述結(jié)果進(jìn)行驗證。

PS申請方法:

提供“姓名”“手機(jī)號”“所屬機(jī)構(gòu)/單位”，發(fā)送至官方郵箱neice@kunlun-inc.com進(jìn)行申請。

若通過，三個工作日內(nèi)將收到回復(fù)郵件，內(nèi)含測試API及相關(guān)信息。

（截止時間為9月27日0點(diǎn)）

多個榜單躋身前列

除了GSM8K，另一個推理評測基準(zhǔn)Humaneval，以及兩個通識評測基準(zhǔn)MMUL、C-eval上，天工大模型也有出色表現(xiàn)。

△根據(jù)公開測試數(shù)據(jù)搜集整理

Humaneval同樣出自O(shè)penAI，是OpenAI為了評估Codex模型的有效性而創(chuàng)建的數(shù)據(jù)集。

通過這個數(shù)據(jù)集，研究人員可以對Codex模型進(jìn)行評估，并了解其在代碼生成方面的準(zhǔn)確性和效果。

在這個數(shù)據(jù)集上，天工大模型成績是37.2%。

MMLU是UC伯克利等打造，集合了科學(xué)、工程、數(shù)學(xué)、人文、社會科學(xué)等領(lǐng)域的57個科目。

其主要目標(biāo)，是對模型的英文跨學(xué)科專業(yè)能力進(jìn)行深入測試。天工大模型的成績是65%。

C-eval評測基準(zhǔn)由上海交大、清華以及愛丁堡大學(xué)聯(lián)合創(chuàng)建，是一個面向中文語言模型的綜合考試評測集，覆蓋了52個來自不同行業(yè)領(lǐng)域的學(xué)科。

天工大模型的得分為65，超過了GPT-3.5的54.4的成績。

成績亮眼的天工大模型，發(fā)布在今年4月。

其AI生成能力可滿足文案創(chuàng)作、知識問答、代碼編程、邏輯推演、數(shù)理推算等多元化需求。

4月發(fā)布，9月能取得醬紫的成績，昆侖萬維是怎么飼養(yǎng)天工大模型這匹黑馬的?

先拿模型實力來說話。

這是一個雙千億大模型（指天工擁有千億預(yù)訓(xùn)練基座模型和千億RLHF模型。），目前版本最高支持1萬字以上文本對話，實現(xiàn)20輪次以上用戶交互。

二者的“強(qiáng)強(qiáng)聯(lián)手”之下，天工大模型的優(yōu)勢便凸顯了出來。

而模型層之外，為大模型積攢實力的無外乎算法、算力、數(shù)據(jù)三大件。

算法層方面，天工大模型也有自己的秘籍。

通常來說，市面上大模型們普遍采用Transformer架構(gòu)。在此基礎(chǔ)上，天工團(tuán)隊首次引入了蒙特卡洛搜索樹算法（AlphaGo背后也是這算法）。

再說天工大模型背后的算力，基于中國最大的GPU集群之一。

強(qiáng)勁算力鼎力支持的，是天文數(shù)字版的數(shù)據(jù)量——按照借助“開源力量”的策略，天工從數(shù)十萬億的數(shù)據(jù)中，最終清洗、篩選出了近3萬億單詞的數(shù)據(jù)。

現(xiàn)在，天工大模型在推理、通識多個榜單開花，可以想見因為背后算力、算法、數(shù)據(jù)扎實儲備，天工大模型擁有的已經(jīng)不是模型規(guī)模優(yōu)勢，技術(shù)創(chuàng)新和推理性能方面，也有了新突破。

國產(chǎn)大模型繞不過的狠角色

其實，推理能力大幅超過GPT-3.5和LLaMA2，已經(jīng)不是昆侖萬維攜天工大模型第一次拿成績炸場。

不久之前，天工大模型多模態(tài)團(tuán)隊的Skywork-MM用了大約50M的圖文數(shù)據(jù)，以遠(yuǎn)小于其他大模型的數(shù)據(jù)量（>100M），登頂了多模態(tài)榜單。

△MME感知榜第一，認(rèn)知榜第二，總榜第一

昆侖萬維另一則引得眾人矚目的新聞，是AI大牛顏水成的加入。

他出任天工智能聯(lián)席CEO、2050全球研究院院長，將在新加坡、倫敦、硅谷三地建立2050全球研究院的研究中心，并逐步開展幾個領(lǐng)域的研究:

下一代Foundation Model的基礎(chǔ)研究和研發(fā);

Agent的研發(fā)和智能體進(jìn)化的研究;

生物智能等前沿技術(shù)領(lǐng)域的探索。

顏水成道出加盟昆侖萬維的原因:

大模型潮流，浩浩蕩蕩。

今年以來國產(chǎn)大模型的發(fā)展勢頭迅猛，吸引越來越多的人才加入其中，由此助力各家大模型不斷地迭代升級，涌現(xiàn)出更強(qiáng)大的能力，適配更廣泛的應(yīng)用場景。

昆侖萬維在大模型的變革中，戰(zhàn)略重視，動作頻頻，而且也有業(yè)務(wù)場景。

可以不夸張地說一句，昆侖萬維和它家的天工大模型，已經(jīng)是大模型江湖中，一個繞不過去的狠角色了。

—完—