極客號（Daydx.com）6月6日 消息:盡管大規(guī)模語言模型在各種自然語言處理任務中展現(xiàn)出卓越的性能，但算術類問題仍然是一個難題，即使是目前最強大的GPT-4也很難解決基本的運算問題。
最近，來自新加坡國立大學的研究人員提出了一個專門用于算術問題的模型，名為Goat。在對LLaMA模型進行微調(diào)后，Goat在算術上實現(xiàn)了比GPT-4更出色的性能。
通過微調(diào)合成的算術數(shù)據(jù)集，Goat在BIG-bench算術子任務上實現(xiàn)了最先進的性能。通過監(jiān)督微調(diào)，Goat在大數(shù)加減運算中實現(xiàn)了準確率近乎完美，超越了之前所有的預訓練語言模型，例如Bloom、OPT、GPT-NeoX等。其中，零樣本的Goat-7B所達到的精度甚至超過了少樣本學習后的PaLM-540。
論文地址:https://arxiv.org/pdf/2305.14201.pdf
研究人員將Goat的卓越性能歸功于LLaMA的數(shù)字一致性分詞技術。
為了解決更具挑戰(zhàn)性的任務，例如大數(shù)乘法和除法，研究人員提出了一種方法，將任務根據(jù)算術的可學習性進行分類，然后利用基本算術原理將不可學習的任務（例如多位數(shù)乘法和除法）分解為一系列可學習的任務。通過全面實驗驗證后，文中提出的分解步驟可以有效地提高算術性能。
此外，Goat-7B可以在24GB VRAM GPU上使用LoRA進行高效訓練。而其他研究人員也可以很容易地重復這個實驗，因為該模型、數(shù)據(jù)集和生成數(shù)據(jù)集的Python腳本即將開源。
鄭重聲明：本文內(nèi)容及圖片均整理自互聯(lián)網(wǎng)，不代表本站立場，版權歸原作者所有，如有侵權請聯(lián)系管理員(admin#wlmqw.com)刪除。
