極客號(hào)(Daydx.com)8月4日 消息:近期研究人員提出了一種名為 LEVER 的技術(shù),通過(guò)學(xué)習(xí)驗(yàn)證生成的程序與執(zhí)行結(jié)果來(lái)改善自然語(yǔ)言到代碼的生成。LEVER 使用自然語(yǔ)言描述、程序表面形式和執(zhí)行結(jié)果的組合表示進(jìn)行訓(xùn)練,以識(shí)別和拒絕錯(cuò)誤的程序。
論文地址:https://arxiv.org/abs/2302.08468
為了評(píng)估,研究人員在代表不同領(lǐng)域的四個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),包括表 QA、數(shù)學(xué) QA 和基礎(chǔ) Python 編程,以評(píng)估 LEVER 的功效。使用 code-davinci-002的性能提升范圍為4.6% 到10.9%,并且結(jié)果始終優(yōu)于基本代碼 LLM。在所有數(shù)據(jù)集中,LEVER 都取得了全新的最先進(jìn)結(jié)果,證明了其在根據(jù)自然語(yǔ)言描述生成精確且上下文相關(guān)的代碼方面的優(yōu)越性。
LEVER 的技術(shù)可以提高代碼 LLMs 將自然語(yǔ)言描述轉(zhuǎn)化為可執(zhí)行代碼的能力,有潛力改善數(shù)據(jù)庫(kù)接口、機(jī)器人控制和虛擬助手等人工智能應(yīng)用。