極客號(hào)（Daydx.com）9月1日 消息:微軟公司推出了一種名為“思維算法”（AoT）的全新AI訓(xùn)練方法，旨在提高大型語(yǔ)言模型(如ChatGPT)在推理能力方面的效率和人類(lèi)相似度。
對(duì)于已經(jīng)在人工智能領(lǐng)域進(jìn)行大量投資的公司來(lái)說(shuō)，這是自然的發(fā)展步驟，尤其是對(duì)OpenAI——DALL-E、ChatGPT和功能強(qiáng)大的GPT語(yǔ)言模型的創(chuàng)造者。
根據(jù)發(fā)表的研究論文，微軟表示，AoT技術(shù)是一種潛在的游戲規(guī)則改變者，因?yàn)樗耙龑?dǎo)語(yǔ)言模型通過(guò)更簡(jiǎn)化的問(wèn)題解決路徑”。這種新穎的方法利用了“上下文學(xué)習(xí)”，使模型能夠系統(tǒng)地以有組織的方式探索不同的解決方案。
“我們的方法優(yōu)于先前的單查詢(xún)方法，并與最近采用廣泛樹(shù)搜索的多查詢(xún)方法相當(dāng)。有趣的是，我們的結(jié)果表明，使用算法指導(dǎo)模型可以導(dǎo)致性能超過(guò)算法本身。”
研究人員聲稱(chēng)，當(dāng)這種技術(shù)優(yōu)化其搜索過(guò)程時(shí)，模型獲得了改進(jìn)的“直覺(jué)”。
人機(jī)混合算法?AoT方法解決了當(dāng)前上下文學(xué)習(xí)技術(shù)（如“思維鏈”）的限制。有時(shí)，CoT提供錯(cuò)誤的中間步驟，而AoT則使用算法示例來(lái)指導(dǎo)模型，以獲得更可靠的結(jié)果。
AoT從人和機(jī)器中汲取靈感，以提高生成型AI模型的性能。雖然人類(lèi)在直觀認(rèn)知方面表現(xiàn)出色，但算法以其有組織的、詳盡的探索而聞名。研究論文稱(chēng)，“思維算法”尋求將這兩種方面融合起來(lái)，增強(qiáng)大型語(yǔ)言模型的推理能力。
微軟表示，這種混合技術(shù)使模型能夠克服人類(lèi)工作記憶的限制，從而能夠更全面地分析想法。
與CoT的線性推理或“思維樹(shù)”（ToT）技術(shù)不同，AoT允許對(duì)子問(wèn)題的不同選項(xiàng)進(jìn)行靈活的思考，只需最少的提示就能保持有效性。它還與外部樹(shù)搜索工具相媲美，有效地平衡成本和計(jì)算。
總的來(lái)說(shuō)，AoT代表了從監(jiān)督學(xué)習(xí)到整合搜索過(guò)程的轉(zhuǎn)變。通過(guò)改進(jìn)提示工程，研究人員相信這種方法可以使模型高效地解決復(fù)雜的現(xiàn)實(shí)世界問(wèn)題，同時(shí)也減少它們的碳足跡。
鑒于其在人工智能領(lǐng)域的大量投資，微軟似乎有能力將AoT納入像GPT-4這樣的先進(jìn)系統(tǒng)。盡管具有挑戰(zhàn)性，但教導(dǎo)語(yǔ)言模型以更人性化的方式進(jìn)行“思考”可能會(huì)帶來(lái)革命性的變革。
