微軟的研究團(tuán)隊(duì)開發(fā)了一種名為 LLMLingua 的獨(dú)特粗細(xì)壓縮技術(shù)，旨在解決大型語言模型（LLMs）中長提示帶來的問題。LLMs 以其強(qiáng)大的泛化和推理能力顯著推動(dòng)了人工智能(AI)領(lǐng)域的發(fā)展，展示了自然語言處理(NLP)、自然語言生成(NLG)、計(jì)算機(jī)視覺等方面的能力。然而，最新的發(fā)展，如上下文學(xué)習(xí)(ICL)和思維鏈(CoT)提示，導(dǎo)致了部署更長提示的需求，有時(shí)甚至超過數(shù)萬個(gè)標(biāo)記。這在模型推理方面帶來了成本效益和計(jì)算效率的問題。

為了克服這些挑戰(zhàn)，微軟團(tuán)隊(duì)引入了 LLMLingua，一種獨(dú)特的粗細(xì)壓縮技術(shù)。LLMLingua 的主要目標(biāo)是減少處理長提示的費(fèi)用，并加快模型推理速度。為此，LLMLingua 采用了以下幾種關(guān)鍵策略:

1. 預(yù)算控制器:設(shè)計(jì)了一個(gè)動(dòng)態(tài)預(yù)算控制器，用于在原始提示的各個(gè)部分之間分配壓縮比例。這確保了即使在大比例壓縮下，提示的語義完整性也得到保留。

2. 標(biāo)記級(jí)迭代壓縮算法:LLMLingua 集成了一種標(biāo)記級(jí)迭代壓縮算法，通過捕捉壓縮元素之間的相互依賴關(guān)系，實(shí)現(xiàn)更復(fù)雜的壓縮，并保持關(guān)鍵提示信息。

3. 指令調(diào)整方法:團(tuán)隊(duì)提出了一種基于指令調(diào)整的方法，用于解決語言模型之間的分布不一致問題。調(diào)整語言模型的分布可以提高用于快速壓縮的小型語言模型與預(yù)期 LLM 之間的兼容性。

團(tuán)隊(duì)使用來自不同情境的四個(gè)數(shù)據(jù)集進(jìn)行了分析和實(shí)驗(yàn)，以驗(yàn)證 LLMLingua 的實(shí)用性。這些數(shù)據(jù)集包括推理的 GSM8K 和 BBH，對(duì)話的 ShareGPT 以及摘要的 Arxiv-March23。結(jié)果顯示，該方法在每種情境下都實(shí)現(xiàn)了最先進(jìn)的性能。結(jié)果甚至表明，LLMLingua 在犧牲很少性能的情況下允許高達(dá)20倍的壓縮。

實(shí)驗(yàn)中使用的小型語言模型是 LLaMA-7B，閉合的 LLM 是 GPT-3.5-Turbo-0301。LLMLingua 在最大壓縮比例為20倍時(shí)優(yōu)于先前的壓縮技術(shù)，保留了推理、摘要和話語技能，展現(xiàn)了彈性、經(jīng)濟(jì)性、高效性和可恢復(fù)性。

LLMLingua 的有效性已經(jīng)在一系列閉合 LLMs 和小型語言模型中得到觀察。在使用 GPT-2-small 時(shí)，LLMLingua 顯示出與較大模型相當(dāng)?shù)男阅芙Y(jié)果。它還在強(qiáng)大的 LLMs 上表現(xiàn)出色，超出了預(yù)期的快速結(jié)果。

LLMLingua 的可恢復(fù)性是一個(gè)值得注意的方面，當(dāng)用于恢復(fù)壓縮提示時(shí)，GPT-4可以有效地從完整的九步 CoT 提示中檢索重要的推理信息，保持原始提示的意義和相似性。這個(gè)功能確保了可恢復(fù)性，即使在翻譯后也能保留關(guān)鍵信息，增加了 LLMLingua 的整體亮點(diǎn)。

，LLMLingua 為 LLM 應(yīng)用程序中長提示所帶來的困難提供了全面的解決方案。該方法表現(xiàn)出色，并提供了一種改善 LLM 應(yīng)用程序的效果和可負(fù)擔(dān)性的有用方式。

項(xiàng)目網(wǎng)址:https://github.com/microsoft/LLMLingua

論文網(wǎng)址:https://arxiv.org/pdf/2310.05736.pdf

博客網(wǎng)址:https://www.microsoft.com/en-us/research/blog/llmlingua-innovating-llm-efficiency-with-prompt-compression/