微软新工具LLMLingua-2:可将 AI 提示压缩高达80%,节省时间和成本

微软研究团队最新发布了名为LLMLingua-2的模型,这款模型专注于实现任务无关性的提示压缩。通过巧妙地去除长提示中的冗余词汇或标记,同时确保关键信息的完整性,LLMLingua-2成功将提示长度缩减至原长度的20%,进而大幅度降低了成本和延迟。微软新工具LLMLingua-2:可将 AI 提示压缩高达80%,节省时间和成本研究团队指出:“自然语言本身存在冗余性,不同词语或标记所携带的信息量并不相同。”这一发现为LLMLingua-2模型的开发提供了理论支撑。

相较于其前身LLMLingua以及其他类似方法,LLMLingua-2的运行速度提高了3到6倍。该模型利用MeetingBank数据集中的会议记录及其摘要进行训练,具备强大的文本压缩能力。在使用过程中,用户只需将原始文本输入至已训练好的模型中,模型便会为每个词语打分,并根据上下文环境为其分配保留或移除的权重。随后,模型会选择保留值最高的词语,以生成精炼的提示。

微软研究团队在多个数据集上对LLMLingua-2进行了全面评估,包括MeetingBank、LongBench、ZeroScrolls、GSM8K和BBH等。尽管LLMLingua-2的模型规模相对较小,但在问答、摘要和逻辑推理等多种语言任务中,其表现均优于原始的LLMLingua和选择性上下文策略。此外,该压缩策略同样适用于不同规模和语言的LLM,从GPT-3.5到Mistral-7B,以及从英语到中文等多种语言。

值得一提的是,LLMLingua-2的使用异常便捷,仅需两行代码即可轻松实现。目前,该模型已集成至广受欢迎的RAG框架LangChain和LlamaIndex中,为用户提供了更为丰富的应用场景。微软还提供了详细的演示、实际应用案例以及说明提示压缩带来的优势与成本节约的脚本,帮助用户更好地理解和应用这一技术。

展望未来,微软公司认为LLMLingua-2模型所代表的提示压缩技术具有广阔的应用前景。通过优化提示,不仅能够提升模型的泛化能力,还能够显著提高处理效率,为自然语言处理领域的发展注入新的活力。

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具

© 版权声明

相关文章