清华大学与微软合作,提出创新方法SoT以加速大型语言模型的训练

近日,微软研究和清华大学的研究人员共同提出了一种名为“Skeleton-of-Thought(SoT)”的全新人工智能方法,旨在解决大型语言模型(LLMs)生成速度较慢的问题。尽管像GPT-4和LLaMA等LLMs在技术领域产生了深远影响,但其处理速度的不足一直是一个制约因素,特别是在对延迟敏感的应用中,如聊天机器人、协同驾驶和工业控制器。

SoT方法与传统的性能提升方法不同,它不对LLMs进行复杂的修改,而是将其视为黑匣子,并侧重于优化输出内容的组织结构。SoT引入了一个独特的两阶段过程,首先引导LLM构建答案的骨架,然后在第二阶段使LLM同时扩展骨架中的多个要点。这一方法不仅提高了LLMs的响应速度,还在不需要对模型架构进行复杂调整的情况下实现了这一目标。清华大学与微软合作,提出创新方法SoT以加速大型语言模型的训练为了评估SoT的有效性,研究团队对12个不同领域的模型进行了广泛测试,使用了Vicuna-80数据集,其中包含了来自编码、数学、写作和角色扮演等各个领域的问题。通过使用FastChat和LLMZoo的度量标准,研究团队观察到SoT在八个模型上实现了1.13x到2.39x的速度提升,而且这些提升并没有牺牲答案质量。这表明SoT不仅可以显著提高响应速度,还能够在各种问题类别中保持或提升答案质量。

因此,SoT方法为解决LLMs速度较慢的问题提供了一种有前景的解决方案。研究团队的创新方法将LLMs视为黑匣子,并专注于数据级别的效率优化,为加速内容生成提供了新的视角。通过引导LLMs构建答案的骨架,然后进行并行扩展,SoT有效地提高了响应速度,为人工智能领域的动态思维过程开辟了新的探索方向,鼓励向更高效、更多才多艺的语言模型发展。

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具

© 版权声明

相关文章