浙大校友联手微软开源LLaVA-1.5,硬刚GPT-4V
威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员最近开源了一个名为LLaVA-1.5的全新端到端多模态大模型，该模型与OpenAI的GPT-4V形成了正面竞争。LLaVA-1.5在11项基准测试中均取得了新的状态最优（SOTA）成绩，包括视觉问答、图像注释等任务，展现出了强大的多模态理解能力。
相对于之前的版本LLaVA，LLaVA-1.5采用了更高分辨率的图像输入、更大规模的语言模型（13B参数），以及面向学术任务的视觉问答数据集，从而实现了显著的性能提升。研究人员发现，与额外的大规模预训练相比，视觉指令微调对于提高多模态能力更加关键。
值得一提的是，LLaVA-1.5采用了简单的架构设计，只需在公开可获得的600万图像文本配对上训练一个全连接层，就能在多个基准测试中超越复杂的SOTA系统、刷新记录。使用8块A100GPU，LLaVA-1.5的训练仅需1天时间即可完成。LLaVA-1.5展示了开源大模型可以通过简单设计和公共数据获得竞争力，并为未来的研究提供了有价值的经验。凭借其出色的多模态理解能力，LLaVA-1.5引领着一股“硬刚GPT-4”的新风潮在业内掀起。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
萝卜智能是一个集成了多种AI工具导航平台，专为实战应用、效果测评、知识学习和价值变现设计。无论你是AI新手还是资深专家，都能在这个平台上找到适合的工具和资源，共同推动人工智能技术的发展。
桂公网安备45010002450472号