马毅团队最新研究揭示:微调多模态大模型可能导致严重遗忘问题

马毅团队最新研究结果显示微调多模态大模型(MLLM)存在灾难性遗忘问题。他们提出了一种被称为EMT框架的方法来评估微调后的MLLM在多任务上的性能。实验结果表明,尽管微调可以显著提高MLLM在微调数据集上的性能,但同时也导致了其他任务上的性能下降。

在微调过程中,MLLM会生成与微调数据集相关的幻觉文本,从而忽略了原始问题。研究人员通过输入图像并要求MLLM进行分类,并使用另一个语言模型评估其分类正确性来评估MLLM的性能。结果显示,大多数被测试的MLLM无法保持与视觉编码器相近的分类性能。

此外,研究团队还针对LLaVA进行了微调实验,并证实适度的微调是有益的,但过度微调会导致非微调任务的遗忘。研究还发现,经过微调的MLLM会产生与微调数据集相关的幻觉文本而不是原始问题。

这项研究首次系统评估了MLLM存在的灾难性遗忘问题,并为进一步的工作提供了框架和基准。研究结果提示我们需要在追求单任务性能的同时,也要注意保持模型的泛化能力,以防止过拟合。因此,在模型设计和训练技巧方面仍需要进一步优化,以平衡不同能力之间的权衡。马毅团队最新研究揭示:微调多模态大模型可能导致严重遗忘问题

以下是相关论文的链接:[论文地址](https://arxiv.org/pdf/2309.10313.pdf)

|要点|介绍||---|---||问题|微调多模态大模型可能导致严重遗忘问题||研究团队|马毅团队||研究方法|使用EMT框架评估微调后的MLLM性能||实验结果|微调提高了微调数据集上的性能,但导致其他任务上性能下降||MLLM特点|产生与微调数据集相关的幻觉文本,忽略原始问题||结论|首次系统评估MLLM的灾难性遗忘问题,并给出了框架和基

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具

© 版权声明

相关文章