AntGPT：一个视频中长期行为预测大型语言模型
AntGPT：将大型语言模型应用于视频长期行为预测的视觉语言框架
AntGPT项目是一个将大型语言模型应用于视频长期行为预测（LTA）的视觉语言框架。通过使用监督动作识别算法识别人类活动，并将其作为离散化的视频表示输入给 OpenAI GPT 模型。通过自回归方法、微调或上下文学习，GPT模型可以预测未来的行动序列，从而实现从底向上的行动预测。
AntGPT还利用目标信息来提供以目标为条件的预测，并研究了AntGPT在上下文推理和少样本学习方面的能力。通过定量和定性评估，OpenAI GPT模型取得了最先进的长期行动预测性能，并提出了使用大型语言模型进行长期行动预测的方法。并通过AntGPT框架将 LLMs 与计算机视觉算法相结合，实现了显著的成果。
AntGPT 的主要功能包括：
1）预测目标:AntGPT利用大型语言模型推断演员的目标，即使只有少量观察到的人类行为。
2）目标条件预测:AntGPT 通过将目标信息嵌入视觉框架，实现了基于目标的行为预测。
3）建模动作时序:AntGPT 通过将大型语言模型调整到特定领域的行动序列上，直接建模动作的时间动态。
4）少样本预测:AntGPT探索了大型语言模型在少样本情况下的预测能力，并尝试了不同的提示策略。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
萝卜智能是一个集成了多种AI工具导航平台，专为实战应用、效果测评、知识学习和价值变现设计。无论你是AI新手还是资深专家，都能在这个平台上找到适合的工具和资源，共同推动人工智能技术的发展。
桂公网安备45010002450472号