北京新型研发机构智源研究院举办国内外百余大模型测评，国产大模型更懂中国用户
5月17日，北京新型研发机构智源研究院举办大模型评测发布会，发布并解读了对国内外140余个开源和商业闭源的语言及多模态大模型的能力评测结果。此次测评首次引入人类学生熟悉的学科测试，让AI考生和三年级到高三学段的人类考生平均水平一较高下。根据大模型企业在语言模型、多模态理解与生成模型以及K12学科测验上的综合表现进行评比后，阿里云、百度、字节跳动、智谱华章、百川智能跻身“优秀”行列。与此同时，“文强理弱”、简单题目反而错误率高等模型普遍存在的短板也集中展现在大众面前。
中文语境下国产模型接近国际一流
本次评测分别从主观、客观两个维度考察了语言模型的简单理解、知识运用、推理能力、数学能力、代码能力、任务解决、安全与价值观七大能力；针对多模态模型则主要评估了多模态理解和生成能力。
在中文语境下，国内头部语言模型的综合表现已接近国际一流水平，但存在能力发展不均衡的情况。在多模态（多模态，是指视频、语音和文本等多种信息表现形式）理解图文问答任务上，国产模型表现突出，特别是在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生视频能力上，对比各家公布的演示视频长度和质量，美国OpenAI公司的视频大模型Sora有明显优势，其他开放评测的文生视频模型中，爱诗科技研发的国产模型PixVerse表现优异。
语言模型主观评测结果显示，在中文语境下，字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二，国产大模型更懂中国用户。在语言模型客观评测中，OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。
据了解，本次智源评测使用了20余个数据集、超8万道考题，包括与合作单位共建和智源自建的多个评测数据集，如中文多模态多题型理解及推理评测数据集CMMU、中文语义评测数据集C-SEM、文生图主观评测集Image-gen、文生视频模型主观评测集CUC T2V prompts等。其中，主观题4000余道，均来源于自建原创未公开并保持高频迭代的主观评测集，严格校准打分标准，采取多人独立匿名评分、严格质检与抽检相结合的管理机制，降低主观偏差的影响。
AI考生普遍“文强理弱”
当前，大模型的发展展示出了日趋接近人脑的智能特征。人们不禁好奇，大模型的“智力”是否真的超越了人类？大模型更擅长哪些学科、是否偏科？
为了仿照人类的筛选与考核方式，一众国内外大模型也在一场模型答题、教师出题并阅卷的真实考试中与人类学生上演“PK”。智源研究院院长王仲远介绍，此次在海淀区教委支持下，海淀区教师进修学校新编小学三年级至高三学段的45套试卷，覆盖语数英物化史6个学科，共计1400多道主、客观题，通过对比大模型的实际表现与教师预估的海淀学生平均水平进行比对，以此来考察大模型与人类学生的差异。其中，答案不唯一的主观题由海淀教师亲自评卷。
评测结果发现，在小学三年级到高三的学科考题面前，大模型们在综合学科能力上的表现与海淀学生平均水平仍有差距，普遍存在“文强理弱”的情况，并且对图表的理解能力不足，大模型未来仍有很大的提升空间。
例如，在一道“根据西红柿与黄瓜市场价格的折线图，列出每月黄瓜的价格”的读图题目中，仅有一家大模型给出了正确答案，连国际领先的OpenAI旗下大模型ChatGPT也答错了这道三年级数学题。
研究人员还发现了一个令人意外的结果：在初一到高三年级，大模型与人类之间的差异变化不明显。而在三年级到六年级，随着年级越低，现有大模型的表现与人类差距较大。“浅层原因是低年级的考题中图片较多，而大部分大模型读图能力较弱。另一方面，这也从侧面反映出大模型的学习方式与人类的认知方式存在差异，人类在幼儿期间获取知识的方式与AI并不相同。”
海淀区教师进修学校校长姚守梅解读道，在语文、历史等人文学科的考试中，模型欠缺对文字背后的文化内涵以及家国情怀的理解。当出现无法理解的考题时，模型则出现了明显的“幻觉”问题，开始一本正经地胡说八道。
相关文章
桂公网安备45010002450472号