智源研究院FlagEval 7月榜单新增29个语言、多模态和文生图开源与闭源模型评测结果,包括阿里巴巴、OpenAI、快手、智谱等厂商近期发布的新模型。
本次评测发现,大语言模型,国产模型主观能力整体有所提升;视觉语言新模型的能力有所提升,从本次指标上观察来看,使用强大的语言模型,如llama3可以无痛提升多模态模型的相关指标,但是否真正提升跨模态能力,还有待进一步的研究;文生图模型,国内外模型差距极大缩小,效果逼近国际一流水平。
闭源大语言模型,取中文+英文主观评测的综合成绩,共更新14个闭源模型,以下为Top 10上榜模型得分情况:
开源大语言模型,在中文+英文双语评测的主观评测榜单中,在原有29个模型评测结果基础之上,更新5个模型,共33个模型,以下为Top 10上榜模型得分情况:
视觉语言模型,在原有17个模型评测结果基础之上,更新了5个模型,共22个模型,视觉语言模型的排名按照Avg Rank进行排序,本轮排名分数取多个数据集排名的均值作为最终得分,因此平均排名分数越小的模型名次靠前,以下为Top 10上榜模型得分情况:
文生图模型,在原有18个模型评测结果基础之上,新增了4个模型,共22个模型,本次排名以主观评测分数为主要排名依据,以下为Top 10上榜模型得分情况:
更多评测结果请参阅FlagEval官网:flageval.baai.ac.cn
智源研究院将长期以来在大模型评测的方法、流程和技术等维度的探索与实践,形成了第一期智源评估技术报告《AI大模型能力全景扫描》,持续推进大模型行业的蓬勃发展,报告建议支持开源开放建设,加强评测标准建设,强化协同研究,鼓励创新,推进行业应用,重视安全风险,优化监管,搭建产业生态。欢迎业界同仁提出宝贵意见,上下游企业积极共建。
点击链接即可下载《AI大模型能力全景扫描》:
Docshttps://jwolpxeehx.feishu.cn/file/SunjbO86VoNb4HxL5XTcCZkvntg