8月28日,SuperCLUE发布中文大模型8月榜单。
中文通用大模型综合性测评基准(SuperCLUE),是针对中文可用的通用大模型的一个测评基准,以月为单位进行更新。
和以往月榜单不同之处在于,SuperCLUE的8月榜单由5部分组成:总排行榜、OPEN多轮开放问题排行榜、OPT三大能力客观题排行榜、十大基础能力排行榜、开源排行榜。本次评测选取了目前国内外最具代表性的16个通用大语言模型,并且采用包含3337道测试题的全新评测数据集。
(注:国外代表性模型(GPT4.0/Claude2/gpt-3.5/Llama-2)参与榜单对比,但不参与排名。)
和7月榜单不同,在8月榜单中,Baichuan-13B凭借STF迭代优化,第二版效果非常出众,一举拿下国内大模型评测榜首。体现百川智能在高质量数据处理、算法优化方面的出色能力。Baichuan-13B在知识问答、生成创作领域表现优异.
通过SuperCLUE本次评测我们不难看出: