SuperCLUE公布8月榜单

SuperCLUE公布8月榜单

来源:中国日报网     2023-08-29 17:25
来源: 中国日报网
2023-08-29 17:25 
分享
分享到
分享到微信

8月28日,SuperCLUE发布中文大模型8月榜单。

中文通用大模型综合性测评基准(SuperCLUE),是针对中文可用的通用大模型的一个测评基准,以月为单位进行更新。

和以往月榜单不同之处在于,SuperCLUE的8月榜单由5部分组成:总排行榜、OPEN多轮开放问题排行榜、OPT三大能力客观题排行榜、十大基础能力排行榜、开源排行榜。本次评测选取了目前国内外最具代表性的16个通用大语言模型,并且采用包含3337道测试题的全新评测数据集。

(注:国外代表性模型(GPT4.0/Claude2/gpt-3.5/Llama-2)参与榜单对比,但不参与排名。)

和7月榜单不同,在8月榜单中,Baichuan-13B凭借STF迭代优化,第二版效果非常出众,一举拿下国内大模型评测榜首。体现百川智能在高质量数据处理、算法优化方面的出色能力。Baichuan-13B在知识问答、生成创作领域表现优异.

通过SuperCLUE本次评测我们不难看出:

  • 国内大模型与以GPT-3.5/4为代表的国外超高参数量大模型相比仍有一定距离,但差距在持续缩小。
  • 在中文领域,以Baichuan-13B为代表的国内开源模型竞争力进一步提升,已经全面超越Llama2。
【责任编辑:张瑨瑄】
中国日报网版权说明:凡注明来源为“中国日报网:XXX(署名)”,除与中国日报网签署内容授权协议的网站外,其他任何网站或单位未经允许禁止转载、使用,违者必究。如需使用,请与010-84883777联系;凡本网注明“来源:XXX(非中国日报网)”的作品,均转载自其它媒体,目的在于传播更多信息,其他媒体如需转载,请与稿件来源方联系,如产生任何问题与本网无关。
版权保护:本网登载的内容(包括文字、图片、多媒体资讯等)版权属中国日报网(中报国际文化传媒(北京)有限公司)独家所有使用。 未经中国日报网事先协议授权,禁止转载使用。给中国日报网提意见:rx@chinadaily.com.cn