作业帮发布银河大模型,C-Eval、CMMLU双榜排名第一

来源:中国网    2023-09-04 11:17
来源: 中国网
2023-09-04 11:17 
分享
分享到
分享到微信

9月2日至6日,2023中国国际服务贸易交易会在北京举办,作业帮受邀参展,并正式发布自研银河大模型。在服贸会现场,银河大模型在智能解题、知识问答、中英文写作及AI伴学等方面的出色表现吸引了大量现场观众的互动体验。

同时作业帮公布了银河大模型在C-Eval、CMMLU两大权威大语言模型评测基准的成绩。数据显示,作业帮银河大模型表现卓越,以平均分73.7分位居C-Eval榜首;同时在CMMLU榜单Five-shot和Zero-shot测评中分别以平均分74.03分及73.85分位列第一,成为首个同时在上述两大权威榜单平均分排名第一的教育大模型。

银河大模型作为作业帮自主研发的大语言模型,深度融合作业帮多年的AI算法沉淀和教育数据积累,是一款专为教育领域量身打造的覆盖多学科、多学段、多场景的教育大模型。它不仅具备高度的多学科知识解答能力,更能协助不同学段学生进行创意写作,同时还能够实现自主提问、陪伴式辅导等,助力学生个性化学习与成长。

作业帮银河大模型的综合实力在权威测评榜单中得到验证。作为全球最具影响力的中文评测集之一,C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集,包含13948道多项选择题,涵盖52个不同学科和四个难度级别。根据C-Eval排行榜的最新数据显示,作业帮银河大模型以平均分为73.7分位居榜首。

在由MBZUAI、上海交通大学、微软亚洲研究院共同推出的CMMLU榜单中,作业帮银河大模型表现同样出色,在Five-shot和Zero-shot测试中分别以74.03分及73.85分占据榜首。

据了解,CMMLU共涵盖了67个主题,涉及自然科学、社会科学、工程、人文以及常识等。在CMMLU榜单中的卓越表现,再次印证了作业帮银河大模型在知识储备和语言理解方面的突出实力。

作业帮银河大模型不仅在中文方面表现优异,在英文方面表现同样不俗。由美国加州大学伯克利分校、哥伦比亚大学、芝加哥大学等高校联合打造的全球性大规模多任务语言理解评测基准MMLU,在集合了科学、工程、数学、人文、社会科学等领域的57个科目的评测中,作业帮银河大模型平均分高达71.88分,体现了其在英文领域的专业能力和问题解决能力。

作业帮表示,作业帮银河大模型即将在作业帮APP等学习工具、智能硬件、智能图书、教育数字化等业务场景中实现应用,同时将持续优化银河大模型性能与多模态能力,加速推进在更多教育场景的落地实践。

 

免责声明:该文章系我网转载,旨在为读者提供更多新闻资讯。所涉内容不构成投资、消费建议,仅供读者参考。
【责任编辑:钟经文】
中国日报网版权说明:凡注明来源为“中国日报网:XXX(署名)”,除与中国日报网签署内容授权协议的网站外,其他任何网站或单位未经允许禁止转载、使用,违者必究。如需使用,请与010-84883777联系;凡本网注明“来源:XXX(非中国日报网)”的作品,均转载自其它媒体,目的在于传播更多信息,其他媒体如需转载,请与稿件来源方联系,如产生任何问题与本网无关。
版权保护:本网登载的内容(包括文字、图片、多媒体资讯等)版权属中国日报网(中报国际文化传媒(北京)有限公司)独家所有使用。 未经中国日报网事先协议授权,禁止转载使用。给中国日报网提意见:rx@chinadaily.com.cn