超越华为盘古千亿模型,搜狗搜索再创中文语言理解评测CLUE世界第一

来源:消费日报网    2021-05-31 15:41
来源: 消费日报网
2021-05-31 15:41 
分享
分享到
分享到微信

近日,搜狗搜索技术团队在CLUE(中文语言理解测评基准)的任务比赛中,基于自研的中文预训练模型击败了包括华为盘古在内的一众强劲对手,在CLUE总榜、分类总榜、阅读理解榜再次获得第一名,刷新业界记录。

  “BERTSG”为搜狗搜索自研模型,“HUMAN”为人类成绩(不计入选手)

不惧业内强劲挑战搜狗搜索用技术与算法彰显实力

作为中文语言理解领域最具权威性的测评基准之一,CLUE基于原始的中文文本语料共开设了8个方向的比赛,由文本相似度、分类、上下文推理、阅读理解等共11个子任务组成。此前,搜狗搜索曾长期霸榜CLUE多个任务比赛冠军宝座,但在今年4月遭遇到来自华为、阿里达摩院等竞争对手的强劲挑战,华为更是利用其两千亿参数模型盘古一度取得领先。

就在近日,搜狗搜索技术团队基于自研的中文预训练模型,一举超越华为盘古,再度在CLUE总榜、分类总榜、阅读理解榜获得冠军,展示了其在自然语义理解领域强大的技术创新实力和领先的AI算法能力。

据了解,搜狗搜索技术团队近一年来在预训练模型研发上加强投入,已完成从亿级到百亿级中文预训练模的研发,目前正开展千亿级中文预训练模型及多模态预训练模型的研发工作。搜狗搜索技术团队自研的预训练模型之所以能够比参数量更大的华为盘古在CLUE榜单取得更好的效果,主要是在训练语料、模型结构、训练方法三个方面进行了创新突破。

训练语料方面,凭借自身作为第二大搜索引擎的基础优势,搜狗搜索技术团队首先从万亿网页中筛选出10T优质语料,依托搜狗搜索的内容理解技术、大规模聚类等系统,进而从10T优质语料中精选出2T最终语料,这样在保证语料内容质量的同时,还可以确保内容的多样性,从训练语料上提升了模型的训练效率和泛化能力。

模型结构方面,原始的BERT模型使用了Post-LN的结构,该结构的弊端是在训练超大模型时,若没有设置好warmup,会导致收敛效果变差。而搜狗的预训练模型在结构上采用了Pre-LN的方式,大大提升了训练效率。

而在训练方法方面,搜狗搜索技术团队做了两方面的创新优化。第一,采用了cross thought预训练方法,同时引入对比学习训练方法,解决原始BERT模型学习出来的cls token向量存在各向异性的问题,大大增强预训练模型的表征能力,使得下游任务效果得到明显提升。第二,加入了根据文章标题生成和段落顺序预测两个任务,进一步增强预训练模型的文章理解能力。具体而言,在标题生成任务上,输入一篇文章的内容和标题,并且对文章和标题都做词语级别的mask操作,文章mask策略与Roberta-wwm采用的策略一样,标题则mask超过80%的词。而段落顺序预测任务的目标是预测段落之间的上下文关系,在加入这两种预测任务后,预训练模型的效果得到明显提升。

搜狗搜索NLP技术长期领先成功落地产品加速赋能行业

与此同时,此次搜狗搜索自研预训练模型在CLUE总榜、分类总榜、阅读理解榜再度获得冠军,也意味着搜狗搜索在自然语言预训练、语义理解、长文本和短文本分类、阅读理解、问答等领域皆持续处于业界领先水平,展现了其在NLP的超群实力。在此之前,搜狗搜索还曾在国际阅读理竞赛CoQA等竞赛中取得了冠军的成绩。

事实上,搜狗搜索之所以在NLP领域长期处于领先地位,与搜狗公司长期专注在自然语言处理领域进行深耕细作密不可分。作为一家将AI作为企业基因的公司,搜狗基于搜狗搜索、搜狗输入法等核心产品,一直坚持其以语言为核心的AI战略,并成功进行了一系列AI技术创新和产品落地实践。

据了解,搜狗自研的预训练模型已在搜狗搜索产品中落地,大幅提升了用户的搜索效率和体验。此外,相关技术在语言翻译、聊天机器人、知识图谱等领域也具有广泛的应用空间。

免责声明:该文章系我网转载,旨在为读者提供更多新闻资讯。所涉内容不构成投资、消费建议,仅供读者参考。
【责任编辑:钟经文】
中国日报网版权说明:凡注明来源为“中国日报网:XXX(署名)”,除与中国日报网签署内容授权协议的网站外,其他任何网站或单位未经允许禁止转载、使用,违者必究。如需使用,请与010-84883777联系;凡本网注明“来源:XXX(非中国日报网)”的作品,均转载自其它媒体,目的在于传播更多信息,其他媒体如需转载,请与稿件来源方联系,如产生任何问题与本网无关。
版权保护:本网登载的内容(包括文字、图片、多媒体资讯等)版权属中国日报网(中报国际文化传媒(北京)有限公司)独家所有使用。 未经中国日报网事先协议授权,禁止转载使用。给中国日报网提意见:rx@chinadaily.com.cn