10亿级训练语料为基础 铀媒打造中文智能文本检测“神器”

来源:中国网    2021-11-09 15:10
来源: 中国网
2021-11-09 15:10 
分享
分享到
分享到微信

在快节奏的新媒体时代,内容传播速度快,范围广,产生的影响也是巨大的。为了保障文本内容的安全和规范,政务机构、企业越来越多地在日常工作中使用文本检测和纠错工具,但中文字、词、句的含义与使用具有复杂性,文本内容的检测普遍存在“不全”“不准”“不快”的问题。铀媒围绕中文语言特点和使用习惯,以10亿级训练语料为基础,运用先进语法模型和语义分析等先进技术,实现了自动化、智能化的文本检测,适用于日常公文、网站文章、媒体报道、新媒体稿件等复杂的中文内容,在快节奏的在数字化时代,为文本内容安全保驾护航。

  注:铀媒智能文本检测

10亿级语料训练,找全17类错敏内容

“金子招牌”“赶紧整洁”“人问环境”……当这类笔误出现在大众视野,不仅无法有效传达信息,还会给人留下“不走心”的印象。通过检测工具快速找到内容中的错误,是使用者的主要诉求,而检测结果是否全面与系统的算法模型息息相关,算法模型需要大量的语料进行“训练”,“训练”得越多,系统的判断就越准确。

铀媒算法模型的训练语料达到了10亿级别,在“检测不全面”的问题上,铀媒能够快速发现文本中的错别字、标点符号错误、常用搭配错误等17种错误类型,满足大多数公文、新闻稿、出版物文本内容检测的需求。同时铀媒的训练语料还在持续的补充完善中,让产品的检测结果更加全面。

“读懂”文本,提升检测准确度

中文语言中语境对词语意义的影响较大,同一个词语在不同的语境里,可能会产生截然不同的意思,这是文本检测不准确的主要原因之一。此外,文本检测不仅要检测错别字、标点符号错误、常用搭配错误等常见错误,还要对各类风险内容、新闻媒体报道禁用表述等更为复杂的信息进行判断,这使得文本检测的难度进一步提高。

铀媒智能文本检测以《现代汉语词典》《辞海》《新华词典》《中国地名大辞典》,国家新闻出版署相关要求文件等来源可靠的训练语料为基础,用算法模型叠加判断规则,“双管齐下”地解决不同语境中相同词语的判断难题,更加智能地给出较为准确的检测结果。同时铀媒智能文本检测引入了人工判定的环节,配备专业的团队对检测结果进行人工审查与判定,有效解决检测“不准确”的问题。

一键检测,使用更快更高效

在检测速度上,铀媒智能文本检测的速度达到1万字/秒;在产品设计中,铀媒实现了一键检测,并对错敏内容给出高亮提示和修改建议,使用操作便捷,即使在紧急的状态下也不会感到检测过程占用了太多时间,有效解决了文本检测中“不够快”的问题。

铀媒对于文本内容的自动化、智能化检测得到了广泛认可,在政务机构、企业工作中,铀媒智能文本检测与人工审校形成良好互补,有效提高了文本内容检测的准确度,降低内容风险,提升工作效率。作为蜜度旗下智能文本检测和新媒体管理工具,铀媒已为数千家各级政企机构提供服务,为内容安全提供保障。

 

(王峰)

免责声明:该文章系我网转载,旨在为读者提供更多新闻资讯。所涉内容不构成投资、消费建议,仅供读者参考。
【责任编辑:钟经文】
中国日报网版权说明:凡注明来源为“中国日报网:XXX(署名)”,除与中国日报网签署内容授权协议的网站外,其他任何网站或单位未经允许禁止转载、使用,违者必究。如需使用,请与010-84883777联系;凡本网注明“来源:XXX(非中国日报网)”的作品,均转载自其它媒体,目的在于传播更多信息,其他媒体如需转载,请与稿件来源方联系,如产生任何问题与本网无关。
版权保护:本网登载的内容(包括文字、图片、多媒体资讯等)版权属中国日报网(中报国际文化传媒(北京)有限公司)独家所有使用。 未经中国日报网事先协议授权,禁止转载使用。给中国日报网提意见:rx@chinadaily.com.cn