云知声助力福州大学中国“法研杯”司法 AI 挑战赛(CAIL 2019)夺银

近日,2019中国“法研杯”司法人工智能挑战赛(CAIL 2019)在深圳落下帷幕。经过三个阶段的激烈角逐,福州大学超级计算团队从北京航空航天大学、上海交大、武汉大学、中科院电子所,腾讯、平安科技、中电科等共 659 支由知名院所与龙头企业所构成的参赛队伍中脱颖而出,摘得本次大赛阅读理解赛道二等奖。值得一提的是,作为福州大学的算力支持方,云知声 Atlas 大规模异构并行超级计算平台在此次比赛中表现出色。

获奖队伍及其单位

2019中国“法研杯”司法人工智能挑战赛是在最高人民法院信息中心、中国中文信息学会和共青团中央青年发展部的共同指导下,由中国司法大数据研究院、中国中文信息学会评测工委会、中国中文信息学会社会媒体处理专委会等联合举办。

作为大赛三项评测任务之一,阅读理解赛段的设置旨在推动深度学习和自然语言理解等技术在司法产业应用,促进法律人工智能事业的发展,并通过阅读理解技术,辅助司法工作人员以及民众更方便地获取所需信息。

该赛段聚焦法律要素抽取、法律阅读理解、相似案例匹配三个真实场景,使用的数据集是来自“中国裁判文书网”公开的法律文书,主要涉及民事和刑事的一审判决书,总共约1万份数据,包含了超过5万个问题,并加入了拒答类问题和是否类问题。该任务的问题类型多样,并且涉及不同种类的案件文书,极具挑战性。

评测任务介绍

本次比赛是首次基于中文裁判文书的阅读理解比赛,属于篇章片段抽取型阅读理解比赛(Span-Extraction Machine ReadingComprehension)。为了增加问题的多样性,参考英文阅读理解比赛SQuAD和CoQA,本比赛增加了拒答以及是否类(YES/NO)问题。鉴于民事和刑事裁判文书在事实描述部分差异性较大,相应的问题类型也不尽相同,为了能同时兼顾这两种裁判文书,从而覆盖大多数裁判文书,本次比赛设置民事和刑事两类测试集。

本次比赛采用与CoQA比赛一致的宏平均(macro-average F1)进行评估。对于每个问题:

需要把N个标准回答按照N-1一组的方式分成N组;

预测回答需要同每组的所有标准回答计算F1,并取最大值作为该的F1;

取N组F1的平均值作为该问题的F1。

评估模型的F1为所有问题F1的平均值。

评测结果

比赛过程中,为取得更好的团队,参赛团队普遍使用了多模型与较高的模型复杂度,既考验模型算法的性能,也对相应计算资源提出高要求。作为福州大学参赛队伍的算力支持,云知声 Atlas 大规模异构并行超级计算平台面向人工智能和大数据应用的各类场景(具体到本次比赛中对大量差异化司法裁决文书的理解、归类、判定等任务处理),在计算效率和便利性方面的优势得以进一步凸显,并最终帮助福州大学团队以总分第三的成绩夺银。

众所周知,超算平台是大数据和机器学习发挥价值的基础,同时也是能够高效构建 AI 能力的关键。云知声很早就开始布局建设国内领先的 GPU/CPU 异构计算平台和分布式文件存储系统,该计算集群能够为智能计算提供高性能计算和海量数据的存储访问能力。在该计算集群的基础上,云知声建设了被誉为云知声版“TensorFlow + GKE (Google Kubernetes Engine) ”的 Atlas 大规模异构并行超级计算平台,在云知声向人工智能多领域技术横向扩展和纵向迭代中,发挥了至关重要的作用。

针对实现 AI 应用场景的高效智能计算需求,云知声以 Atlas 大规模计算平台和 UniFlow 计算框架为核心,以机器学习为技术切入点,提供了在统一计算框架体系下的计算高效率和算法高产出,通过协同利用 AI 底层研发的技术成果,进而实现在人工智能的多个应用领域的快速拓展,从语音识别(ASR)、语义理解(NLU)到机器翻译(NMT)、计算机视觉(CV)等新的人工智能技术领域。

值得一提的是,在去年 5 月份的WMT2018国际机器翻译大赛中英翻译比赛中,组建不足一年的云知声NMT机器翻译团队首战即斩获英中第二、中英第四,综合第三(BLEU关键评分仅次于第二名0.1)的成绩,同期参赛的还有阿里、腾讯、微软、剑桥等顶尖巨头与高校院所。结合此前在计算机视觉领域的佳绩,充分验证了Atlas在云知声探索与优化多模态 AI 技术能力过程中的实力与价值。

可以预见的是,未来面向 5G 时代的人工智能应用领域,将更加依赖高性能的计算和海量数据的读写能力,而此恰恰体现了云知声在智能计算平台的超前布局。今年, Atlas 计算平台将持续拓展提升,实现超千片GPU计算资源和超过一亿亿次每秒(10 PFLOPs)的浮点计算能力,将进一步为云知声以及相关合作伙伴在人工智能新领域的拓展奠定强大的计算能力基础。