日前,华为云联合英国AI公司Emotech ,在2019 HUAWEI CONNECT(华为全联接大会)上首发全球首个多模态AI英语口语教评解决方案,将人工智能的自然语言处理技术与多模态技术相结合,赋能英语口语教育,助力教育产业良性发展。
超越真人教学,AI比老师更懂你
口语一直是外语学习中的重点。今天,英语学习者渴望更高智能、更低成本的口语学习方式,众多教育机构也希望获得更具标准化的知识传授助手。
“作为传统单一模态(语音、视觉)的升级性底层技术,多模态技术能整合语音、文字、空间等多重数据与分析,并结合深度学习,提供更还原人类自然交互的算法与应用”,Emotech创始人庄宏斌介绍说。
此次华为云与Emotech联合推出的多模态AI英语口语教评解决方案,覆盖了英语口语从学习、练习、测评到改进的方方面面,效果如同真人老师一对一教学,提升学习效率。用户读出句子,就能得到每句话、每个单词、甚至每个音素的发音评分结果;通过视频与音频抓取、回放自读视频,每个不标准的发音都能被精确识别并锁定原因;观看AI助教提供的标准发音示范以及比对,计算机视觉能实时追踪重点强化口型变化,加速口音改进;每一次的学习过程都能被记录下来,并且利用深度学习功能实时获得AI测评报告,为后续个性化针对教育提供基础与动态参考。
华为全联接大会多模态AI口语教室展台
此次推出的解决方案还具备强大的抗噪能力,适用于各种环境,有效提高了发音评测系统(PA)、语音识别( ASR)的准确率,在给定噪音环境下,与单模态产品相比,它的准确率提高了30%以上。
随着5G以及AI芯片的发展,未来越来越多的场景中可以用到多模态技术。华为云与Emotech计划在更多领域进行多感官综合应用的探索和尝试。
自然语言处理及多模态AI技术赋能英语教育
华为云语音语义负责人表示,这是一次AI技术领域的强强联合,“Emotech在语音和多模态AI方面有先进的技术,华为云拥有全栈的AI平台,并在自然语言处理领域有深厚的积累和实践,拥有多项领先业界的创新技术。双方联合研发并取得一定突破,这是个非常好的开始。期待我们的产品能够帮助数以千万计的英文学习者。”
目前,华为云语音语义服务包括语音识别、语音合成、自然语言处理基础、语言理解、语言生成、机器翻译、知识图谱、对话机器人等子服务,支持语音助手、智能客服、外呼机器人、舆情分析等多个应用,覆盖汽车、能源、保险、金融等多个行业。例如,基于华为云对话机器人服务的智能客服,帮助蒙牛更好地服务大众消费者;基于华为云知识图谱的油气层识别,帮助中石油降本增效,更好地保障国家能源安全。全联接大会期间,华为云还发布了业界第一个全栈全生命周期的领域知识图谱构建平台云服务。
联合国科教文组织(UNESCO)人工智能主席、伦敦大学学院计算统计学和机器学习中心主任John Shawe-Taylor教授肯定了方案中多模态技术在教育的应用,评价说:“多模态是一种可以接收来自多种感官系统的信息流后进行处理分析的技术,从而让人工智能对周围的世界获得更深入,更真实,也更准确的理解。事实上,调用多个感官来构建对世界的认知,增加对事物的理解,是让人类在出生后能够更快速学习新事物和技能的关键。Emotech巧妙地利用了这个原理,在对话分析中引入了声音和视觉等多个感官维度,有效地分离了噪音等其他环境干扰因素,从而大幅提升了语音的质量。我认为这是非常重要的一项技术。”
