近日,国际AI顶会CVPR2022公布第三届人脸表情国际挑战赛结果,网易伏羲虚拟人团队从全球129支顶尖科研队伍中脱颖而出,连续两年拿下人脸表情动作单元检测(AU)、人脸情绪识别赛道(EXPR)的双料冠军,并率先将科研成果应用于产业创新。基于网易伏羲的AI人脸情绪识别技术,手游《绝对演绎》在国内首创表情情绪互动式玩法,将真人表情实时迁移至游戏人物,沉浸式还原演员磨炼演技的趣味体验,创下8天超7300万次的面部表情练习纪录。
(国际AI顶级会议CVPR 2022近日放榜)
让AI更好地识别、描述人类情感,并将前沿研究落地应用,是国际学术界长期关注、力争突破的重要课题。作为计算机视觉三大国际顶级会议之一,CVPR举办的第三届人脸表情国际挑战赛聚焦AI人脸表情分析领域的落地价值,考验参赛队伍AI模型识别人脸情绪的抗干扰和泛化能力。本次赛事共吸引129支全球一流高校和企业科研团队同台竞技。
在此次竞赛中,网易伏羲虚拟人提出基于自研表情表征技术和基于transformer的多模态情绪分析框架,最终在人脸表情动作单元检测(AU)获得F1 49.89%、人脸情绪识别赛道(EXPR)获得F1 35.87%,连续两年蝉联双料冠军。
(网易伏羲虚拟人团队连续两年斩获CVPR竞赛双料冠军)
目前,网易伏羲的AI人脸表情迁移、情绪识别等研究成果已投入应用,AI情绪识别技术更是首次应用于游戏玩法。去年底上线的娱乐圈题材“黑马”手游《绝对演绎》,就基于网易伏羲在人脸表情情绪领域的前沿AI技术,在国内首创表情情绪互动式玩法。玩家根据文字提示做出各种表情后,AI会将真人表情实时迁移至游戏角色中,并一键判断玩家的演绎是否到位。
(基于网易伏羲AI技术,《绝对演绎》国内首创表情情绪互动式玩法)
沉浸式磨炼演技的新颖玩法,叠加实时的效果展示,极大地提升了玩家的代入感体验,广受好评。去年10月,《绝对演绎》曾展开“视镜之旅”公测,演艺圈的“奋斗咖”在8天内进行了超7300万次面部表情练习,杀青了超2.5万场戏,玩家的事业心之强让网友直呼“提高内娱内卷质量,还看《绝对演绎》”。据悉,该项技术甚至收到了娱乐圈业内人士的关注,用以判断演员的演技。
(玩家晒出《绝对演绎》“练表情”神同步成果)
除了在虚拟人科研领域的深度耕耘,网易伏羲还拥有智能捏脸、动画迁移、动画合成、语音合成、语音转换等完善的虚拟人产品矩阵,为众多虚拟人公司以及麦当劳、网易云音乐、网易严选等快消、文娱、电商、金融等行业提供虚拟人技术解决方案。
网易伏羲成立于2017年,是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表100多篇AI顶会论文,拥有200多项发明专利,以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前,网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品,目前已服务超200家客户,应用日均调用量数亿次。
