近日,斯坦福大学发布了DAWNBenchmark最新成绩,在图像识别(ResNet50-on-ImageNet,93%以上精度)的推理延迟时间上,由金融壹账通Gamma Lab和平安科技平安云组合的团队位列榜单第一,单张图片推理延迟仅需1.0138ms,比第二名提升近35%,超越了滴滴云、天数智芯、阿里云、华为云、英特尔等公司。
斯坦福大学DAWNBench是人工智能领域最权威的竞赛之一,是用来衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台,其排行榜反映了当前全球业界深度学习平台技术的领先性。其中推理项目要求参赛机构对50000张图片进行精准识别并分类,准确率达到93%以上,平均每张图片的推理耗时越短越好。
作为人工智能最重要的基础技术之一,近年来深度学习也逐步延伸到更多的应用场景,如金融,教育等领域。随着任务难度和场景复杂度的逐步提升,深度学习模型越来越大,所需的AI算力资源和服务器成本也随之增加,为真实部署和推广造成了极大的困难。深度学习的推理性能优化成为AI落地部署最重要的一环。
为优化深度学习推理性能,平台层面的支持不可或缺,本次参赛所用到的计算环境与资源来自平安云。作为金融行业最大的云平台,平安云始终跟随科技前沿动态,引入最新高性能计算资源,采用目前最先进的inference GPU,打造了规模庞大的高性能GPU PaaS服务。平安云在机器学习/深度学习的计算领域已有完善的整体解决方案,基于平安云生态,针对网络、存储、计算和资源调度做了全方位优化,大幅提升了数据处理能力与计算速度,支持和驱动AI创新。
金融壹账通Gamma Lab相关专家介绍到,Gamma Lab和平安云通过四个方面改善深度学习的环境。
一是打造定制化推理框架。即从业务出发的深度定制化前向推理框架,兼容现有被广泛应用的caffe和tensorflow模型。
二是运用int8量化方法。int8量化是提升推理性能的一种重要手段,该工作基于TensorRT开展,在提升计算性能的同时,兼顾了模型的预测精度。
三是pipeline优化技术。对同一张图片不同阶段的处理使用流水线技术,通过并行达到平台资源利用最大化。
四是对内存进行优化。优化内存拷贝流程,降低平台访存压力。
目前该项技术,已经在平安的智慧教育项目中得到了落地应用,这也是Gamma Lab和平安云在人工智能应用上的又一大进步。
作为集团科技转型的强大引擎,平安科技平安云承载了平安内部95%以上的专业子公司,80%以上的业务系统。平安云始终跟随科技前沿动态,引入最新的高性能计算资源,助力平安从传统IT基础架构转向更加弹性、灵活、高效的全渠道商业模式转型。目前平安云生态已经服务超5亿用户,直接服务外部生态合作伙伴已超500家。未来,随着云基石的不断夯实,平安云将链接更多企业,不断完善云生态,打造出一支庞大的航母集群。
关于平安科技
平安科技是平安集团旗下科技解决方案专家,致力于运用人工智能,云等技术,赋能金融、医疗、房产、汽车、智慧城市五大生态圈。平安科技以“云无限”为价值主张,积极践行“科技改变生活”的企业理念,立志成为国际领先的“AI+云”公司。
作为平安集团高科技内核,科技解决方案已经应用在超550个场景中,积极孵化智慧业务,助力建成生态闭环;作为IT后台综合管理平台,开发和运营平安关键平台和服务,支持平安保险、银行、投资、互联网等业务高效协同发展;平安科技也是云平台的积极构建者,平安云作为平安服务的综合输出平台,为全行业提供IaaS、PaaS、SaaS全栈式云服务,打造的生态圈已经服务过5亿用户,并拓展至海外市场。
