浪潮为国内某通信运营商搭建的大数据平台要求存储上亿级用户数据,业务对高并发和时延要求极为苛刻,需要单服务器每秒支持上万次数据读写操作,对于整个系统性能稳定性提出了较为严苛的要求。浪潮基于双路服务器NF5280M5搭载英特尔 傲腾 持久内存的解决方案,让大数据平台处理性能提升了2-3倍,扩容成本降低多达40%,帮助用户有效应对复杂查询及大数据量分析场景。
在数据堪比金矿的新时代,社会和企业数据正在快速增长,对于政府和企业,从实时数据分析中获得洞察将有越来越重要的价值。比如疫情期间,政府能够对大众出行数据进行分析的 “健康码”,密切接触者的动态追踪,全球医疗防护物资智能调度、复工复产情况分析等。但随着5G、AI、物联网、大数据的发展,如何利用数据服务于当下及未来业务,将数据转化为真正的资产,成为很多企业当前面临的难题。
国内某知名通信运营商下设的大数据有限公司是其全网数据对外运营的统一出口,其自主研发的UBD平台,是以Hadoop为核心的混搭架构大数据平台,实现了Hadoop、Spark、Storm、Redis等开源技术在实际生产服务中的规模化应用。
每秒上万次存取操作背后,成本与性能间的矛盾
面对日剧增的数据处理业务需求,浪潮为该运营商搭建的大数据平台要求存储上亿级用户数据,对并发和时延要求极为苛刻,通常需要单服务器每秒支持上万次数据存取操作,对于性能提出了较为严苛的要求。
IO阻塞是Spark SQL查询的常见痛点。在混合并发查询等场景中,由于需要访问的表数据较多,内存很快消耗殆尽,大数据平台常常需要将大量数据缓存到相对低速的磁盘中,导致出现显著的磁盘IO阻塞,且CPU利用率会上升至高达100%,严重拖慢了系统速度,想要扩充大数据平台的内容容量,但是随之而来的成本的大幅增长问题又让该运营商望而却步。
针对这种情况,浪潮提供了以双路服务器NF5280M5搭载英特尔 傲腾 持久内存的解决方案,傲腾持久内存在内存和存储之间的持久内存,容量显著大于DRAM,单一模块可提供128GB/256GB/512GB三种规格,有效缓解内存不足的难题。
击破I/O瓶颈,让数据处理更高效
由于首次使用这种方案,客户更关注服务器的稳定性、处理能力和网络I/O能力,以及与英特尔 傲腾 持久内存的兼容性。浪潮NF5280M5支持2颗Intel的可扩展处理器,单CPU最高拥有28个内核及56线程,CPU之间采用2条10.4 GT/s UPI互连链路,可支持M.2和全闪,实现超高的存储吞吐量,将I/O延时从秒、毫秒级直接降低至微秒级,在数据库、ERP、大数据分析等应用场景可以体现极致的实际应用性能。
采用浪潮方案后,新建成的大数据平台OAP(Optimized Analytics Package)的Spark测试结果显示,处理性能提升了2-3倍,扩容成本降低多达40%。大数据平台的性能提升,将助力用户有效应对复杂查询及大数据量分析场景,显著改善数据分析应用延迟等方面的表现。
搭载傲腾持久内存,浪潮服务器让新技术应用变得更简单,在传统内存与存储之间架起一座桥梁,帮助用户在靠近处理器的内存系统上加载规模远超以往的数据集,满足包括内存数据库在内的,几乎所有对大内存有要求的应用负载需求,让更多数据的处理和分析走向实时化,释放数据金矿更大的价值。
1、“国际在线”由中国国际广播电台主办。经中国国际广播电台授权，国广国际在线网络（北京）有限公司独家负责“国际在线”网站的市场经营。
2、凡本网注明“来源：国际在线”的所有信息内容，未经书面授权，任何单位及个人不得转载、摘编、复制或利用其他方式使用。
3、“国际在线”自有版权信息（包括但不限于“国际在线专稿”、“国际在线消息”、“国际在线XX消息”“国际在线报道”“国际在线XX报道”等信息内容，但明确标注为第三方版权的内容除外）均由国广国际在线网络（北京）有限公司统一管理和销售。
已取得国广国际在线网络（北京）有限公司使用授权的被授权人，应严格在授权范围内使用，不得超范围使用，使用时应注明“来源：国际在线”。违反上述声明者，本网将追究其相关法律责任。
任何未与国广国际在线网络（北京）有限公司签订相关协议或未取得授权书的公司、媒体、网站和个人均无权销售、使用“国际在线”网站的自有版权信息产品。否则，国广国际在线网络（北京）有限公司将采取法律手段维护合法权益，因此产生的损失及为此所花费的全部费用（包括但不限于律师费、诉讼费、差旅费、公证费等）全部由侵权方承担。
4、凡本网注明“来源：XXX（非国际在线）”的作品，均转载自其它媒体，转载目的在于传递更多信息，丰富网络文化，此类稿件并不代表本网赞同其观点和对其真实性负责。
5、如因作品内容、版权和其他问题需要与本网联系的，请在该事由发生之日起30日内进行。
