伴随着信息量的指数级增长,大数据面临着算力吃紧、存储资源告急、数据处理效率无法满足业务增长诉求等一系列问题,直到近年来兴起的容器技术的出现,才得以有效解决此类问题。
据悉,容器技术以其易迁移、扩容快、轻量化等优势,结合计算存储分离的分布式架构,可以更好地发挥大数据平台在高并发、实时分析、海量数据集等应用场景下的优势。诸如保险、电力、零售、互联网、汽车、等行业,通过这种方式能够制定更贴近用户的商业策略、服务方案,并进行精准推送。
随着5G+云+AI时代来临,数据变得更复杂、更多、更精细化,大数据对企业的发展越来越重要。而行业所面临的则是如何用一种更实用、更高效的解决方案,处理爆炸式增长的数据。对此,各大公司也进行了新一轮的技术探讨。
伴随着容器技术的成熟及在各行业的深入应用,部分企业也着手于平台的容器化改造,希望结合容器的优势,为大数据平台赋予新的力量。截止目前,存算分离的方案相对较为成熟以Spark为例,其大致可分为Spark On Kubernetes和Spark Standalone两种方案。
Spark On Kubernetes集群方案,该方案使用Kubernetes替代Yarn来进行统一的资源编排和调度,通过相关技术可以进一步提升资源管理效率,优化了资源分配,同时也实现了对容器资源的动态管理。
另一种Spark Standalone方案得益于容器任务隔离、细粒度、轻量化的算力管理等特点,可以将主机划分成更多小颗粒的任务单元,充分利用了主机资源。但该方案无法对容器进行动态管理,尽管资源利用率有所提升,但仍存在浪费现象。
然而,Kubernetes不属于Hadoop生态组件,与传统Spark on YARN相比存在着性能较差、缺少任务队列、external shuffle service等特性,同样也不好解决企业的问题。基于此,华为云推出鲲鹏大数据容器解决方案,能很好地解决这个问题。
据了解,华为云鲲鹏大数据容器解决方案能提供一套更完善的容器化大数据解决方案。该方案以支持原生多协议的OBS对象存储服务为统一的存储数据湖,可以无限弹性扩容的鲲鹏算力作为计算资源,提供“极致弹性、极致高效、存算分离”的全新公有云大数据解决方案,能有效应对当前大数据行业存在的瓶颈,大幅提升了大数据集群的资源利用率,助力企业智能转型升级。未来,华为云也同样会将更多的技术融入到该方案中,致力为企业带来更好的服务。
众所周知,华为技术实力强劲,其云计算品牌华为云同样以其深厚的技术功底不断创新并赋能各行各业。选择华为云正当时,双十一期间,华为云设置内容加速专场、域名建站专场、AI大数据专场等,促销囊括众多明星产品,欲了解更多详情,请至华为云官网
