9月7日,腾讯全球数字生态大会容器和 Serverless专场上,腾讯云分享了在相关方面的云原生技术创新、能力演进和案例实践。
腾讯云云原生产品中心总经理邹辉在开场致辞中表示:“企业越来越关注IT资源成本,过去一年,如何通过云原生技术助力企业极致降本是我们最重要的研究方向。”云原生技术在资源管理中有标准K8s集群、Serverless容器技术、Serverless函数三种常见模式。在三种模式下,通过将云原生技术与FinOps理念结合,腾讯云推出了三种新兴的产品形态:TKE原生节点、TKE超级节点、SCF新版,助力企业极致降本。
同时过去一年,我们也将云原生技术与AI大模型场景结合,在保障训练过程稳定、提升GPU资源利用率、保障数据安全等场景进行了大量探索和尝试。
TKE超级节点,开启 Serverless容器新形态
经过5年的创新与演进,截止2022年,腾讯云内外客户 Serverless容器规模已达千万核;疫情期间,腾讯会议进行大规模扩容,利用 Serverless容器技术 1小时即完成了 20万核算力的端到端交付。腾讯云希望Serverless容器未来可以在更多场景创造价值,并做到简单易用,推出Serverless容器新形态:TKE超级节点。
腾讯云 Serverless容器产品负责人韩沛介绍,腾讯云TKE超级节点是 TKE集群中的一种节点类型,客户能够像使用普通主机一样购买、扩容,保持有服务器的管理体验;同时,它会将容器调度到腾讯云底层 Serverless资源池,实现了无服务器的免运维能力。腾讯云容器超级节点结合了有服务器和无服务器的优点,提升产品能力的同时降低了使用和切换门槛,让企业更容易实现向 Serverless容器的平稳过渡。
腾讯云容器超级节点还设计了全新的混合计费模式:稳态业务使用的预付费,弹性业务使用的后付费,并自动推荐两者配比,有效解决了Serverless容器成本不可控、运维复杂度高等短板;并通过容器可热迁移、容器可debug、提升可观测性等多种方式,提升用户对Serverless容器的运维安全感。
TKE原生节点技术降本新实践
据腾讯云容器服务TKE产品负责人梁文杰介绍,TKE原生节点是完整落地FinOps理念的新类型节点,通过产品和技术巧妙化解多团队的差异化的成本关注点,客户可以依托多纬度、多角色、多场景成本洞察工具——TKE Insight,更好地发现云原生环境中的资源使用情况,并且在应用层面、调度层面、内核层面提供产品能力和工具助力客户优化资源使用,用技术手段全面提升资源效能,实现成本效益、稳定可控、易用性之间的平衡。
TKE原生节点还致力于辅助和简化运维流程。这样一来,企业可以更高效地管理和维护云原生环境,降低运维成本,提高业务稳定性和可靠性。
SCF on K8s,为日益繁荣的AGI带来更多可能
随着Serverless从一种新技术架构,蜕变为云上的最佳实践,找到 Serverless和企业的云原生诉求的结合点,让企业在基础设施掌控度和业务高效开发之间找到平衡,成为 Serverless应用的当务之急。基于此,腾讯云构造了全新的云原生 Serverless产品形态—— SCF on K8s。
腾讯云函数产品负责人何世友表示,AI大模型横空出世后,SCF on K8s针对AI基础设施调度与应用部署设计了一系列产品能力,为日益繁荣的AGI带来更多可能。
GPU闲置成本高、运维难,Serverless按量计费、按需扩缩容、单实例单并发的主动调度机制十分契合该场景。而云函数支持容器化的应用,可将模型打包到容器镜像,创建函数时直接从镜像仓库中加载镜像,极大降低改造成本。
腾讯云还打造了 Serverless应用平台,为模型交付到推理应用提供一站式解决方案,让模型提供方无需自建 SaaS,可专注自己的核心技术优势,实现价值最大化。
同时,平台支持海量的社区模型一键部署,如 stable diffusion 1.5/2.1、llama-7b/13b等。用户只需要聚焦在模型和应用代码开发上,推理服务发布从原来需要 3个人 2周时间,缩短到 1个人 2天时间。以平台上的 Stable Diffusion应用为例,5月发布以来,已累积服务了一万多开发者。
未来,腾讯云将继续探索更多创新性的云原生技术解决方案,服务更多应用和行业场景,持续激发云原生AI技术创新与降本增效的新动能
