在9月16日举办的2021全球分布式云大会上,京东云数据库中间件产品负责人、StarDB架构师徐力权出席分布式数据库论坛,发表以《京东云自研分布式数据库StarDB应用实战》为主题的技术实践分享,同时京东云分布式数据库StarDB凭借领先的设计架构与实践应用成果,荣获“年度最佳国产分布式数据库”。
StarDB发展历程
自2015年开始,StarDB先是以分布式数据库中间件为基础,再结合mega自动化运营平台,包括DTS数据传输服务。后面研发了CleverDB智能分析平台,到2017年,京东云团队将以上产品在内部进行推广应用,把京东内部主要的支付、交易、保险等业务,包括帐务、会员,通过StarDB进行升级。到2018年,对DBCM数据建模进了扩展,将自动化运维整体融合,到2019年,拥抱开源生态,开始驾驭海量数据库。再到2020年,进行场景融合,一体化,以及科技赋能,产品化,再到2021年的国产分布式数据库服务化、云原生。
从运行现状看,目前StarDB在京东内部的核心数达到20万以上,总记录行数在30万亿级以上,单个并发量60万每秒,读写峰值400万每秒,覆盖将近98%的业务,应用包括支付核心、交易平台、风控、资管系统等。
StarDB产品赋能方面,徐力权表示,京东云与银行类、互联网银行,包括智能城市等领域的多业务进行了深度融合。未来StarDB也会以云延伸的方式与银行及其他行业做交流。
在资质认证, StarDB获得过非金融机构支付服务业务系统检测及认证、ISO27001信息安全管理体系认证、可信云服务认证(云主机)、可信云服务认证(云数据库)、信通院分布式数据库认证、信息安全等级保护三级、四级认证等等。
StarDB内核架构分解
StarDB提供三种访问模式。一是代理的方式,二是客户的方式,三是云延伸的方式。StarDB的服务包括数据网关、数据操作、数据辐射等。StarDB在安全合规上,有完整的数据库审计系统、完整的解密算法,以及底层的安全基础。StarDB对性能的分析包括完整的空间分析、慢查询分析等功能。在计算引擎上,提供了分布式算法、复旦事务,像读写分离、查询优化等等。在存储上,StarDB目前基于MySQL的数据库,进行了升级优化,像多线程ACK、线程池优化等。
在运维生态方面,京东云团队有着丰富的经验,会不定期对产品做容灾切换,不定期地做备份恢复,像全局调度、数据迁移等等。StarDB可以适配各种基础数字资源,像目前流行的Docker、物理机、虚机等等。
在StarDB的服务架构里,中间是StarDB核心层,包含一个数据配置中心,右边是完整的计算机群。下面是管控计算的模块,中间是数据库。StarDB以衍生MySQL的方式提供服务,也以客户端的方式提供服务,这两种服务共用一个引擎,方便用户自由组合。
StarDB的实践应用
进入StarDB时代,从创建业务建模、变更、测试、上线,再到后面的迭代,再到后面的扩缩容,数据库的生命周期非常清晰。任何分布式数据库,如果自动化技术跟不上,会导致运维成本大幅提升。
一站式数据服务:
使用数据库时常遇到的弹性伸缩需求,往往存在一些痛点。
一是资源浪费。通常业务在使用的时候,并不知道自己业务未来能发展成什么样子,所以他上来之后就开发,申请一大堆资源,然后DBA的同学没办法拒绝。但是在使用过程中,他发现使用率只有30%、40%,这时候如果这个弹性方案没那么完善的话,运维成本就非常高。
二是扩缩容难。对百亿级数据进行扩缩容,迁移数据过程周期长,其次是对扩容业务的数据库切换,存在高风险。而StarDB则形成了能根据业务流量进行动态扩缩容的机制,进行一键配置操作,让用户简单、快速做到数据迁移。
对于数据迁移周期, StarDB的迁移方案所体现的效果非常明显,首先在进行数据库申请时,申请时间从以前两到三年的量变为现在半年的量同时,资源使用率也可提高到50%以上。
StarDB的操作过程都可在页面进行操作迁移,然后自动化创建,自动化销毁整个过程。在数据迁移完成后,系统会自动发送应用事件,应用能够自动切换到扩容后的数据库。整个迁移过程中,StarDB团队也会不间断地对数据进行抽样比对,包括迁移过程中数据是否一致。最后,在切换前StarDB团队会进行业务的数据校验,以确保数据万无一失。
该方案的全部过程,已在京东集团内部做过大量实践,且非常稳定。发展至今,京东云StarDB在京东体系内部,经过严苛的实战检验,支撑了京东支付、京东保险、京东客服、京东机器人等多个核心业务,支持了数次京东618、11.11和多次大规模安全合规检测。伴随京东云对外开放京东体系的科技能力,京东云StarDB已开始赋能传统金融机构,以国产自研的科技产品推进产业数字化进程。截至目前,StarDB已服务全球多家金融机构,包括清算机构、互联网银行、城市商业银行等,构建大规模数据库运维体系和跨机房的业务双活架构,建立完善的数据库运维管控体系,满足监管合规需求,在交易支付、风控、保险、账务清算、资产管理、企业征信等多类金融业务场景,以卓越性能稳定支撑业务发展。
StarDB未来发展方向
伴随京东云对外开放京东体系的科技能力,京东云StarDB已开始赋能传统金融机构,以国产自研的科技产品推进产业数字化进程。截至目前,StarDB已服务全球多家金融机构,包括清算机构、互联网银行、城市商业银行等,构建大规模数据库运维体系和跨机房的业务双活架构,建立完善的数据库运维管控体系,满足监管合规需求,在交易支付、风控、保险、账务清算、资产管理、企业征信等多类金融业务场景,以卓越性能稳定支撑业务发展。
京东云StarDB已经入驻云舰PaaS开放平台,实现一次适配多云落地,在金融、政企场景深度服务客户,未来将在更多场景完成规模化复制落地,助力产业打造坚实的数字基座,实现数据库在产业数字化中的核心支撑作用。