Apache ShardingSphere 在京东白条场景的落地之旅

2021-11-21 12:38:20 作者:Jack Lei   阅读:144 次  点赞:0 次  鄙视:0 次  收藏:0 次  由 www.3ctuan.cn 收集整理
分享到:
关闭
听新闻 - Apache ShardingSphere 在京东白条场景的落地之旅
00:00 / 00:00

-

+

语速: 慢速 默认 快速
- 6 +
自动播放×

御姐音

大叔音

萝莉音

型男音

温馨提示:
是否自动播放到下一条内容?
立即播放当前内容?
确定
确定
取消

  

  花呗提现提现专门『微信:1692706143』『 推荐优先添加QQ回复快83695409』点击复制添加专业的团队,专业的处事,靠谱平台,专业从事信用消费额度提现业务4年之久;主要操纵:蚂蚁花呗哟现、京东白条提现、苏宁任性付提现、网商贷支付额度套现、分期乐额度等信用额度取现现。风控花呗天猫淘宝店铺提现,花呗提现到支付宝,风控花呗提现,花呗风控提现最新技术,最新花呗秒回款二维码,花呗大额提现平台,
我们竭诚为您服务!安全、快速、便捷、认准我们!
十幅图花呗提现官方网站:www.taohuabei.me

  白条利用 Apache ShardingSphere 处理了千亿数据存储和扩容的问题,为大促勾当奠基了根本。

  2014 岁首年月,“白条”作为业内互联网信用领取产物,数据量迸发式的增加,每一次大促备战都是敌手艺人员的考验,每一次的计谋转型驱动着数据架构的成长。

  自 2014 年 2 月京东白条营业上线起,为满足快速成长的营业和激增的海量数据,白条的数据架构履历了数次演进。

  Solr + HBase 的方案处理了焦点、非焦点营业系统对环节数据库的拜候问题,Solr 作为被检索字段的索引,HBase 用作全量的数据存储。

  引入 NoSQL 方案,营业数据以月份进行分表存储在 MongoDB 集群中,阶段性满足告终算处置场景中导入导出的需求。

  跟着营业快速成长,数据量冲破百亿大关,此时 MongoDB 面对着容量和机能的双重考验。京东白条大数据平台通过 DBRep 以 MySQL Slave 的形式采集变更消息并存储到动静核心,最初落盘到 ES 和 HBase 中。

  白条数据架构的演进间接地反映了互联网消费金融的飞速成长,也申明了每一种处理方案在分歧布景下都有分歧的保质期。

  为包管营业系统在数据激增环境下一直能连结高效运转,手艺团队在设想初期利用了数据分片数据架构,阐扬极致机能的同时也兼顾代码的可控性,采用基于使用框架的数据拆分方案完成了数据拆分工作。

  但跟着产物升级迭代,晚期的处理方案演变成为了面前的问题,通过营业框架实现的数据分片方案导致营业代码复杂度添加、维护成本不竭攀升,紧耦合的短处真相大白,使用每次升级都需要投入较多的精神对分片做响应调整,研发人员难以专注于营业本身。

  面临如上问题,手艺团队经衡量后起头考虑利用成熟的分库分表组件来承担这部门工作,让营业系统升级和架构调整不再复杂。基于自研框架分片和基于 ShardingSphere 分片的对好比下:

  明显京东白条数据架构将迎来一个新的阶段,解耦的驱动力能够归纳综合如下 3 方面:

  · 聚焦精神:将基于架构的数据库拆分,交给分表组件实现,研发精神需聚焦于营业本身;

  · 规划将来:为系统供给优良的扩展能力,从容应对“618”和“11。 11”等勾当。

  京东白条营业体量庞大,是名副其实的金融级高并发、的营业场景,因而分库分表组件应具有以下特点:

  经内部大量系统性验证之后,Apache ShardingSphere 成为了京东白条数据分片两头件的首选方案,2018 岁尾正式起头对接。

  为能全面支持白条营业、供给更好的营业体验,Apache ShardingSphere 在京东白条营业落地过程中对产物的功能和机能方面进行了更多的支撑和提拔,产物再一次履历典型案例的打磨。

  白条的营业逻辑很是复杂且复杂,多样化场景的需求对 SQL 的兼容程度有着较高要求,Apache ShardingSphere 重构了 SQL 解析模块,并支撑了更多的 SQL。

  · 路由至少数据节点,可全面支撑 DML、DDL、DCL、TCL 和部门 DAL。支撑分页、去重、排序、分组、聚合、联系关系查询。

  Apache ShardingSphere 供给了内置的分布式主键生成器,例如 UUID、SNOWFLAKE 等分布式主键生成器。同时 Apache ShardingSphere 供给了分布式主键生成器的接口,用户可自定义自增主键生成算法来满足特殊场景的需求。

  除了对功能上的加强,Apache ShardingSphere 为满足京东白条营业严苛的机能要求,同时做了多方面调优。

  经两团队共同努力,京东白条营业与 Apache ShardingSphere 相连系的各项目标满足预期,机能与原生 JDBC 几乎分歧。

  关于对接过程中的问题详情及方案,请通过《Apache ShardingSphere 对接京东白条实战》一文来领会。

  Apache ShardingSphere 利用定制化 HASH 策略对数据进行分片,无效避免了热点数据问题,拆分后的数据节点数达近万个,整个割接过程大约持续了 4 周摆布的时间。

  通过架构解耦,营业系统升级所涉及手艺栈获得无效缩短,研发团队不再需要关心分表设想,精神全数聚焦于营业本身,升级路径获得大幅度优化;

  引入成熟的 Apache ShardingSphere 无需从头开辟分表组件,在简化营业升级路径的根本上节流了大量研发力量;

  搭配利用 Scaling 同步迁徙组件从容面临“618”和“11.11”等大型勾当,系统矫捷扩容。

  京东白条营业的快速增加驱动着数据架构不竭升级,本次架构演进通过引入 Apache ShardingSphere 助力白条架构解耦,简化了系统升级路径,使研发团队只需关心营业本身,同时也实现了数据架构的矫捷扩展,在消费金融场景开启了优良的初步。

  互联网信用消费模式成长逐渐多样化,将来 Apache ShardingSphere 将与京东展开更多营业场景的实践和摸索,通过鞭策金融科技立异成长,进一步提拔互联网金融的立异速度和效率。

  ShardingSphere 作为 Apache基金会下的顶级开源项目,在 GitHub 上获得了超 14K Star 的关心,已成为行业内受接待的开源项目,全球有跨越 170 家企业用户登记利用,笼盖金融、电子商务、云办事、旅游、物流、教育、文娱等多个范畴。

Tags标签
加入收藏夹(0 点赞一下(0 鄙视一下(0
发表评论
内容:
剩余字数:360/360


     :: 正在为您加载评论……


每页10条,共0

相关文章

play
next
close
X

3C团-上所有的内容均由网友收集整理,纯属个人爱好并供广大网友交流学习之用,作品版权均为原版权人所有。
如果版权所有人认为在本站放置您的作品会损害您的利益,请指出,本站在核实之后会立即删除。QQ:22359512
Copyright 2006-2021 3ctuan.cn Inc. all Rights Reserved

粤ICP备65461687号 XML地图 Tags标签

×

分享到微信朋友圈

扫描二维码在微信中分享