您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
分库分表利器——sharding-sphere
 
作者:Jackie_Zheng
  995  次浏览      17
2021-10-26 
 
编辑推荐:
本篇通过一个简单的demo代码,大致了解了sharding-sphere(主要是sharding-jdbc)的基本玩法,后续有时间可以学习下底层的设计和实现原理。
本文来自于简书,由火龙果软件Alice编辑、推荐。

背景

得不到的东西让你彻夜难眠,没有尝试过的技术让我跃跃欲试。

本着杀鸡焉用牛刀的准则,我们倡导够用就行,不跟风,不盲从。

所以,结果就是我们一直没有真正使用分库分表。曾经好几次,感觉没有分库分表(起码要分表),项目就做不下去了,但是由于跨部门、工具约束、项目被砍等各种原因最终都偃旗息鼓,乖乖的搞单表加索引去了。

应该是没有及时同步公司内部知识库的原因,过去的几次分库分表的尝试也是让人哭笑不得。公司内部流传着一件上古神器,可以解决分表问题。

既然是上古神器,那么使用的流程肯定也是非常原始。没错,因为是基于windows系统写的一个桌面程序,所以必须到windows平台安装执行,而公司绝大多数已经不用windows系统了。针对这个问题,有两个解决方式,一种是找台式机,一种是安装虚拟机。

我选择了后者,毕竟自己安装,独立自主,可以随心所欲的操作。好了,环境算是有了,这时候肯定要有个教程,毕竟口口相传这种模式会随着时间的推移慢慢变得不好使了,尤其是使用场景不多的情况下。

打开教程的那一刻,仿佛拿到的是易筋经这样的武功秘籍,里面只有几张内功心法似的截图,要想参透,全靠自己领悟。

睁大眼睛,在放大缩小拖拽各种操作中,领会截图的真正含义,生怕出现像漏看“欲练此功,必先自宫”的下半句“如不自宫,也能成功”带来的惨痛教训经历。

每一步都很小心,然后点击相应的神奇按钮。一通操作,Duang,分表就完成了,而且连相应的ibatis文件都生成好了。你需要做的就是在代码里面调用相应接口就好了。

可以想见,作为上古神器,自有其光芒的地方,但是可能因为年久失修,所以理解上会有些难度。虽然一通操作猛如虎,但是回头让你再详述下具体的流程可能已经忘得差不多了。

后来,在部门内部是有小伙伴专门研究过并做了分享,但是鉴于使用场景不多,所以没有引起大家过多的关注。公司内部也有其他部门引进或者自研出了更好的工具,但是没有参加分享,所以也是一度搁置。

这次的项目按照老大一贯扩展性的做法,应该是要做分表的了,没成想,初步过方案的时候说分啥表,现在的量级单表完全够用。好吧,虽然表没分成,但是接触到了分表利器sharding-sphere。

sharding-sphere

简介

Sharding-Sphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这3款相互独立的产品组成。他们均提供标准化的数据分片、读写分离、柔性事务和数据治理功能,可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。

官网

http://shardingjdbc.io/

Github

https://github.com/sharding-sphere

三大核心模块分别是Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar。

Sharding-JDBC

定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。

Sharding-Proxy

定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。 目前先提供MySQL版本,它可以使用任何兼容MySQL协议的访问客户端(如:MySQL Command Client, MySQL Workbench等)操作数据,对DBA更加友好。

Sharding-Sidecar

定位为Kubernetes或Mesos的云原生数据库代理,以DaemonSet的形式代理所有对数据库的访问。 通过无中心、零侵入的方案提供与数据库交互的的啮合层,即Database Mesh,又可称数据网格。

sharding-sphere-example

在Github上分别有三个项目,分别是 sharding-sphere 、 sharding-sphere-doc 和 sharding-sphere-example 。从字面就可以看出每个项目是做什么的。

既然是要入门,那就clone下sharding-sphere-example这个项目。

1、克隆项目

在命令行执行 git clone https://github.com/sharding-sphere / sharding-sphere-example . git

完成后,就可以看到sharding-sphere-example项目,导入intellij idea中。

2、编译项目

进入项目根目录下,编译项目。

我这边下载的项目sharding-sphere.version是3.0.0.M2-SNAPSHOT,编译的时候一直报该版本找不到,无法下载,去中央仓库也没有找到。

想着可能要本地编译打包,所以就换成了3.0.0.M1版本,编译通过。

3、配置数据源

因为是本机测试,所以在本地配置mysql数据库。

4、编写数据分片代码

sharding-sphere-example项目中有基于不同场景包括spring-boot、jpa、mybatis 的具体分库分表的实例代码。

本文主要结合sharding-sphere官方文档给出的数据分片代码讲解如何实现分库分表的。

测试类ShardingDataSource

注意

1、代码中类似"ds {0..1}.t_order {0..1}"成为行表达式,形如" { expression }或 ->{ expression }"。该表达式可用于配置数据节点和配置分片算法。

${begin..end}表示范围区间,即表示从begin到end个

${[unit1, unit2, unit_x]}表示枚举值

2、orderTableRuleConfig .setActual DataNodes ("ds {0..1}.t_order {0..1}");

这里表示的是使用行表达式配置数据节点即数据库分别是ds0、ds1,表分别是 t_order0、t_order1。

该表达的等价组合是:ds0.t_order0, ds0.t_order1, ds1.t_order0, ds1.t_order1。

3、orderTableRuleConfig.setTable ShardingStrategyConfig ( new InlineShardingStrategy Configuration ("order_id" , "t_order${order_id % 2}"));

这里表示的是使用行表达式配置分片算法。该行表示针对t_order表中的元素按照order_id模2将不同的元素放进不同的表中。

比如order_id=5,5%2=1,则放入t_order1中

order_id=6, 6%2=0, 则放入t_order0中

4、除此以外还要一些类似"逻辑表"这样的概念,可以到官方文档自行查询。

工具类DataRespository (该类来源 sharding-sphere-example 项目)

注意

1、createTable

该方法会根据配置的数据节点表达式创建分表。这里分别创建t_order和t_order_item两张逻辑表。

2、insertData

该方法同样根据配置的数据分片表达书创建数据

3、queryWithEqual等方法

这些方法是不同的查询场景,有精确查询也有范围查询

4、queryWithHint

该方法比较特殊。

通过解析SQL语句提取分片键列与值并进行分片是Sharding-Sphere对SQL零侵入的实现方式。若SQL语句中没有分片条件,则无法进行分片,需要全路由。

好比queryWithHint这个方法中的"String sql = "SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id";"就没有包含路由信息,即where

条件语句中没有order_id和user_id的信息。

所以该方法中通过强制指定路由信息进行路由。"hintManager . addDatabaseShardingValue ( "t_order", "user_id", 11 ) ;"这里执行user_id为11的条件,通过这个条件也可以推测出是只会路由到ds1库中(11%2=1)。

5、dropTable

该方法用于清理现场,将所有表和表数据清除。

5、执行结果

执行完代码,控制台打印

1.Query with EQUAL--------------
2.Query with IN--------------
3.Query with Hint--------------
4.Drop tables--------------
5.All done-----------

执行代码前,只有两个数据库ds0,ds1,执行代码后得到结果如下图所示

小结

sharding-sphere是一天非常强大的分布式数据库中间件解决方法。

有简单易懂的行表达式用于配置数据节点和数据分片算法。

有自己的诸多大杀器,比如强制路由等。

官方文档齐全,实例代码项目case较全,能够在较短时间完成分库分表。

 

   
995 次浏览       17
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新课程计划
信息架构建模(基于UML+EA)3-21[北京]
软件架构设计师 3-21[北京]
图数据库与知识图谱 3-25[北京]
业务架构设计 4-11[北京]
SysML和EA系统设计与建模 4-22[北京]
DoDAF规范、模型与实例 5-23[北京]
 
最新文章
InfluxDB概念和基本操作
InfluxDB TSM存储引擎之数据写入
深度漫谈数据系统架构——Lambda architecture
Lambda架构实践
InfluxDB TSM存储引擎之数据读取
最新课程
Oracle数据库性能优化、架构设计和运行维护
并发、大容量、高性能数据库设计与优化
NoSQL数据库(原理、应用、最佳实践)
企业级Hadoop大数据处理最佳实践
Oracle数据库性能优化最佳实践
更多...   
成功案例
某金融公司 Mysql集群与性能优化
北京 并发、大容量、高性能数据库设计与优化
知名某信息通信公司 NoSQL缓存数据库技术
北京 oracle数据库SQL优化
中国移动 IaaS云平台-主流数据库及存储技术
更多...