Mycat中,分库分表是必须要掌握的功能,小伙伴们知道mycat中分库分表的原理是什么吗?下面就来看看吧。
Mycat是什么?
1)、一个彻底开源的,面向企业应用开发的大数据库集群
2)、支持事务、ACID、可以替代MySQL的加强版数据库
3)、一个可以视为mysql集群的企业级数据库,用来替代昂贵的Oracle集群
4)、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
5)、结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
6)、一个新颖的数据库中间件产品
Mycat原理?
分区
分区就是把存放数据的文件分成许多小块,如mysql中的一张表对应三个文件.MYD,MYI,frm,它是对业务透明的。
根据一定的规则把数据文件(MYD)和索引文件(MYI)进行了分割,分区后的表呢,还是一张表。分区可以把表分到不同的硬盘上,但不能分配到不同服务器上。
优点:数据不存在多个副本,不必进行数据复制,性能更高。
缺点:分区策略必须经过充分考虑,避免多个分区之间的数据存在关联关系,每个分区都是单点,如果某个分区宕机,就会影响到系统的使用。
分片
在物理实现上分成多个服务器,不同的分片在不同服务器上,对业务透明。
分表
同库分表:所有的分表都集中在一个数据库中,由于数据库中表名不能重复,因此需要把数据表名起成不同的名字。
优点:由于都在一个数据库中,公共表,不必进行复制,处理更简单。
缺点:由于还在一个数据库中,CPU、内存、文件IO、网络IO等瓶颈还是无法解决,只能降低单表中的数据记录数。表名不一致,会导后续的处理复杂
不同库分表:由于分表在不同的数据库中,这个时候就可以使用同样的表名。
优点:CPU、内存、文件IO、网络IO等瓶颈可以得到有效解决,表名相同,处理起来相对简单。
缺点:公共表由于在所有的分表都要使用,因此要进行复制、同步。一些聚合的操作,join,group by,order等难以顺利进行。
分库
分表和分区都是基于同一个数据库中的数据分离技巧,都对数据库性能有的一定提升,但由于业务数据量的增加,原来所有的数据都是在一个数据库上的,网络IO及文件IO都集中在一个数据库上的,因此CPU、内存、文件IO、网络IO都可能会成为系统瓶颈。
当业务系统中数据容量接近或已经超过单台服务器的容量、QPS/TPS接近或超过单个数据库实例的处理极限时。往往是采用垂直和水平结合的数据拆分方法,把数据服务和数据存储分布到多台数据库服务器上。
分库只是一个通俗的说法,它的标准名称是数据分片,采用类似分布式数据库理论指导的方法实现,对应用程序达到数据服务的全透明和数据存储的全透明。
Mycat分库分表原理解析
在查询 select * from user_info
发送三个db请求
如果是查询素有的情况下(不带条件)
转换成为:
select * from db1.user_info
select * from db2.user_info
select * from db3.user_info
最后把结果集给mycat进行封装 然后返回给客户端
如果加个where id = 1 这样带条件的情况下 mycat会进行转换 1%3=1 在db2上!转换成 select * from db2.user_info where id = 1 如果查询的是分片的话,效率很高。发送一条就搞定
如果不是分片字段的话 会发送三条哦!效率很低
比如 where name = ‘jack’ 会发送三条 根据条件去每个数据库里面进行查询 返回结果
tailf -200f mycat.log: 进行实时的查看
然后迅速的查询 一目了然
注意分页查询:
select * from user_info limit 0,2
到底是哪个数据分片的?
往三个库里面发三个select请求 获取三对 六条结果
随机抽取一对返回给客户端
如果加了排序的条件呢?
select * from user_info order by id limit 0,2 (相当于取出最大的两条数据)
先发送三个select 每个都是最大的两条 然后返回给mycat 进行综合评选拿出最大的俩 返回给客户端
如果是 select * from user_info limit 0,3
每次请求返回的都是在改变的 是随机的!
db1 取两条 db2 和 db3随机一条
以上就是关于mycat原理的所有内容了,相信你已经有所理解了,还想了解更多java项目中常见问题及答案的话,就请一直关注奇Q工具网吧。
推荐阅读;