mycat原理,mycat分库分表的原理是什么?

TheDisguiser 2020-07-06 16:55:19 java常见问答 10727

Mycat中,分库分表是必须要掌握的功能,小伙伴们知道mycat中分库分表的原理是什么吗?下面就来看看吧。

Mycat是什么?

1)、一个彻底开源的,面向企业应用开发的大数据库集群

2)、支持事务、ACID、可以替代MySQL的加强版数据库

3)、一个可以视为mysql集群的企业级数据库,用来替代昂贵的Oracle集群

4)、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

5)、结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

6)、一个新颖的数据库中间件产品

Mycat原理?

分区

分区就是把存放数据的文件分成许多小块,如mysql中的一张表对应三个文件.MYD,MYI,frm,它是对业务透明的。

根据一定的规则把数据文件(MYD)和索引文件(MYI)进行了分割,分区后的表呢,还是一张表。分区可以把表分到不同的硬盘上,但不能分配到不同服务器上。

优点:数据不存在多个副本,不必进行数据复制,性能更高。

缺点:分区策略必须经过充分考虑,避免多个分区之间的数据存在关联关系,每个分区都是单点,如果某个分区宕机,就会影响到系统的使用。

分片

在物理实现上分成多个服务器,不同的分片在不同服务器上,对业务透明。

分表

同库分表:所有的分表都集中在一个数据库中,由于数据库中表名不能重复,因此需要把数据表名起成不同的名字。

优点:由于都在一个数据库中,公共表,不必进行复制,处理更简单。

缺点:由于还在一个数据库中,CPU、内存、文件IO、网络IO等瓶颈还是无法解决,只能降低单表中的数据记录数。表名不一致,会导后续的处理复杂

不同库分表:由于分表在不同的数据库中,这个时候就可以使用同样的表名。

优点:CPU、内存、文件IO、网络IO等瓶颈可以得到有效解决,表名相同,处理起来相对简单。

缺点:公共表由于在所有的分表都要使用,因此要进行复制、同步。一些聚合的操作,join,group by,order等难以顺利进行。

分库

分表和分区都是基于同一个数据库中的数据分离技巧,都对数据库性能有的一定提升,但由于业务数据量的增加,原来所有的数据都是在一个数据库上的,网络IO及文件IO都集中在一个数据库上的,因此CPU、内存、文件IO、网络IO都可能会成为系统瓶颈。

当业务系统中数据容量接近或已经超过单台服务器的容量、QPS/TPS接近或超过单个数据库实例的处理极限时。往往是采用垂直和水平结合的数据拆分方法,把数据服务和数据存储分布到多台数据库服务器上。

分库只是一个通俗的说法,它的标准名称是数据分片,采用类似分布式数据库理论指导的方法实现,对应用程序达到数据服务的全透明和数据存储的全透明。

Mycat分库分表原理解析

在查询 select * from user_info

发送三个db请求

如果是查询素有的情况下(不带条件)

转换成为:

select * from db1.user_info

select * from db2.user_info

select * from db3.user_info

最后把结果集给mycat进行封装 然后返回给客户端

如果加个where id = 1 这样带条件的情况下 mycat会进行转换 1%3=1 在db2上!转换成 select * from db2.user_info where id = 1 如果查询的是分片的话,效率很高。发送一条就搞定

如果不是分片字段的话 会发送三条哦!效率很低

比如 where name = ‘jack’ 会发送三条 根据条件去每个数据库里面进行查询 返回结果

tailf -200f mycat.log: 进行实时的查看

然后迅速的查询 一目了然

注意分页查询:

select * from user_info limit 0,2

到底是哪个数据分片的?

往三个库里面发三个select请求 获取三对 六条结果

随机抽取一对返回给客户端

如果加了排序的条件呢?

select * from user_info order by id limit 0,2 (相当于取出最大的两条数据)

先发送三个select 每个都是最大的两条 然后返回给mycat 进行综合评选拿出最大的俩 返回给客户端

如果是 select * from user_info limit 0,3

每次请求返回的都是在改变的 是随机的!

db1 取两条 db2 和 db3随机一条

以上就是关于mycat原理的所有内容了,相信你已经有所理解了,还想了解更多java项目中常见问题及答案的话,就请一直关注奇Q工具网吧。

推荐阅读;

mycat是什么意思?是啥意思?特性介绍

mycat读写分离如何实现?mycat是什么?

mycat分库分表如何实现?原理是什么?