1 分库分表之MyCat实现

1.1 分库分表介绍

前提：当你们的数据库表数据特别大时，比如说上亿的记录，数据库本身的优化基本上无法解决性能问题了，根本原因是数据库本身的io读写到了一个瓶颈，这个时候，需要海量数据的存储和查询问题。此时我们需要利用分库分表的思想去进行数据库的架构优化。

随着微服务这种架构的兴起，我们应用从一个完整的大的应用，切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。

image.png

数据的切分分为两种：

l 垂直切分：按照业务模块进行切分，将不同模块的表切分到不同的数据库中。

l 水平切分：**将一张大表按照一定的切分规则，按照行切分到不同的表或者不同的库中。

1.2 MyCAT介绍

1.2.1 什么是MyCAT？

官方网站：<u>http://www.mycat.org.cn/</u>

简单的说，MyCAT就是：

·一个彻底开源的，面向企业应用开发的“大数据库集群”

·支持事务、ACID、可以替代Mysql的加强版数据库

·一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群

·一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server

·结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

·一个新颖的数据库中间件产品

MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。

1.2.2 MyCAT的关键特性

·支持 SQL 92标准

·支持Mysql集群，可以作为Proxy使用

·支持JDBC连接ORACLE、DB2、SQL Server，将其模拟为MySQL Server使用

·支持galera for mysql集群，percona-cluster或者mariadb cluster，提供高可用性数据分片集群

·自动故障切换，高可用性

·支持读写分离，支持Mysql双主多从，以及一主多从的模式

·支持全局表，数据自动分片到多个节点，用于高效表关联查询

·支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询

·多平台支持，部署和实施简单

1.2.3 MyCAT架构

image.png image.png

1.2.4 核心概念

l Schema：由它指定逻辑数据库

l Table：逻辑表

l DataNode：真正存储节点

l DataHost：真正的数据库主机

如图所示：MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器，并建立了完整的Schema（数据库）、Table （数据表）、User(用户)的逻辑模型，并将这套逻辑模型映射到后端的存储节点DataNode（MySQL Instance）上的真实物理库中，这样一来，所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议。

1.2.5 Mycat存在的问题

l 跨库join问题

• 通过业务分析，将不同库的join查询拆分成多个select

• 建立全局表（每个库都有一个相同的表）

• 冗余字段（不符合数据库三范式）

• E-R分片（将有关系的记录都存储到一个库中）

• 最多支持跨两张表跨库的join

l 分布式事务（弱事务）

• 强一致性事务（同步）

• 最终一致性事务（异步思想）

l 分布式主键

redis incr命令

• 数据库（生成主键）

• UUID

snowflake算法

1.3 Mycat解决的问题

l 海量数据存储

l 查询优化

image.png

1.3.1 Mycat对多数据库的支持

image.png

1.4 分片策略

MyCAT支持水平分片与垂直分片：

·水平分片：一个表格的数据分割到多个节点上，按照行分隔。

·垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3上。

image.png

MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。

1、Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。

2、Table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。

3、DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上

4、DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上

1.5 Mycat的下载及安装

1.5.1 下载mycat

github地址：<u>https://github.com/MyCATApache</u>

1.5.2 Mycat安装

安装rz上传文件工具

yum install -y lrzsz

第一步：把MyCat的压缩包上传到linux服务器

第二步：解压缩，得到mycat目录

tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

第三步：进入mycat/bin，启动MyCat

启动命令：./mycat start

停止命令：./mycat stop

重启命令：./mycat restart

注意：可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066