【分布式架构之旅-理论篇】数据库分库分表

前言

储备知识ing，很久之前写的。

MySQL集群

MySQL官方提供的是mysql-proxy方案，主要解决了高并发的问题，但是没有解决高可用的问题。一般项目都是读多写少。读的操作让mysql-slave去处理，写的操作让mysql-master去处理，这减少对主库的访问压力。高可用问题体现在mysql-proxy宕了和单点故障(如果我mysql-master出现了故障，那一切不就GG了)方面。

mysql-proxy.png

什么是分库分表

把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。

为什么要分库分表

数据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，对应着，CRUD的数据操作开销也会越来越大。服务器的资源(CPU、磁盘、内存、IO等)是有限的，最终数据库所能承载的数据量、数据处理能力将会遭遇瓶颈。

分库分表的种类

• 垂直分割：将一个属性比较多、行的数据比较大的表、把这个表的不同属性进行拆分成不同表。因此来降低单库(表)大小的目的来提高性能。

  • 每个库(表)的结构都不一样。
  • 每个库(表)的数据至少有一列是一样的。
  • 每个库(表)的并集是全量数据。

• 水平分割：以某个字段按照一定的规律(取模)将数据分割到多个库(表)中。

  • 每个库(表)的结构都是一样。
  • 每个库(表)的数据都不一样。
  • 每个库(表)的并集是全量数据。

分库策略

• Hash取模，通过表的一列字段进行hash取code%1024.

• Range范围取模，比如2016年的数据放到A库，2017年的数据放到B库。

• List预定义

分库分表存在的问题

• 多数据源的管理

• 跨库事务的处理（伸缩性差）

• 查询数据结果的结果集合并

• 分布式全局唯一的id