1. 分库分表

1. 垂直分表定义：将一个表按照字段分为多个表，每个表存储其中一部分字段。

• 为了避免IO争抢并减少锁表的几率，查看详情的用户与商品信息浏览互不影响

• 充分发挥热门数据的操作效率，商品信息的操作的高效率不会被商品描述的低效率所拖累。

• 通常我们按以下原则进行垂直拆分:

  • 把不常用的字段单独放在一张表;

  • 把text，blob等大字段拆分出来放在附表中;

  • 经常组合查询的列放在一张表中;

2. 垂直分库是按照业务将表进行分类，分布到不同的数据库上，每个库可以放在不同的服务器上。核心理念是专库专用

• 解决业务层面的耦合，业务清晰

• 能对不同业务的数据进行分级管理、维护、监控、扩展等

• 高并发场景下，垂直分库一定程度的提升IO、数据库连接数、降低单机硬件资源的瓶颈

• 垂直分库通过将表按业务分类，然后分布在不同数据库，并且可以将这些数据库部署在不同服务器上，从而达到多个服务器共同分摊压力的效果，但是依然没有解决单表数据量过大的问题。

3. 水平分库：是把同一个表的数据按照一定规则拆到不同的数据库中，每个库可以放在不同的服务器上

• 解决了单库大数据、高并发的性能瓶颈

• 提升了系统的稳定性和可用性：稳定性体现在IO冲突减少，锁定减少，可用性指某个库出现问题，部分可用。

• 当一个应用难以再细粒度的垂直切分，或切分后数据量行数巨大，存在单库读写、存储性能瓶颈，这时候就需要进行水平分库了，经过水平切分的优化，往往能解决单库存储量及性能瓶颈。但由于同一个表被分配在不同的数据库，需要额外进行数据操作的路由工作，因此大大提升了系统复杂度。

4. 水平分表：是在同一个表的数据按照一定规则拆分到多个表中

• 优化单一表数据量过大而产生的性能问题

• 避免IO争抢并减少锁表的几率

• 库内的水平分表，解决了单一表数据量过大的问题，分出来的小表中只包含一部分数据，从而使得单个表的数据量变小，提高检索性能。

总结

本章介绍了分库分表的各种方式，它们分别是垂直分表、垂直分库、水平分库和水平分表：

垂直是在设计阶段：

• 垂直分表：可以把一个宽表的字段按访问频次、是否是大字段的原则拆分为多个表，这样既能使业务清晰，还能提升部分性能。
  拆分后，尽量从业务角度避免联查，否则性能方面将得不偿失。

• 垂直分库：可以把多个表按业务耦合松紧归类，分别存放在不同的库，这些库可以分布在不同服务器，从而使访问压力被多服务器负载，大大提升性能，同时能提高整体架构的业务清晰度，不同的业务库可根据自身情况定制优化方案。
  但是它需要解决跨库带来的所有复杂问题。

• 水平分库：可以把一个表的数据(按数据行)分到多个不同的库，每个库只有这个表的部分数据，这些库可以分布在不同服务器，从而使访问压力被多服务器负载，大大提升性能。
  它不仅需要解决跨库带来的所有复杂问题，还要解决数据路由的问题(数据路由问题后边介绍)。

• 水平分表：可以把一个表的数据(按数据行)分到多个同一个数据库的多张表中，每个表只有这个表的部分数据，这样做能小幅提升性能，它仅仅作为水平分库的一个补充优化。
  一般来说，在系统设计阶段就应该根据业务耦合松紧来确定垂直分库，垂直分表方案，在数据量及访问压力不是特别大的情况，首先考虑缓存、读写分离、索引技术等方案。
  若数据量极大，且持续增长，再考虑水平分库水平分表方案。

分库分表带来的问题

1. 事务一致性问题：分布式事务

2. 跨节点关联查询：

• 垂直分库后两个表不在一个数据库，甚至不在一台服务器，无法进行关联查询。

• 可将原关联查询分为两次查询，第一次查询的结果集中找出关联数据id，然后根据id发起第二次请求得到关联数据，最后将获得到的数据进行拼装。

3. 跨节点分页、排序函数

跨节点多库进行查询时，limit分页、order by排序等问题。
需要先在不同的分片节点中将数据进行排序并返回，然后将不同分片返回的结果集进行汇总和再次排序。

4. 主键避重

在分库分表环境中，由于表中数据同时存在不同数据库中，主键值平时使用的自增长将无用武之地，某个分区数据库生成的ID无法保证全局唯一。
因此需要单独设计全局主键，以避免跨库主键重复问题。

5. 公共表

由于分库分表之后，数据被分散在不同的数据库、服务器。