分库分表会带来哪些问题


1 为什么要分库分表

肯定是数据库性能瓶颈的出现,才需要分库分表,但是只要出现性能瓶颈问题就一定要分库分表吗?不一定

1.1 数据库一般会出现什么问题

  • 无法获取连连接。数据库连接数是一种资源,由于数据库硬件的限制,一般都需要控制最大连接数。当并发量达到一定程度就会造成数据库连接不够用。
  • 操作数据变慢。一张表的数据量过大,导致插入、更新、查询、删除操作变慢。
  • 磁盘不足。某个数据库数据量太大,磁盘容量不够或者接近最大容量,导致写入或者查询都很慢。

1.2 出现问题应该怎么分析并解决

针对上述问题,我们应该如何思考?

  • 无法获取连接问题:(1)可以把单个操作改操批量操作,尤其是创建记录,减少获取连接的次数。(2)修改数据库配置,增加最大连接数和缓冲区。
  • 操作数据变慢问题:(1)优化sql和索引。对于慢查询语句,可以优化查询sql,使它尽量用到索引。对于更新和插入语句,可以把单个操作改操批量操作。(2)优化表结构和存储引擎。根据表的使用场景(读多写少、写多读少)合理选择存储引擎,或者对表字段进行拆分和优化。(3)使用集群,做负载均衡,利用主从库做读写分离。(4)缓存。在查询数据库前面做一层缓存。(5)分库分表。把数据存储到不同的数据库或者表,减轻数据库存储和访问的压力。
  • 磁盘不足问题:(1)分库分表。减轻单个数据库存储压力。(2)增加磁盘空间

2 分库分表解决了什么问题

主要是解决单个数据库存储和访问的压力。分库之后,单个数据库存储的数据量就少了,而且响应的请求也减少了。

一般有性能问题都可以采用分库分表解决,但是分库分表并不是性能问题的最优解。

例如无法获取连接问题,是因为单个数据库最大连接数有限,如果分库则可扩大连接数。

例如操作数据慢,分库之后操作也相应的分到了多个数据库商,操作肯定会加快。

例如磁盘不足,分库之后不同的库在不同的物理机器商,磁盘容量肯定比单个数据库大。

3 分库分表带来了什么问题

3.1分布式一致性问题

由于数据存储在不同的节点上,肯定会导致数据不一致。分布式不一致问题的研究可参考文章分布式一致性那些事儿

3.2 跨节点关联表

当A库的a表需要与B库的b表关联查询怎么办?有如下几种解决方案:

  • 冗余字段。如果a表只需要关联出b表的一个或者几个字段,可以考虑在a表中冗余这几个字段,这样就不需要关联b表了。
  • 基础数据冗余表。有的基础数据例如国家、货币等,不同的数据库都要关联它,则在每个数据库中冗余存储这些基础数据。
  • 冗余业务表。还是”A库的a表需要与B库的b表关联查询“场景,可以在A库中冗余存储B库的b表,通过数据同步机制保持与B库的b表数据一致,这样A库就可以直接关联冗余表了。
  • 绑定表。需要关联的数据放在一个节点上。比如按租户分库分表,不同租户之间不会有数据关联查询,同一个租户内的数据都在一个节点上,可以直接关联。
    当出现了跨接待你关联的问题,一定要想一想业务逻辑是否合理,如果真的要跨节点关联,一般是通过rpc调用另外一个节点的数据,组装好再返回给前端或者第三方,对外无感知。

3.3 跨节点分页、排序、函数计算

跨节点多库进行查询时,会出现 limit 分页,order by 排序的问题。比如有两个节点,节点 1 存的是奇数 id=1,3,5,7,9……;节点 2 存的是偶数 id=2,4,6,8,10……执行 select*from user_info order by id limit 0,10,则需要在两个节点上各取出 10 条,然后合并数据,重新排序。

max、min、sum、count 之类的函数在进行计算的时候,也需要先在每个分片上执行相应的函数,然后将各个分片的结果集进行汇总和再次计算,最终将结果返回。

或者根据名称模糊分页查询,而名称字段单独存放在i18n表,这个时候就需要先从i18n表中查出所有符合模糊查询的记录,然后从主表中分页查询,当i18n表非常大的时候很耗性能。

3.4 全局主键不唯一

MySQL 的数据库里面字段有一个自增的属性,Oracle 也有 Sequence 序列。如果是一个数据库,那么可以保证 ID 是不重复的,但是水平分表以后,每个表都按照自己的规律自增,肯定会出现 ID 重复的问题,这个时候我们就不能用本地自增的方式了。

解决方案:

  • UUID。缺点是不是递增,而且在分布式环境中还可能出现重复。
  • 基于数据库把id统一存储。所有需要id的服务都从同一个数据库中获取,数据库确保id递增且唯一。但是这样增加了一层调用,当请求量大的时候对数据库也是一种压力。
  • 基于redis。比数据库速度快,也是增加了一层调用,有失败、超时的风险
  • 雪花算法。但是它强依赖机器时钟,如果时钟回拨,则可能导致生成 ID 重复。

3.5 数据库扩容、数据迁移问题

有的分库分表策略在数据库扩容的时候不方便。比如按id的奇偶分表,当某一天按奇偶分表还是太大,需要换再加一张表,则需要换一种分表策略,比如模3或者模5,则需要把之前的两张表数据读取出来重新分表;

有的表按月份分表,每个月增加一张表,则不需要迁移历史数据。

如果采用数值范围分片,只需要添加节点就可以进行扩容了,不需要对分片数据迁移。如果采用的是数值取模分片,则考虑后期的扩容问题就相对比较麻烦。

4 参考

【1】MySQL分库分表会带来哪些棘手的问题?

【2】分库分表需要考虑的问题及方案

【3】为什么需要分库分表

【4】分布式一致性那些事儿


文章作者: Alex
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Alex !
  目录