知识大全 数据库为什么要分库分表,数据库分库分表
Posted 数据库
篇首语:韬略终须建新国,奋发还得读良书本文由小常识网(cha138.com)小编为大家整理,主要介绍了知识大全 数据库为什么要分库分表,数据库分库分表相关的知识,希望对你有一定的参考价值。
数据库为什么要分库分表,数据库分库分表
1 基本思想之什么是分库分表?
从字面上简单理解,就是把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。
2 基本思想之为什么要分库分表?
数
据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增
删改查的开销也会越来越大;另外,由于无法进行分布式式部署,而一台服务器的资源(CPU、磁盘、内存、IO等)是有限的,最终数据库所能承载的数据量、
数据处理能力都将遭遇瓶颈。
3 分库分表的实施策略。
分库分表有垂直切分和水平切分两种。
3.1
何谓垂直切分,即将表按照功能模块、关系密切程度划分出来,部署到不同的库上。例如,我们会建立定义数据库workDB、商品数据库payDB、用户数据
库userDB、日志数据库logDB等,分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2
何谓水平切分,当一个表中的数据量过大时,我们可以把该表的数据按照某种规则,例如userID散列,进行划分,然后存储到多个结构相同的表,和不同的库
上。例如,我们的userDB中的用户数据表中,每一个表的数据量都很大,就可以把userDB切分为结构相同的多个userDB:part0DB、
part1DB等,再将userDB上的用户数据表userTable,切分为很多userTable:userTable0、userTable1等,
然后将这些表按照一定的规则存储到多个userDB上。
3.3 应该使用哪一种方式来实施数据库分库分表,这要看数据库中数据量的瓶颈所在,并综合项目的业务类型进行考虑。
如果数据库是因为表太多而造成海量数据,并且项目的各项业务逻辑划分清晰、低耦合,那么规则简单明了、容易实施的垂直切分必是首选。
而
如果数据库中的表并不多,但单表的数据量很大、或数据热度很高,这种情况之下就应该选择水平切分,水平切分比垂直切分要复杂一些,它将原本逻辑上属于一体
的数据进行了物理分割,除了在分割时要对分割的粒度做好评估,考虑数据平均和负载平均,后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中,往往是这两种情况兼而有之,这就需要做出权衡,甚至既需要垂直切分,又需要水平切分。我们的游戏项目便综合使用了垂直与水平切分,我们首先对数据库进行垂直切分,然后,再针对一部分表,通常是用户数据表,进行水平切分。
4 分库分表存在的问题。
4.1 事务问题。
在执行分库分表之后,由于数据存储到了不同的库上,数据库事务管理出现了困难。如果依赖数据库本身的分布式事务管理功能去执行事务,将付出高昂的性能代价;如果由应用程序去协助控制,形成程序逻辑上的事务,又会造成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表之后,难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上,这时,表的关联操作将受到限制,我们无法join位于不同分库的表,也无法join分表粒度不同的表,结果原本一次查询能够完成的业务,可能需要多次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额
外的数据管理负担,最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题,这些都可以通过应用程序解决,但必然引起额外的逻辑运算,例如,对于
一个记录用户成绩的用户数据表userTable,业务要求查出成绩最好的100位,在进行分表之前,只需一个order
by语句就可以搞定,但是在进行分表之后,将需要n个order
by语句,分别查出每一个分表的前100名用户数据,然后再对这些数据进行合并计算,才能得出结果。
数据库为什么要分库分表
1 基本思想之什么是分库分表?
从字面上简单理解,就是把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。
2 基本思想之为什么要分库分表?
数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增删改查的开销也会越来越大;另外,由于无法进行分布式式部署,而一台服务器的资源(CPU、磁盘、内存、IO等)是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
3 分库分表的实施策略。
分库分表有垂直切分和水平切分两种。
3.1 何谓垂直切分,即将表按照功能模块、关系密切程度划分出来,部署到不同的库上。例如,我们会建立定义数据库workDB、商品数据库payDB、用户数据库userDB、日志数据库logDB等,分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2 何谓水平切分,当一个表中的数据量过大时,我们可以把该表的数据按照某种规则,例如userID散列,进行划分,然后存储到多个结构相同的表,和不同的库上。例如,我们的userDB中的用户数据表中,每一个表的数据量都很大,就可以把userDB切分为结构相同的多个userDB:part0DB、part1DB等,再将userDB上的用户数据表userTable,切分为很多userTable:userTable0、userTable1等,然后将这些表按照一定的规则存储到多个userDB上。
3.3 应该使用哪一种方式来实施数据库分库分表,这要看数据库中数据量的瓶颈所在,并综合项目的业务类型进行考虑。
如果数据库是因为表太多而造成海量数据,并且项目的各项业务逻辑划分清晰、低耦合,那么规则简单明了、容易实施的垂直切分必是首选。
而如果数据库中的表并不多,但单表的数据量很大、或数据热度很高,这种情况之下就应该选择水平切分,水平切分比垂直切分要复杂一些,它将原本逻辑上属于一体的数据进行了物理分割,除了在分割时要对分割的粒度做好评估,考虑数据平均和负载平均,后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中,往往是这两种情况兼而有之,这就需要做出权衡,甚至既需要垂直切分,又需要水平切分。我们的游戏项目便综合使用了垂直与水平切分,我们首先对数据库进行垂直切分,然后,再针对一部分表,通常是用户数据表,进行水平切分。
4 分库分表存在的问题。
4.1 事务问题。
在执行分库分表之后,由于数据存储到了不同的库上,数据库事务管理出现了困难。如果依赖数据库本身的分布式事务管理功能去执行事务,将付出高昂的性能代价;如果由应用程序去协助控制,形成程序逻辑上的事务,又会造成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表之后,难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上,这时,表的关联操作将受到限制,我们无法join位于不同分库的表,也无法join分表粒度不同的表,结果原本一次查询能够完成的业务,可能需要多次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额外的数据管理负担,最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题,这些都可以通过应用程序解决,但必然引起额外的逻辑运算,例如,对于一个记录用户成绩的用户数据表userTable,业务要求查出成绩最好的100位,在进行分表之前,只需一个order by语句就可以搞定,但是在进行分表之后,将需要n个order by语句,分别查出每一个分表的前100名用户数据,然后再对这些数据进行合并计算,才能得出结果。
上述整理于互联网
数据库为什么要分库分表及实现策略
假如把所有的数据库都存在一张表中我们查询起来将十分困难,比如我们有一张存储一亿条数据的数据表。我们要在其中查询一条,查询的时间可想,但是如果我们将信息存储在不同表中并将不同表中的信息联合起来我们就可以实现快速的查询。进而减轻服务器的负担减轻数据库的负担。
相关参考
()必须分间、分库储存。A.灭火方法相同的物品B.容易相互发生化学反应的物品C.以上两种答案都对【参考答案】B[拓展知识]下面()火灾用水扑救会使火势扩大。A.油类B.森林C.家具[参考答案]A
根据JCJ59-2011,当分项检查评分表无零分,汇总表得分值在( )及以上,( )分以下评定结论为合格。
根据JCJ59-2011,当分项检查评分表无零分,汇总表得分值在()及以上,()分以下评定结论为合格。A.60B.70C.75D.80【正确答案】BD
根据JCJ59-2011,当分项检查评分表无零分,汇总表得分值在( )及以上,( )分以下评定结论为合格。
根据JCJ59-2011,当分项检查评分表无零分,汇总表得分值在()及以上,()分以下评定结论为合格。A.60B.70C.75D.80【正确答案】BD
如果患者初次没有检索到合适的捐献者,总库和分库的数据库将保持该患者的资料,定期为患者再检索,随着库容量的不断扩大,希望患者能够早日找到合适的造血干细胞供者。
如果患者初次没有检索到合适的捐献者,总库和分库的数据库将保持该患者的资料,定期为患者再检索,随着库容量的不断扩大,希望患者能够早日找到合适的造血干细胞供者。
临床最常见症状之一。发热的类型和兼症此较复杂,概括可分为外感、内伤两大类。“外感发热”:多属实证。由六淫或疫疠等外邪侵入人体之后,正气与之相抗而引起。分表热、里热、半表半里热。表热多兼恶风寒、舌苔薄白
一、气缸套的鉴定测量一般发动机最大磨损尺寸在前后两缸的上部,应重点测量这两缸。气缸套的磨损情况通常用量缸表测量,量缸表就是普通的内径百分表。其测量方法如下:(1)根据磨损前的缸径尺寸选择合适的接杆,在
一、气缸套的鉴定测量一般发动机最大磨损尺寸在前后两缸的上部,应重点测量这两缸。气缸套的磨损情况通常用量缸表测量,量缸表就是普通的内径百分表。其测量方法如下:(1)根据磨损前的缸径尺寸选择合适的接杆,在
盐酸表柔比星的药理1.药效学本药为细胞周期非特异性抗癌药,属蒽环类抗生素。其活性成分表柔比星为多柔比星的异构体,是多柔比星氨基糖部分C4羟基的反式构型,可直接嵌入DNA碱基对之间,干扰转录过程,阻止m
托福阅读评分标准都有什么?有个评分表是吗?托福阅读每篇文章大概700个字,对应14道题目。其中,13道题是基础信息和推断题,每道题1分。最后一道题是小结题,俗称大题,满分2分。大题一般情况下是6选3,