1 数据库介绍

1.1 数据库技术

数据库技术：数据库管理的有效技术。

数据：描述事物的符号记录。

数据语义：数据的含义。

记录：计算机中表示和存储数据的一种格式或一种方法。

数据库：存放数据的仓库，是大量数据的集合，具有永久存储、有组织、可共享的特性。

数据库管理系统：一个能够科学地组织和存储数据，高效地获取和维护数据的系统软件，是位于用户与操作系统之间的数据管理软件。

数据库系统：由数据库、数据库管理系统、应用程序和数据库管理员组成的存储、管理、处理和维护数据的系统。

1.2 数据库技术发展史

数据库技术产生和发展

人工管理阶段->文件系统阶段->层次型数据库和网状型数据库->关系型数据库->面向对象数据库->NoSQL->NewSQL

数据库三个阶段比较

数据库系统优势

数据面向整个系统而不是单个应用，被多个应用共享。

数据的共享性高，冗余度低且易扩充

数据独立性高，分为物理独立性和逻辑独立性

统一管理和控制

层次模型

根节点没有双亲

根节点之外的其他节点有且只有一个双亲节点。

网状模型

• 允许一个以上的节点无双亲。
• 一个节点可以有多于一个的双亲

关系模型

• 建立在严格的数据概念基础上
• 关系必须是规范化的
• 关系的分量是一个不可分的数据项

关系数据库产品历史

结构化查询语言SQL

• 高级的非过程化编程语言，允许用户在高层数据结构上工作
• 不要求用户指定数据存放方法
• 不需要用户了解具体数据存放方式
• 底层结构完全不同的各种关系型数据库系统可以使用相同的SQL语言作为数据操作和管理的接口

面向对象数据模型（OO模型）

将语义数据模型和面向对象设计方法结合起来，用一系列面向对象核心概念构成模型基础。

由于面向对象数据库操作语言过于复杂，故没有得到开发人员的认可。

数据管理技术的新挑战

5V特性：数量大、多样性、价值密度低、速度快、真实性

由5V衍生的需求：高可扩展性、高性能、容错性、高伸缩性

NoSQL技术特点和类型

NoSQL(Not Only SQL)：非关系型的、分布式的、不保证满足ACID特性的一类数据管理系统

技术特点：

对数据进行分区，利用大量节点并行处理获得高性能，同时能够采用横向扩展的方式。

降低ADID一致性约束，允许暂时不一致，接受最终一致性。遵循CAP理论和BASE原则。

各数据分区提供备份（一般是三份），应对节点故障，提高系统可用性。

常见的NoSQL数据库分类：键值数据库、列族数据库、文档型数据库、图数据库

主要NoSQL数据库

NoSQL的出现并不是为了取代RDBMS。它的优势虽然显著，但是缺点也较为明显，其与RDBMS一起构建完整的数据库生态系统。

NewSQL

NewSQL：NewSQL追求NoSQL的可扩展性，又同时支持关系模型的关系型数据库系统，其主要面向OTLP联机事务处理场景，能够支持SQL作为主要的使用语言。

NewSQL的特点：

• 采用了新架构重新构建产品
• 采用Transparent Sharding中间件技术
• DAAS（数据库即服务），实际上就是云数据库

云数据库

云数据库的优势

• 易——易使用易管理，业务敏捷上线
• 稳——高可靠，业务零中断，跨地域容灾备份
• 快——数据读写时延低，快速响应业务需求
• 弹——扩展性好，快速自动弹性伸缩
• 密——数据安全性好，全同态加密

1.3 关系型数据库架构演进

数据库架构发展

随着业务规模增大，数据库存储的数据量和承载的业务压力也不断增大，数据库的架构需要随之变化，为上层应用提供稳定和高效地数据服务。

单机架构

概念：单机架构就是使用一台主机。为了避免应用服务和数据库服务对资源的竞争，单机架构也从早期的单主机模式发展到数据库独立主机模式，把应用和数据服务分开。应用服务可以增加服务器数量，进行负载均衡，增大系统并发能力。

优点：部署集中，运维方便

缺点：

• 数据库架构扩展性只有纵向扩展，即通过硬件配置来提高性能，但单台主机的硬件可配置的资源会遇到上限
• 存在单点故障。当扩容时往往需要停机扩容，服务此时需要停止。硬件故障还会导致整个服务不可用设置数据丢失
• 单机会遇到性能瓶颈

分组架构-主备

概念：数据库部署在两台服务器，其中承担数据读写服务的服务器称为主机，另一台服务器利用数据同步机制把主机的数据复制过来，称为备机。在同一时刻，只有一台服务器对外提供数据服务。当主机宕机，备机可以代替主机工作，直至主机被修好。

优点：

• 应用不需要针对数据库故障来增加开发量
• 相对于单机架构提升了数据容错性

缺点：

• 资源浪费，备机和主机同等配置，但是在主机没有坏掉的情况下，备机相当于备份，没有实际作用
• 性能压力还是集中在单机上，无法解决性能瓶颈问题
• 当出现故障的时候，主备机切换需要一定的人工干预和监控

分组架构-主从

概念：部署模式和主备机一样，不过不同的是，备机变成了从机，主机负责写操作而从机负责读操作，这样可以将读写分离，缓解主机压力。

优点：

• 提升资源利用率，适合读多写少的应用场景
• 在大并发读写的使用场景中，可以使用负载均衡在多个从机间进行平衡
• 从机的扩展性较为灵活，扩容操作不会影响到业务进行

缺点：

• 延迟问题，数据同步到从机数据库会有延迟，在这个延迟过程中从机可能无法读取到最新的数据，所以应用必须能够容忍短暂的不一致性
• 写操作的性能压力还是集中在主机上
• 主机出现故障时，需要实现主从切换，人工干预需要反应的时间，自动切换则实现复杂度较高

分组架构-多主

概念：拥有多台数据库服务器，他们互为主从关系，同时对外提供完整的数据服务。

优点：资源利用率较高的同时降低了单点故障的风险

缺点：

• 多主机都接收写数据，要实现数据的双向同步。而双向复制同样会带来延迟问题，极端情况下有可能数据丢失
• 数据库数量增加会导致数据同步问题变得极为复杂，故多主实际应用中最多是两台主机

共享存储多活架构

概念：是一种特殊的多主架构，但数据库服务器是共享存储的，而多个服务器实现负载均衡。

优点：

• 多个计算服务器提供高可用服务，提供了高级别的可用性。可伸缩性，避免了服务器集群的单点故障问题。
• 比较方便的横向扩展能够增加整体系统并行处理的能力

缺点：

• 实现技术难度大
• 虽然服务器越多可以提供高速服务，但多个服务器都连接同一台存储设备，存储设备的IO带宽跟不上高速的服务，故存储IO容易成为整个系统的性能瓶颈。

分片架构

概念：分片架构主要表现形式就是水平数据分片架构，也就是将数据库的数据拆分成许多份，不同份的数据片放在不同的节点上，称为一个shard。多个节点都拥有相同的数据库结构，但不同分片的数据之间没有交集。由于分片是由数据库所有数据划分，故所有分片的并集应该为数据总体。

常见的分片算法：列表值、范围取值、Hash值

优点：数据分散在集群内的各个节点上，所有节点可以独立性工作。

无共享架构

• 集群中每一个节点都完全拥有自己独立的CPU/内存/存储，不存在共享资源。
• 各节点处理自己本地的数据，处理结果可以向上层汇总或者通过通信协议在节点间流转。
• 节点是相互独立的，扩展能力强。整个集群拥有强大的并行处理能力。
• 其本质上是一个消息传递多处理机。

MPP架构

概念：本质上MPP架构即为大规模并行处理机。MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。

常见的MPP产品：

• 无共享Master：Vertica，Terdata
• 共享Master：Greenplum，Netezza

1.4 关系型数据库主流应用场景

联机事务处理

概念：联机事务处理（OnLine Transaction Processing,OLTP）是传统关系数据库的主要应用，面向基本的，日常的事务处理，一般来说时效性要求较高，例如银行储蓄业务的存取交易，转账交易，其要求转账这件事务必须A用户转入B用户必须马上完成。

特点：

• 大吞吐，大量的短在线事务，非常快速的查询处理。
• 高并发，准实时响应

应用场景：

• 零售系统
• 金融交易系统
• 火车票销售系统
• 秒杀活动

联机分析处理

概念：联机分析处理（OnLine Analytical Processing，OLAP）是E.F.Codd（那个提出关系型数据库的男人！）于1993年相对于OLTP系统提出的。指对大量的历史数据进行查询和分析操作，涉及到的历史周期比较长，数据量大，在不同层级上的汇总，聚合操作使得事务处理操作比较复杂。

特点：

• 主要面向侧重于复杂查询，回答一些战略性问题。
• 数据处理方面聚焦与数据的聚合、汇总、分组计算、窗口计算等“分析型”数据的加工和操作
• 从多维度去使用和分析数据

应用场景：

• 报表系统，CRM系统
• 反洗钱系统、金融风险预测预警系统
• 数据仓库、数据集市

OLTP和OLAP对比分析

数据库性能衡量指标

TPC组织（Transaction Processing Performance Council，事务处理性能委员会）：

• 职责是指定商务应用基准测试标准的规范、性能和价格度量，并管理测试结果的发布
• 指定的是标准规范而不是代码，任何厂家依据规范最优地构造自己系统进行评测
• 推出了很多基准测试标准，其中针对OLTP和OLAP有两个规范

TPC-C规范

• 面向OLTP系统，主要包括两个指标
• tpmc(tpm-transactions per minuete)流量指标，即每分钟测试系统处理的事务数量
• 性价比指标Price/tpmc

TPC-H规范

• 面向OLAP类系统
• qqhH(Query per hour)流量指标，即每分钟处理的复杂查询数量
• 需要考虑测试数据集合大小，分为不同的测试数据集
• 测试场景：数据加载、power能力测试和Througput测试。