分表后需要注意的二三事

5d012e6a6fd7729354.jpg

前言

本篇是上一篇《一次分表踩坑实践的探讨》,所以还没看过的朋友建议先看上文。

还是先来简单回顾下上次提到了哪些内容:

  • 分表策略:哈希、时间归档等。
  • 分表字段的选择。
  • 数据迁移方案。

而本篇文章的背景是在我们上线这段时间遇到的一些问题并尝试解决的方案。

问题产生

之前提到在分表应用上线前我们需要将原有表的数据迁移到新表中,这样才能保证业务不受影响。

5d0126128f1e678414.jpg

所以我们单独写了一个迁移应用,它负责将大表中的数据迁移到 64 张分表,而再迁移过程中产生的数据毕竟是少数,最后在上线当晚再次迁移过去即可。

一切想的很美好,当这个应用上线后却发现没这么简单。

数据库负载升高

首先第一个问题是数据库自己就顶不住了,在我们上这个迁移程序之前数据库的压力本身就比较大,这个应用一上去就成了最后一根稻草。

最后导致的结果是:所有连接了数据库的程序大部分的操作都出现超时,获取不到数据库连接等一系列的异常。

最后没办法我们只能把这个应用放到凌晨执行,但其实后面观察发现依然不行。

虽说凌晨的业务量下降,但依然有少部分的请求过来,也会出现各种数据库异常。

再一个是迁移程序的效率也非常低下,按照这样是速度,我们预估了一下迁移时间,大约需要 10 几天才能把三张最大的表(3、4亿的数据)迁移到分表中。

于是我们换了一个方案,将这个迁移程序在从库中运行,最后再用运维的方法将分表直接导入进主库。

因为从库的压力要比主库小很多,对业务的影响很小,同时迁移的效率也要快很多。

即便是这样也花了一晚上+一个白天的时间才将一张 1亿的数据迁移完成,但是业务上的压力越来越大,数据量再不断新增,这个效率依然不够。

兼容方案

最终没办法只有想一个不迁移数据的方案,但是新产生的数据还是往分表里写,至少保证大表的数据不再新增。

但这样对于以前的数据咋办呢?总不能不让看了吧。

其实对于数据的操作无非就分为增删改查,就这四种操作来看看如何兼容。

新增

5d012612de57f13422.jpg

新增最简单,所有的数据根据分表规则直接写入新表,这样可以保证老表的数据不再新增。

删除

删除就要比新增稍微复杂一些,比如用户想要删除他个人产生的一条信息(比如说是订单数据),有可能这个数据在新表也可能在老表。

5d01261336daf24547.jpg

所以删除时优先删除新表(毕竟新产生的数据访问的频次越高),如果删除失败再从老表删除一次。

修改

5d01261380d6599845.jpg

而修改同理,同样的会不确定数据存在于哪里,所以先要修改新表,失败后再次修改老表。

查询

查询相对就要复杂一些了,因为这些大表的数据大部分都是存放一个用户产生的多条记录(比如一个用户的订单信息)。

这时在页面上通常都会有分页,并且按照时间进行排序。

麻烦的地方就出在这里:既然是要分页那就有可能出现要查询一部分分表数据和原来的大表数据做组合。

所以这里的查询其实分为三种情况。

5d012613da28015150.jpg

  • 首先查询的时候要计算这个用户所在分表中的数据可以分为几页。
  • 第一步首先判断当前页是否可以在分表中全部获取,如果可以则直接从分表中取出数据返回(假设分页中总共可以查询 2 页数据,当前为第 1 页,那就全部取分表数据)。
  • 如果不可以就要判断当前页数在分表中是否取不到任何一条数据,如果是则直接取老表数据(比如现在要取第 5 页的数据,分表中一共才只有 2 页数据,所以第 5 页数据只能全部从老表中获取)。
  • 但如果分表和老表都存在一部分数据时,则需要同时取两张表然后做一个汇总再返回。

这种逻辑只适用于根据分表字段进行查询分页的前提下


我想肯定会有朋友提出这样是否会有性能问题?

同时如果在计算分表分页数量时出现并发写入的情况,导致分页数量不准从而对后续的查询出现影响该怎么处理?

首先第一个性能问题:

其实这个要看怎么取舍,为了这样的兼容目的其实会比常规查询多出几个步骤:

  • 判断当前页是否可以在分表中查询。
  • 当新老表中都有数据时候需要额外多查询一张大表。

第一个判断逻辑其实是在内存中计算,这个损耗我觉得完全可以忽略不计。

至于第二步确实会有损耗,毕竟多查了一张表。

但在分表之前所有的数据都是从老表中获取的,当时的业务也没有出现问题;现在多的只是查询分表而已,但分表的数据量肯定要比大表小的多,而且有索引,所以这个效率也不会慢多少。

而且根据局部性原理及用户的使用习惯来看,老表中的数据很少会去查询,随着时间的推移所有的数据肯定都会从分表中获取,逐渐老表就会成为历史表。

而第二个并发带来的问题我觉得影响也不大,一定要这个分页准的前提肯定得是加锁了,但为了这样一个不痒的小问题却带来性能的下降,我觉得是不划算的。

而且后续我们也可以慢慢的将老表的数据迁移到新表,这样就可以完全去掉这个兼容逻辑了,所有的数据都从分表中获取。

总结

还是之前那句话,这里的各种操作、方法不适合所有人,毕竟脱离场景都是耍牛氓。

比如分表搞的早,业务上允许一定的时间将数据迁移到分表那就不会有这次的兼容处理。

甚至一开始业务规划合理、团队架构师看的长远,一来就将关键数据分表存储那根本就不会有数据迁移这个流程(大厂有经验的团队可能,小公司小作坊都得靠自己摸索)。

这段期间也被数据库折腾惨了,数据库是最后一根稻草果然也不是瞎说的。

你的点赞与分享是对我最大的支持

转载于:https://www.cnblogs.com/crossoverJie/p/11013769.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/393284.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DNS 原理

阮老师的作品,非常精彩,转载! DNS 是互联网核心协议之一。不管是上网浏览,还是编程开发,都需要了解一点它的知识。 本文详细介绍DNS的原理,以及如何运用工具软件观察它的运作。我的目标是,读完此…

销售员/学员/讲师系统

前言: 今晚写一篇关于学员/讲师/销售员CRM系统。这个小项目是27号开始做的,大概搞了一星期不到。我把一些知识点总结下,还写下当时克服的BUG。 Django练习小项目:学员管理系统设计开发 带着项目需求学习是最有趣和效率最高的,今天…

java里面的 |运算符_Java 中 | ^ 运算符的简单使用

背景今天碰到了代码中的按位与运算,复习一下,先列一个各个进制数据表。顺便复习一下十进制转二进制的计算方式:接下来解释下这三个运算符:&  按位与,都转为二进制的情况下,同为1则为1,否则…

彻底理解正向代理、反向代理、透明代理

套用古龙武侠小说套路来说,代理服务技术是一门很古老的技术,是在互联网早期出现就使用的技术。一般实现代理技术的方式就是在服务器上安装代理服务软件,让其成为一个代理服务器,从而实现代理技术。常用的代理技术分为正向代理、反…

使用showMessageDialog显示消息框

-----------------siwuxie095 工程名:TestJOptionPane 包名:com.siwuxie095.showdialog 类名:TestMessageDialog.java 工程结构目录如下: 代码: package com.siwuxie095.showdialog; import java.awt.BorderLayout;…

NodeJS学习笔记(一)——搭建开发框架Express,实现Web网站登录验证

目录 开发环境  1、建立工程  2、目录结构  3、Express配置文件  4、Ejs模板  5、安装常用库及页面分离  6、路由  7、session  8、页面访问控制及提示JS是脚本语言,脚本语言都需要一个解析器才能运行。对于写在HTML页面里 的JS,浏览器充…

项目经理如何管理情绪?这三本书管理书籍你必须要看

本文主要是介绍三本管理的书籍,需要全部书籍的可以加Q群375508415去拿走。里面很多大神的PMP资料。 大家有没有觉得项目经理有时像个政委,做员工思想工作; 有时像个HR,操心员工的稳定和发展; 有时像个咨询顾问&#xf…

[RN] React Native 自定义导航栏随滚动渐变

React Native 自定义导航栏随滚动渐变 实现效果预览: 代码实现: 1、定义导航栏 NavPage.js import React, {Component} from react; import {View, Text, Image, StyleSheet, TouchableOpacity, Platform, Dimensions} from react-native;/*** 自定义导航…

【CSS 技能提升】 :before和:after的使用

前几天的晚上较全面的去看了下css的一些文档和资料,大部分的样式运用都没什么大问题了,只是有些许较陌生,但是也知道他们的存在和实现的是什么样式。今天主要想在这篇学习笔记中写的也不多,主要是针对:before和:after写一些内容&a…

成功试验基于C#/.NET的Android开发

今天最开心事情莫过于摸索验证了一个事情,C#也能进行Android和IOS开发,白天安装了开发环境,晚上进行测试,直到此时此刻,已经成功的导出一款基于C#/.NET的安卓APK,并且能够成功的导入到安卓手机运行&#xf…

深入理解了MySQL,你才能说熟悉数据库

先抛出几个问题 1.为什么不建议使用订单号作为主键?2.为什么要在需要排序的字段上加索引?3.for update 的记录不存在会导致锁住全表?4.redolog 和 binlog 有什么区别?5.MySQL 如何回滚一条 sql ?6.char(50) 和 varchar(50) 效果是一样的么?索引知识回顾 对于 MySQL 数据库…

网站QQ全屏PHP代码,QQ技术导航升级版 超级导航美化版带后台版 PHP源码

QQ技术导航升级版 超级导航美化版带后台版改进F2样式,主针对QQ教程网、卡盟、博客、提供更好收录的位置。改进QQ技术导航背景,增加整体美观效果。去掉死链页面,站长操作使用更加有扩大空间。优化后台登陆界面,去掉织梦后台携带的广…

MySQL基础操作(一)

MySQL操作 一、创建数据库 # utf-8 CREATE DATABASE 数据库名称 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;# gbk CREATE DATABASE 数据库名称 DEFAULT CHARACTER SET gbk COLLATE gbk_chinese_ci; 二、用户管理 创建用户create user 用户名IP地址 identified by 密码; 删…

集合框架05

一、HashSet集合 1 public class Demo01 {2 /*3 * Set接口,特点不重复元素,没索引4 * Set接口的实现类,HashSet(哈希表)5 * 特点:无序集合,存储和取出的顺序不同,没有索引,不…

HIVE-分桶表的详解和创建实例

我们学习一下分桶表,其实分区和分桶这两个概念对于初学者来说是比较难理解的。但对于理解了的人来说,发现又是如此简单。 我们先建立一个分桶表,并尝试直接上传一个数据 create table student4(sno int,sname string,sex string,sage int, sd…

51nod1270(dp)

题目链接:http://www.51nod.com/onlineJudge/questionCode.html#!problemId1270 题意:中文题诶~ 思路:dp sabs(a1-a0)abs(a2-a1).... 要使s尽量大,需要让abs(ai-ai-1)尽量大,那么可以让其中一个尽量小&…

Windows IIS 日志分析研究(Log Parser Log Parser Lizard Log Parser Studio) update...

Windows主要有以下三类日志记录系统事件:应用程序日志、系统日志和安全日志。 存放目录:X:\Windows\System32\winevt\Logs\ System.evtx 系统日志 Application.evtx 应用程序日志 Security.evtx 安全日志 审核策略与事件查看器 # 管理工具 → 本地安全…

Linux邮件系统整合windows 2008 R2 AD域认证更新

1. 安装只要执行install.sh即可。(安装包约40几M) 2.文档更新功能 (原v1.0文档链接:http://godoha.blog.51cto.com/108180/691376) 本文转自 godoha 51CTO博客,原文链接:http://blog.51cto.com/…

HTTP 协议 -- 浏览器缓存机制

浏览器缓存机制浏览器缓存机制主要是 HTTP 协议定义的缓存机制。HTTP 协议中有关缓存的缓存信息头的关键字有 Cache-Control,Pragma,Expires,Last-Modified/ETag 等。浏览器请求流程浏览器第一请求流程:浏览器再次请求流程&#x…

CAP理论的理解

CAP理论作为分布式系统的基础理论,它描述的是一个分布式系统在以下三个特性中: 一致性(Consistency)可用性(Availability)分区容错性(Partition tolerance)最多满足其中的两个特性。也就是下图所…