MySQL 查询优化思路

在统计的时候尝尝遇到过查询数据量大的情况,SQL会超时
下面是一些解决方案 (未经本人允许不得转载)

1、索引

	加完看索引是否生效(一般情况都是普通索引+tree)创建联合索引(注意顺序)

2、 SQL语句

重新审视逻辑把没用的表连接删除掉,然后是修改join的方式。inner join 是最快的

3、增加中间表

为了方便查询可以增加中间表,或者直接在旧表上面新建字段。

临时统计时,如果原有表数据量太大,可以按照时间条件把要用的数据先导出成excel然后在导入一张新表

4、修改MySQL的配置信息

比如下面这些信息(真实情况更为复杂根据实际需求调整对应的参数)

SET SESSION join_buffer_size = 262144;  -- 临时将join_buffer_size设置为256KB
SET SESSION sort_buffer_size = 2097152;  -- 临时将sort_buffer_size设置为2MB
SET SESSION optimizer_search_depth = 8;  -- 临时设置优化器搜索深度为8
SET SESSION max_join_size = 1000000;  -- 临时允许联接的最大行数为1,000,000行
SET SESSION sql_big_selects = 1;  -- 临时允许执行大型查询

题外话

导入/更新数据特别多特别慢的时候,可以采用拼接SQL的方式
根据参数拼接成update/insert 语句然后使用navicat执行。主要要勾选autocommit=0,还有就是一个运行里面允许多个查询这样的操作一般不会出问题,不过也有可能因为网络波动什么的导致数据丢失。

代码方面:可以采用多线程、异步处理、写入数据库的时候分批次插入

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/4573.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

git push 新分支出现remote unpack failed: error Missing blob报错可能原因之一

git push新分支是出现以下错误: error: remote unpack failed: error Missing blob xxxxx 前提条件:B是从A拉出来的分支,B分支在开发过程中A分支有新增提交到服务器端,在Git push B分支时报错如上。从描述看是缺了一个什么&…

程序员缓解工作压力的技巧

程序员在紧张的工作之余,放松自己是非常重要的。我了解到有几种方法可以帮助他们缓解压力、恢复精力。 首先,运动是个不错的选择。无论是去健身房锻炼身体,还是进行户外跑步、散步,都可以让程序员暂时忘记工作,释放压力…

GPT-SoVITS声音训练报错ZeroDivisionError: division by zero

环境: GPT-SoVITS-0421 问题描述: GPT-SoVITS声音训练报错ZeroDivisionError: division by zero Traceback (most recent call last):File "E:\GPT-SoVITS-0421\GPT-SoVITS-0421\GPT_SoVITS\s2_train.py", line 600, in <module>main()File "E:\GPT…

JAVA实操代码练习2

JAVA实操代码练习2 代码合集01(两个数的最小公倍数;n 个自然数的立方和;抽奖程序)代码合集02(纸张对折、5的阶乘、鸡鸡同笼、大小马匹、回文数、跳跃弹球)代码合集01(两个数的最小公倍数;n 个自然数的立方和;抽奖程序) import java.util.Scanner;public class lianxi0…

Windows电脑中护眼(夜间)模式的开启异常

我的电脑是联想小新16pro&#xff0c;Windows11版本。之前一直可以正常使用夜间模式&#xff0c;但是经过一次电脑的版本更新之后&#xff0c;我重启电脑发现我的夜间模式不能使用了。明明显示开启状态&#xff0c;但是却不能使用&#xff0c;电脑还是无法显示夜间模式。 询问…

谈谈 Java 反射机制,动态代理是基于什么原理

反射机制是 Java 语言提供的一种基础功能&#xff0c;赋予程序在运行时自省&#xff08;introspect&#xff0c;官方用语&#xff09;的能力。通过反射我们可以直接操作类或者对象&#xff0c;比如获取某个对象的类定义&#xff0c;获取类声明的属性和方法&#xff0c;调用方法…

第三节课,后端登录【1】.1--本人

一、后端登录逻辑&#xff0c;检测账户密码是否合法及密码输入是否正确 视频链接&#xff1a; 网址&#xff1a; 第三节&#xff1a;【视频】后端登录逻辑&#xff0c;检测账户密码是否合法及密码输入是否正确视频链接&#xff1a;-CSDN博客 从5.1开始 这是一个Java方法&am…

1438.绝对差不超过限制的最长连续子数组

显然我们是需要同时维护当前的最大值和最小值,这就需要两个单调队列dq_down(递减排列)一个维护最大值,dq_up(递增排列)一个维护最小值,同样这个是使用我们第二个模板 [left, i]. 只有当left等于某一个dq.front()的时候,才把它pop_front().这就使得对应相同的元素,我们只需要保…

004 死信(限制队列最大长度)

文章目录 消息ttl过期成为死信队列达到最大长度成为死信MyOrder.javaRabbitMQDirectConfig.javaOrderProducer.javaPayConsumer.javaDeadOrderConsumer.java application.yaml 死信就是无法被消费的消息。一般来说&#xff0c;producer 将消息投递到 broker 或者直接到 queue 中…

黑马点评项目遇到的部分问题

目录 1. Invalid default value for ‘begin_time‘报错2. [ThreadLocal](https://blog.csdn.net/u010445301/article/details/111322569)3. 悲观锁实现单体一人一单超卖问题4. redisson5. 回顾秒杀优化6. Nginx 负载均衡 1. Invalid default value for ‘begin_time‘报错 my…

Java设计模式_概述(设计模式类型和基本原则)

一、设计模式 设计模式&#xff08;Design pattern&#xff09;代表了最佳的实践&#xff0c;是软件开发人员在软件开发过程中面临一般问题的解决方案&#xff0c;是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。是优秀程序猿的经验结晶。 但不推荐刚入门的开…

如何删除.gitignore文件中指定的所有被忽略的文件

要删除.gitignore文件中指定的所有被忽略的文件&#xff0c;你可以使用git rm命令结合-r选项。以下是一些步骤&#xff1a; 查看将要删除的文件&#xff1a;首先&#xff0c;你可以使用git ls-files命令来列出被git忽略的文件&#xff0c;以确保你想要删除的文件列表是正确的。…

LeetCode 热题 100 Day06

矩阵相关题型 Leetcode 48. 旋转图像【中等】 题意理解&#xff1a; 将一个矩阵顺时针旋转90度&#xff0c;返回旋转后的矩阵。 要求&#xff1a; 在原地修改&#xff0c;不借助额外的空间 如果可以使用辅助数组来实现转置,则有 matrix_new[i][j]matrix[j][row-i-1]; 解…

Kubernetes学习-核心概念篇(三) 核心概念和专业术语

&#x1f3f7;️个人主页&#xff1a;牵着猫散步的鼠鼠 &#x1f3f7;️系列专栏&#xff1a;Kubernetes渐进式学习-专栏 &#x1f3f7;️个人学习笔记&#xff0c;若有缺误&#xff0c;欢迎评论区指正 1. 前言 在前面两篇文章我们简单介绍了什么是K8S&#xff0c;以及K8S的…

mysql服务器无法启动问题处理

一台hlr服务器用网管软件登录失败&#xff0c;查找原因&#xff0c;发现网关软件连接服务器的tcp的10002端口失败&#xff0c;超时无应答&#xff0c;导致连接失败。 用户反馈核心网hlr&#xff0c;smc无法登录&#xff0c;putty登录服务器&#xff0c;发现hlr10002端口没有打…

【保姆级讲解下gateway基本配置】

&#x1f3a5;博主&#xff1a;程序员不想YY啊 &#x1f4ab;CSDN优质创作者&#xff0c;CSDN实力新星&#xff0c;CSDN博客专家 &#x1f917;点赞&#x1f388;收藏⭐再看&#x1f4ab;养成习惯 ✨希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出…

STM32与OLED显示屏通信(四针脚和七阵脚)

系列文章目录 STM32单片机系列专栏 C语言术语和结构总结专栏 文章目录 1. 单片机调试 2. OLED简介 3. 接线 4. OLED驱动函数 4.1 四针脚版本 OLED.c OLED.h OLED_Font.h 4.2 七针脚版本 引脚连接 OLED.c OLED.h OLED_Font.h 5. 主函数 工程文件模板 1. 单片机…

Android 当存在双卡时,移动网络默认为SIM卡1

文章目录 一、当Android设备中存在双卡时&#xff0c;移动网络默认为SIM卡1二、下面是完整的代码路径和修改点 一、当Android设备中存在双卡时&#xff0c;移动网络默认为SIM卡1 完成这个需求有以下两个修改点&#xff1a; 下面依旧是Android13 MTK平台&#xff0c;在MtkMulti…

SoC如何开机自动运行脚本程序?

目录 1、通过启动加载程序执行脚本 2、通过Linux init 系统 2.1、/etc/init.d目录中的脚本 2.2、修改/etc/rc.local文件 在Linux SoC开发中&#xff0c;实现SoC启动时执行特定脚本的方法主要取决于你使用的启动加载程序&#xff08;Bootloader&#xff09;以及Linux内核的配置。…

unity中压缩文件与解压文件

今天研究了一下在unity中 把文件压缩后转二进制发送到服务器并从服务器下载后解压使用文件&#xff0c;废话不多说直接上代码&#xff0c;zip压缩插件是用的dotnetzip插件&#xff0c;网上可以搜索下载这个dll private static void GetPathMeshData_ZIP(Milling_ProjectData da…