mysql优化小技巧之去除重复项(百万级数据)

发布时间：2018-06-11 11:54,

浏览次数：482

, 标签：

mysql

说到这个去重，脑仁不禁得一疼，尤其是出具量比较大的时候。毕竟咱不是专业的DB，所以嘞，只能自己弄一下适合自己去重方法了。

首先按照常规首段，使用having函数检查重复项，完事一个一个的删除。不要问我having检测重复项的sql咋写，你懂得哈。。。这个在只有几条重复的时候还可以。要是几千上万条不同数据重复，那咋办。。。

完事呢，咱就考虑了，用having函数查询的时候，原始sql如下：

select `name`,count(*) as count from sentence group by `name` having count>1

大家可以运行感觉下，在五百万左右的数据时，那速度，麻油。。。

但是嘞，咱在不考虑优化它的运行速度的前提下，来考虑使用这个语句来使我们去除数组中的重复项。首先，我们要知道，我们删除重复数据的时候需要使用的数据有哪些。id是肯定的，再来呢，筛选的条件是吧。所以嘞，上面的sql查询出来的数据，缺少了啥，id。。。那我们加上这个字段查询下试试哈：

select id,`name`,count(*) as count from sentence group by `name` having count>1

结果呢，就会显示出来id，name，count这三个字段。具体效果大家可以自己运行看下。根据这些数据咱们就可以进行去除重复项的操作了。

具体的sql设计就是删除id不是咱们查询出来的id，但是name值是咱们查询出来的值，因为咱们的数据不是一条，所以得经过程序处理，把所有的id用逗号拼接起来，name值用引号和逗号处理下，完事就可以进行使用了，示例呢就在下方：

delete from sentence where id not in(1,2,3) and name in('a','b','c')

如果数据过多的话，咱们可以写成脚本，完事再进行分批次操作。嘿嘿，到了这里，咱们就可以进行去除重复项的操作了，但是这个速度么，始终是个困扰。接下来咱们就要考虑如何来优化这个sql，让它的速度上去，就算是大功告成了。

既然是提升咱们sql的运行速度，按照常理来讲，首先应该想到的那就是索引。好呗，废话不多说，咱们先建立索引。但是给那个字段建立所以呢？？？这又是个问题了。

这个原则上是在你name字段可以加以区分的字段上建立的。比如，我的name字段里面储存的是一条条的品牌名称，然后呢，我有一个industry字段是来存储每个品牌的行业的，所以我就在我的industry字段上建立了索引。当然，还有更加合适的，这个就看大家咋考虑了。废话不多说，咱直接来看看我们优化后的sql：

select id,`name`,count(*) as count from sentence where industry = '饮品' group

by `name` having count>1

运行结果如下：

结果说明啥，说明咱们的索引有在使用哦。。。那速度，咱不说各位看官应该也了解。完事咱们就可以再用程序

把所有的id用逗号拼接起来，name值用引号和逗号处理下，完事就可以进行那个去除重复项的大业了。效率明显上升啊。。。

不过有的看官可能用的条件里面含有like等会使索引失效的条件，那咱们还可以，把数据简单分类，完事分别检测每个分类的数据，全部查询出来后，可以使用程序来检查重复项，并且取出删除所需要的数据。

好啦，本次分享就到这里了。如果感觉不错的话，请多多点赞支持哦。。。