No.2.测试MySQL表中安全删除重复数据只保留一条的相关方法

第二篇文章测试说明
开发测试中,难免会存在一些重复行数据,因此常常会造成一些测试异常.
下面简单测试mysql表删除重复数据行的相关操作.
主要通过一下三个大标题来测试说明:
02.尝试删除dept_name重复的列
03 尝试删除多个字段(dept_name和db_source)都重复的字段!
04 是否可以使用两重for循环来判断是否存在重复行并进行删除!

数据库的表不要随便删除,需要删除部分数据的话请事先备份成SQL,或者创建备份表.不然--
后端一时爽,运维火葬场.

01.建表

(随手找来一个现成的表,直接拷贝出sql语句)

CREATE DATABASE IF NOT EXISTS cloudDB01;

USE clouddb01;

CREATE TABLE IF NOT EXISTS `dept` (
  `dept_no` BIGINT(20) NOT NULL AUTO_INCREMENT,
  `dept_name` VARCHAR(60) DEFAULT NULL,
  `db_source` VARCHAR(60) DEFAULT NULL,
  PRIMARY KEY (`dept_no`)
) ENGINE=INNODB AUTO_INCREMENT=278 DEFAULT CHARSET=utf8;
 /*插入dept表一系列数据*/
insert  into `dept`(`dept_no`,`dept_name`,`db_source`) values 
(1,'开发部','clouddb01'),
(2,'人事部','clouddb01'),
(3,'财务部','clouddb01'),
(4,'市场部','clouddb01'),
(5,'运维部','clouddb01'),
(6,'\'喝茶酱油部\'','clouddb01'),
(21,'开发部','clouddb01'),
(22,'人事部','clouddb01'),
(23,'财务部','clouddb01'),
(24,'市场部','clouddb01'),
(25,'运维部','clouddb01'),
(26,'\'喝茶酱油部\'','clouddb01');

02.尝试删除dept_name重复的列

也就是说,一个部门名只用占一行就可以了,多行的话岂不是浪费了!

• 02.1.1.查询存在dept_name存在重复的行

SELECT  d.dept_name
    FROM `dept` d
    GROUP BY d.`dept_name` 
    HAVING  COUNT(dept_name) > 1

• 02.1.2.结果

  
  image.png
• 02.2.1 把上面的表当做子表查出重复的整个行

SELECT *
FROM `dept` 
WHERE `dept_name` IN
(
      SELECT  d.dept_name
    FROM `dept` d
    GROUP BY d.`dept_name` 
    HAVING  COUNT(dept_name) > 1    
);  

• 02.2.2 结果 (其实这里恰好就是整个表了)

  
  image.png
• 02.3.1 上面的结果是不行的,删除时不能都删了,我们为了保留一个行,where条件需要再修改一下保留部门号(dept_no)最小的那行数据好了!

DELETE
FROM
  `dept`
WHERE `dept_name` IN

  (SELECT
    dept_name
  FROM
    `dept` 
  GROUP BY `dept_name`
  HAVING COUNT(dept_name) > 1)
  
  AND `dept_no` NOT IN 
  
  (SELECT
    MIN(dept_no)
  FROM
    `dept` 
  GROUP BY `dept_name`
  HAVING COUNT(dept_name) > 1);

• 02.3.2 结果 : 执行出现问题;

  
  image.png
• 02.3.3 那是什么原因呢?原因:笔者的数据库安全模式较高,为REPEATABLE-READ(可重复读)级别,此模式下可以解决脏读 和 不可重复读 (mysql默认的);
  错误代码:1093,意思就是mysql不允许在查询表的同时对这个表进行删除更新操作是不安全的.
  image.png

  • 02.3.4 那可怎么办?除了降级以外还能怎么办?
    Duang!!Duang!!Duang!!Duang!!
    再来一个副本表"dept2",同时还可以起到备份的作用! 创建的sql在最上面,都在dept后面加个2即可!

    
    dept2.png

-02.3.5 Show Time!是不是恍然大悟了!

DELETE
FROM
  `dept`
WHERE `dept_name` IN

  (SELECT
    dept_name
  FROM
    `dept2` 
  GROUP BY `dept_name`
  HAVING COUNT(dept_name) > 1)
  
  AND `dept_no` NOT IN 
  
  (SELECT
    MIN(dept_no)
  FROM
    `dept2` 
  GROUP BY `dept_name`
  HAVING COUNT(dept_name) > 1);

-02.3.6 回头看,不曾走远,dept表中dept_name重复的行已经没了!!

image.png

03 尝试删除多个字段(dept_name和db_source)都重复的字段!

目的也就是一个部门实体用这两个字段就可以清楚地区分出来,如何任意两行数据中存在dept_name和db_source都重复的话,那么必定有一项为重复的没有意义的! 既然没有意义,那就删除了!

• 03.1.1 清空dept表和备份表dept2,dept表的sql如下,dept2的sql简单把下面的表名改一下即可
  注意,人事部和喝茶酱油部这两个的db_source列是油变动的,不然跟上面的表就一模一样了!

/*清空dept表,以及重置自增的主键*/
TRUNCATE dept;
/*插入dept表一系列数据*/
INSERT  INTO `dept`(`dept_no`,`dept_name`,`db_source`) VALUES 
(1,'开发部','clouddb01'),
(2,'人事部','clouddb02'),
(3,'财务部','clouddb01'),
(4,'市场部','clouddb01'),
(5,'运维部','clouddb01'),
(6,'\'喝茶酱油部\'','clouddb02'),
(21,'开发部','clouddb01'),
(22,'人事部','clouddb01'),
(23,'财务部','clouddb01'),
(24,'市场部','clouddb01'),
(25,'运维部','clouddb01'),
(26,'\'喝茶酱油部\'','clouddb01');

• 03.1.2 现有dept/dept2表数据

  
  image.png
• 03.2.1 比葫芦画瓢,使用上面的方法试试!同样,如果存在两个列数据重复的行的话,只保留dept_no最小的哪行数据!

DELETE
FROM
  `dept`
WHERE `dept_name` IN
        /*筛选出存在多列重复的*/
  (SELECT
    dept_name
  FROM
    `dept2` 
  GROUP BY `dept_name`,db_source
  HAVING COUNT(dept_name) > 1)
      /**保留dept_no最小的那行数据*/
  AND `dept_no` NOT IN 
  
  (SELECT
    MIN(dept_no)
  FROM
    `dept2` 
  GROUP BY `dept_name`
  HAVING COUNT(dept_name) > 1);

• 03.2.2 结果怎么样 : 符合预期结果

  
  image.png
  • 03.3.1 单独执行第一个子表中的内容,发现正好筛选出了四个部门,没有人事部和喝茶酱油部这两个.
    想想,GROUP BY X, Y意思是将所有具有相同X字段值和Y字段值的记录放到一个分组里。
    这里的是 GROUP BY dept_name,db_source ,故只选出XY两个字段都相同的才可以放到一块来.
    image.png

04 是否可以使用两重for循环来判断是否存在重复行并进行删除!

• 就像一维数组一样,进行删除操作!
• mysql貌似也支持写for循环!不过.....用Java不更方便吧!
• 貌似还真可以, 先把所有mysql表中的数据取出来转换成List<Entity>,然后跑两重for循环遍历List ,如果判断出两个实体符合重复的条件,则一定有一个实体是多余的,则从数据库中移除对应的记录(行)即可!
• 暴力大法好! 时间上应该不分上下!
• 我都想好了实现步骤,
  1>取数据: MybatisPlus的baseMapper.selectList() ;
  2>for两重判断实体是否相等,
  2> 如果存在则删除一个即可: baseMapper.deleteById(xxxx) / 同时移除一个实体 两个操作即可.
• 其他方法也可以哟!
• 未完待续!!