对于Oracle，MySQL，SQL Server重复数据删除

阿里云国内75折回扣微信号：monov8

阿里云国际，腾讯云国际，低至75折。AWS 93折免费开户实名账号代冲值优惠多多微信号：monov8 飞机：@monov6

问题前提

之前做过数据入湖建表的时候匆忙没有做主键导致入湖出现了重复数据。举个例子

id	name	age	sex
1	用户1	21	男
1	用户1	21	男
1	用户1	21	男

存在了如上两条及两条数据目的是要去除重复数据只保留一条从而设置id为主键。

Oracle

Oracle如果存在重复数据id设置主键时会有02437报错。

对于Oracle去处重复数据是最简单的每行自带rowid。

DELETE 
FROM
	user 
WHERE
	id IN ( SELECT id FROM user GROUP BY id HAVING count( id ) > 1 ) 
	AND rowid NOT IN (
	SELECT
		min( rowid ) 
	FROM
		user  
	GROUP BY
		id 
HAVING
	count( id )> 1)

执行如上语句即可删除重复数据。

因为本地没有Oracle数据库就不做演示了。

MySQL

MySQL没有rowid那么MySQL解决办法只有一种把A表的数据去重添加到B表中在B表中设置id为主键最后把B表重命名为A表。

INSERT INTO user1 ( SELECT DISTINCT * FROM user );

暂不清楚数据量大的情况下会不会出现崩溃可以通过limit截取。

如果不确定A表的数据是否全部添加到B表可以添加完成后执行

DELETE FROM user WHERE user.id IN (SELECT user1.id FROM user1)

这种方式当然也适用于其他数据库。

当然MySQL还有另外一种方式就是新增一个字段为自增字段且不为null让其自动填充类似充当Orcal中的rowid。

填充完成后。

DELETE 
FROM
	user 
WHERE
	user.rowid NOT IN (
	  SELECT
		dt.minid 
	  FROM
	  ( SELECT MIN( user.rowid ) AS minid FROM user GROUP BY name ) dt 
	)

有多种方式可参考【mysql】mysql删除重复记录并且只保留一条_mysql删除完全重复数据只保留一条_千g的博客-CSDN博客

SQL Server

SQL Server 和MySQL逻辑是一样的但语法上稍有变化

SELECT DISTINCT * INTO [dbo].[user1] FROM [dbo].[user]

SQL Server是不需要创建user1表的会自动创建数据导入到新表后再设置主键即可。

另外一种设置自增rowid执行

DELETE 
FROM
	[dbo].[user] 
WHERE
	[dbo].[user].rowid NOT IN (
	  SELECT
		dt.minid 
	  FROM
	  ( SELECT MIN( [dbo].[user].rowid ) AS minid FROM [dbo].[user] GROUP BY name ) dt 
	)