上一篇
在数据库中查找重复数据，通常使用
GROUP BY和
HAVING子句，按需查重的字段分组，然后筛选出计数大于1的分组即可，
SELECT 姓名, 邮箱, COUNT(*) FROM 表名 GROUP BY 姓名, 邮箱 HAVING COUNT(*) > 1;
在数据库管理中,重复数据是常见问题，会导致存储浪费、查询效率降低和分析结果失真，以下是几种高效查找重复数据的专业方法，适用于主流数据库（MySQL、SQL Server、Oracle等），操作前请务必备份数据。
使用 GROUP BY + HAVING（通用性强）
通过分组统计出现次数大于1的记录：
SELECT column1, column2, COUNT(*) AS duplicate_count FROM your_table GROUP BY column1, column2 HAVING COUNT(*) > 1;
- 说明：
column1, column2：需检查重复的字段（可多列）duplicate_count：显示重复次数HAVING COUNT(*) > 1：过滤出重复组
示例结果：
| order_id | customer | duplicate_count |
|———-|———-|—————–|
| 1001 | Alice | 3 |
| 1005 | Bob | 2 |
窗口函数 ROW_NUMBER()（精准定位重复行）
为每行生成序号,标记重复项（适合需操作具体记录的场景）：
SELECT *
FROM (
SELECT *,
ROW_NUMBER() OVER (
PARTITION BY column1, column2
ORDER BY id
) AS row_num
FROM your_table
) AS subquery
WHERE row_num > 1;
- 说明：
PARTITION BY：分组依据（重复判定字段）row_num > 1：筛选重复行（首条保留）- 支持：SQL Server、Oracle、PostgreSQL、MySQL 8.0+
自连接查询（兼容老旧版本）
通过表自我关联匹配重复值：
SELECT a.* FROM your_table a JOIN your_table b ON a.column1 = b.column1 AND a.column2 = b.column2 AND a.id <> b.id; -- 排除自比较
- 适用场景：不支持窗口函数的数据库（如 MySQL 5.x）
- 注意：大数据表可能性能较低
EXISTS 子查询（灵活筛选）
SELECT *
FROM your_table a
WHERE EXISTS (
SELECT 1
FROM your_table b
WHERE a.column1 = b.column1
AND a.column2 = b.column2
AND a.id <> b.id
);
关键注意事项
-
备份优先
执行删除前必备份：
CREATE TABLE backup_table AS SELECT * FROM your_table;
-
预防重复数据
- 添加唯一约束：
ALTER TABLE your_table ADD UNIQUE (column1, column2);
- 使用
MERGE或UPSERT语句更新数据
- 添加唯一约束：
-
性能优化
- 在分组字段上创建索引（如
column1, column2） - 大数据表分批处理（如按时间分段）
- 在分组字段上创建索引（如
总结建议
| 方法 | 适用场景 | 优势 |
|---|---|---|
| GROUP BY + HAVING | 快速统计重复组 | 简单通用，所有数据库支持 |
| ROW_NUMBER() | 需操作具体重复行 | 精准定位，结果清晰 |
| 自连接/EXISTS | 低版本数据库兼容 | 灵活性高 |
定期检查重复数据（如每周任务）可维持数据库健康，若需彻底清理重复项，可基于上述查询创建临时表操作：
-- 示例：保留最小id的唯一条目
DELETE FROM your_table
WHERE id NOT IN (
SELECT MIN(id)
FROM your_table
GROUP BY column1, column2
);
引用说明：本文方法基于 SQL:2016 标准及主流数据库官方文档（MySQL、Microsoft SQL Server、Oracle），参考 ANSI SQL 通用语法规范，实操请结合具体数据库手册调整。
