数据库mysql怎么删除重复项

好吧...2 02 2 ...我在一家公司工作...他们的数据库...客户表...有很多重复的电子邮件...很多...数百...当时我很困惑...
然后...他们要求我处理...删除重复项...我后来意识到...我必须看看...哪些是重复的...
所以...我打开 MySQL...并编写了一个查询...仅举个例子...从客户那里选择一封不同的电子邮件;...这个要找出...有没有重复...结果...哇...好人...有很多重复...
然后...我们必须更精确...我们不能只查看是否有重复...我们必须查看有多少重复...所以...我写了另一条消息...选择电子邮件，COUNT() fromclients GROUP BY email HAVING COUNT() > 1 ;...这可以看到...哪封电子邮件重复...例如...电子邮件 5 显示了多次...
选择...哪一个 you want to delete...How to delete...There is a key here...i.e.你不能意外删除它...你必须留下一个...删除其他...否则数据将不匹配...
你的方法...自加入...我尝试...从客户 t1 内部连接客户 t2 删除 t1 其中 t1 .email=t2 .email 和 t1 .customer_id > t2 .customer_id;...这非常酷...即t1 和t2 ...你要弄清楚...customer_id...应该是唯一的...按这个排序...保留大的...删除小的...这样...你不会删除所有重复的...
操作之前...你确实需要备份...这是关键...我之前忘记了...我删除了一半...然后...都没有了...这叫...我的心很冷...所以...备份...备份...说重要的事情三次...
对于大表...这个过程...会使数据库混乱...所以...要么在晚上做...要么...批量删除...只需添加LIMIT...比如LIMIT 1 00;...慢慢来...
从长远来看...最好的方法...是添加唯一约束...CHANGE ALTER TABLE CLIENTS ADD UNIQUE(EMAIL);...这样...新数据...直接报告错误...不会有重复...但是...这...你必须先与业务人员交谈...他们必须批准...你不能只是添加...
还有另一种方法...这是一个临时表...我说...创建一个临时表...创建表customers_temp作为通过电子邮件从Customers_temp组中选择的选项;...然后...删除原始表...删除表customers_temp;...然后...将customers_temp重命名为Customers;...似乎...听起来...更安全...但还有更多步骤...
最后...我还是用自连接...因为它...感觉...简单...但是数据备份...是必要的...而且...我添加了一些...头疼……尤其……数据量很大的时候……2 02 2 年……真是……呃……

distinct去重在mysql中如何操作

DISTINCT 非常有用，但您需要知道如何使用它。
MySQL 专门删除重复行并保留唯一值。

单列去重 只有一列，例如城市。
有些城市名称重复，可以使用DISTINCT来解决问题。
SQL 从用户中选择城市。

これが见つかったら、都市名を缲り返さないでください。
たとえば、北京、上海、広州、其他地点に来て、すべてを见せてください。
如果重复，则只计算一次。

通过组合多列进行重复数据删除 在某些情况下，需要将多个列一起显示。
例如，您应该同时查看城市和年龄。
仅当两者相同时才被视为重复。
SQL SELECT DISTINCT city, Age FROM user;
これは、同じ都市と同じ年齢は 1 つとしてのみカウントされることを意味着します。
例如，如果北京是3 0岁，上海是3 0岁，广州3 0岁，各算1
备注 1 . 范围：DISTINCT 检查所有选定的列，而不仅仅是第一列。
例如，SELECT DISTINCT city,age，不是先查看城市，然后查看年龄，而是同时查看两者。
2 . 处理NULL值：NULL没有什么特别的，它只是一个普通值。
如果有多个NULL，则只会找到一个NULL。
例如，如果 city 包含 NULL，则结果也包含 NULL。
3 . 性能影响：此任务非常耗时。
数据太多，查起来很慢。
因此，最好在去重列上创建索引。
例如： SQL 在用户（城市）上创建索引 idx_city； 在用户（城市，年龄）上创建索引 idx_city_age； 这将加快调查速度。

优化性能的建议 1 .建立索引：通过删除重复字段来建立索引可以节省你很多精力。
上记の例はインデックスを作成することです。
2 . 缩小范围。
不要扫描整个表。
使用 WHERE 条件来缩小范围。
例如： SQL 从用户年龄> 3 0 的地方选择不同的城市。
这样，搜索3 0年以上的城市需要处理的数据就更少了。
3 .替代方案：如果您只想知道有多少个唯一值，请使用COUNT(DISTINCT city)。
这比先检查然后计数要简单一些。
SQL 从用户中选择 COUNT（不同城市）。

概述 单列重复数据删除：SELECT DISTINCT 列名。
多列重复数据删除：SELECT DISTINCT 第 1 列、第 2 列。
详细信息：DISTINCT 检查所有列并计算 NULL。
如果数据较多，则需要优化。
这样使用就基本解决了重复问题。

mysql中DISTINCT的用法

哦，当我们谈论 DISTINCT 时，我有话要说。
记得那年我在一家小公司从事数据库管理工作。
当时公司刚刚起步，数据量不大，但需要从客户信息中过滤不同的城市和国家组合。

我当时使用这个 DISTINCT 编写了以下 SQL 查询： SELECT DISTINCT city, Country FROM customer;结果出来后，发现每个城市和国家的组合都是唯一的，没有重复的。

后来公司业务发展，数据量也随之增加。
我发现 DISTINCT 很容易使用，但有点麻烦。
例如，查询结果中可能存在NULL值。
DISTINCT 对 NULL 值特别敏感，并将其视为唯一值。
我就遇到过这样的情况。
有一次，我很头疼，因为查询结果中有很多NULL。

我们来谈谈性能问题。
当这个东西处理大量数据时，它的性能就会下降。
这不是一项小任务，因为 DISTINCT 需要计算每个唯一值。
我曾经处理过一个有数百万条记录的表，并使用DISTINCT去重复，结果服务器崩溃了。

另外需要注意的是，DISTINCT 适用于整个查询结果，而不仅仅是单个列。
我之前犯了一个错误，认为 DISTINCT 只适用于指定的列，但最终我写了一个来自客户的 SELECT DISTINCT 名称。
结果返回了重复的name值，检查了很长时间。

但是充分利用 DISTINCT 仍然会有很大的帮助。
例如，有时您需要计算不同数量的客户，因此您可以使用 COUNT(DISTINCT name) 等组合。
这将帮助您准确计算有多少个客户姓名。

总之，DISTINCT是一个很好的工具，但是使用它时需要小心，并了解它的特点和局限性。
否则，你可能会陷入陷阱。

MySQL怎样处理重复数据 查找与删除重复记录的4种方案

2 02 2 年在北京做了一个项目，用户表数据比较杂乱，重复邮件很多。
MySQL 如何处理重复数据取决于具体情况。

我们首先讨论一下使用 GROUPBY 和 HAVING 进行选择。
我这样写了SQL语句 sql 选择电子邮件； COUNT() AS 计数 来自用户 通过电子邮件分组。
HAVING COUNT() > 1 ;
这可以查找重复的电子邮件以及所有号码。
但光看是不行的，必须删掉。
我想过找一个临时表来存储我想要保留的记录。
例如，使用最小的 ID 保存。
然后清空原表，将临时表数据移回来。
这样，重复项就会被删除。

我们来讨论选项 2 使用 ROW_NUMBER()。
它需要 MySQL 8 .0 或更高版本。
我尝试过： sql 行号 CTE AS ( 选择ID； e-mail OVER ROW_NUMBER() （使用通过电子邮件分区的 id） AS RowNum 来自用户 ） SELECT RowNumCTE WHERE RowNum THEN DELETE THOSE WITH ROW_NUM GREATER THAN 1 这意味着仅保留每封电子邮件的第一封。

三个选项；创建临时表。
这些都是比较稳定的。
我已经做了： sql 创建临时表 temp_users AS 选择 MIN(id) 作为 ID；电子邮件 来自用户 通过电子邮件分组。
表用户截断 插入用户（id，电子邮件）选择id；来自 temp_users 的电子邮件； 临时用户如果有，则保留临时表。

即先创建一个临时表，每封邮件只取最小的ID。
然后清空原表，并将所有临时表数据移回来。
最后删除临时表。
这是安全的。

选择 4 ，使用 DISTINCT。
但这只会删除同一条记录。
我尝试过： sql 创建表 temp_users AS SELECT UNIQUE FROM users。
表用户截断 插入用户 SELECT FROM temp_users DELETE TABLE temp_users;
这可能会删除重复项，但也可能会丢失我不想丢失的数据。
所以这并不常见。

然后是额外的建议。
后来我了解到，在设计桌子时要包含一个独特的标签。
sql 更改表用户唯一索引 unique_email(email);
或添加约束。
这会导致安装时出错。
还有一个应用程序层检查，用于在安装前检查电子邮件。
或使用 INSERT 忽略或替换。
REPLACE先删除后插入；但它必须有主键或唯一索引。

我也使用过这样的触发器： sql 在为每行添加用户之前创建触发器 Prevent_duplicate_email 开始 存在（其中电子邮件地址 = NEW.email从用户中选择 1 ）然后 SIGNAL SQLSTATE '4 5 000' SET MESSAGE_TEXT = '重复的电子邮件地址'; 结束中频 END;
这可以防止添加重复的电子邮件。

删除了性能优化；是批量删除的。
像这样 sql 做真事。
从登录用户中删除（ 选择ID（ WHERE 用户...LIMIT 1 000 选择 id ) AS 临时参数 ）； 如果 ROW_COUNT() = 0 那么退出；结束中频 睡眠（1 ）； 一次结束，
一次销毁1 000个项目，就一会儿，然后再次删除。
这样会减轻数据库的压力。

总之，处理重复数据要根据具体情况而定。
北京的项目，最终采用了方案3 搭建了一个临时表，效果非常好。