最近，有小伙伴出去面試，面試官問了這樣的一個問題：如何查詢和刪除MySQL中重復的記錄？相信對于這樣一個問題，有不少小伙伴會一臉茫然。那么，我們如何來完美的回答這個問題呢？今天，我們就一起來探討下這個經(jīng)典的MySQL面試題。

問題分析

對于標題中的問題，有兩種理解。第一種理解為將標題的問題拆分為兩個問題，分別為：如何查詢MySQL中的重復記錄？如何刪除MySQL中的重復記錄？另一種理解為：如何查詢并刪除MySQL中的重復記錄？

沒關系，不管怎么理解，我們今天都要搞定它??！

為了小伙伴們更好的理解如何在實際工作中解決遇到的類似問題。這里，我就不簡單的回答標題的問題了，而是以SQL語句來實現(xiàn)各種場景下，查詢和刪除MySQL數(shù)據(jù)庫中的重復記錄。

問題解決

查找重復記錄

1、查找全部重復記錄

select?*?from?表?where?重復字段?in?(select?重復字段?from?表?group?by?重復字段?having?count(*)>1)

2、過濾重復記錄(只顯示一條)

select?*?from?HZT?Where?ID?In?(select?max(ID)?from?HZT?group?by?Title)

注：此處顯示ID最大一條記錄。

刪除重復記錄

1、刪除全部重復記錄（慎用）

delete?表?where?重復字段?in?(select?重復字段?from?表?group?by?重復字段?having?count(*)>1)

2、保留一條（這個應該是大多數(shù)人所需要的 ^_^）

delete?HZT?where?ID?not?In?(select?max(ID)?from?HZT?group?by?Title)

注：此處保留ID最大一條記錄。

三、舉例

1、查找表中多余的重復記錄，重復記錄是根據(jù)單個字段（peopleId）來判斷

select?*?from?people?where?peopleId?in?(select?peopleId?from?people?group?by?peopleId?having?count(peopleId)?>?1)

2、刪除表中多余的重復記錄，重復記錄是根據(jù)單個字段（peopleId）來判斷，只留有rowid最小的記錄

delete?from?people?where?peopleId?in?(select?peopleId?from?people?group?by?peopleId?having?count(peopleId)?>?1)?and?rowid?not?in?(select?min(rowid)?from?people?group?by?peopleId?having?count(peopleId?)>1)

3、查找表中多余的重復記錄（多個字段）

select?*?from?vitae?a?where?(a.peopleId,a.seq)?in?(select?peopleId,seq?from?vitae?group?by?peopleId,seq?having?count(*)?>?1)

4、刪除表中多余的重復記錄（多個字段），只留有rowid最小的記錄

delete?from?vitae?a?where?(a.peopleId,a.seq)?in?(select?peopleId,seq?from?vitae?group?by?peopleId,seq?having?count(*)?>?1)?and?rowid?not?in?(select?min(rowid)?from?vitae?group?by?peopleId,seq?having?count(*)>1)

5、查找表中多余的重復記錄（多個字段），不包含rowid最小的記錄

select?*?from?vitae?a?where?(a.peopleId,a.seq)?in?(select?peopleId,seq?from?vitae?group?by?peopleId,seq?having?count(*)?>?1)?and?rowid?not?in?(select?min(rowid)?from?vitae?group?by?peopleId,seq?having?count(*)>1)

四、補充

有兩個以上的重復記錄，一是完全重復的記錄，也即所有字段均重復的記錄，二是部分關鍵字段重復的記錄，比如Name字段重復，而其他字段不一定重復或都重復可以忽略。

1、對于第一種重復，比較容易解決，使用

select?distinct?*?from?tableName

就可以得到無重復記錄的結果集。

如果該表需要刪除重復的記錄（重復記錄保留1條），可以按以下方法刪除

select?distinct?*?into?#Tmp?from?tableName
drop?table?tableName
select?*?into?tableName?from?#Tmp
drop?table?#Tmp

發(fā)生這種重復的原因是表設計不周產生的，增加唯一索引列即可解決。

2、這類重復問題通常要求保留重復記錄中的第一條記錄，操作方法如下 。

假設有重復的字段為Name,Address，要求得到這兩個字段唯一的結果集

select?identity(int,1,1)?as?autoID,?*?into?#Tmp?from?tableName
select?min(autoID)?as?autoID?into?#Tmp2?from?#Tmp?group?by?Name,autoID
select?*?from?#Tmp?where?autoID?in(select?autoID?from?#tmp2)