Làm thế nào để xử lý dữ liệu trùng lặp với DISTINCT?

Question

Accepted Answer

**`DISTINCT`** loại bỏ các dòng trùng lặp khỏi kết quả, chỉ trả về các giá trị duy nhất. Nó được dùng để lấy các giá trị riêng biệt của một cột (hoặc tổ hợp các cột) — thường dùng để tìm các mục duy nhất hoặc xây danh sách dropdown.

## DISTINCT — giá trị duy nhất

```sql
-- lấy các quốc gia duy nhất (không trùng lặp)
SELECT DISTINCT country FROM users;
-- → mỗi quốc gia xuất hiện một lần, dù nhiều user cùng chung

-- DISTINCT trên nhiều cột → các TỔ HỢP duy nhất
SELECT DISTINCT country, city FROM users;
-- → mỗi cặp (country, city) duy nhất xuất hiện một lần
```

`DISTINCT` áp dụng cho toàn bộ các cột được chọn cùng nhau — `DISTINCT country, city` trả về các *tổ hợp* duy nhất, không phải country duy nhất và city duy nhất riêng biệt.

## DISTINCT với COUNT

```sql
-- đếm có bao nhiêu quốc gia DUY NHẤT
SELECT COUNT(DISTINCT country) FROM users;

-- so với COUNT(*) đếm mọi dòng (kể cả trùng lặp)
SELECT COUNT(*) FROM users;
```

`COUNT(DISTINCT column)` đếm các giá trị duy nhất — hữu ích cho câu hỏi "có bao nhiêu X khác nhau?".

## Tìm các dòng trùng lặp thật sự

```sql
-- tìm các giá trị xuất hiện NHIỀU HƠN MỘT lần (trùng lặp)
SELECT email, COUNT(*) AS count
FROM users
GROUP BY email
HAVING COUNT(*) > 1;          -- các nhóm có nhiều hơn một dòng = trùng lặp
```

Để *tìm* các bản trùng (không chỉ loại bỏ chúng), dùng `GROUP BY` + `HAVING COUNT(*) > 1` — cách này xác định giá trị nào bị trùng và trùng bao nhiêu lần.

## DISTINCT vs GROUP BY

```sql
-- hai cách này thường tương đương để lấy giá trị duy nhất:
SELECT DISTINCT country FROM users;
SELECT country FROM users GROUP BY country;
-- GROUP BY linh hoạt hơn (có thể thêm hàm tổng hợp); DISTINCT đơn giản hơn cho việc khử trùng thuần túy
```

## Một lưu ý về hiệu năng

```text
DISTINCT yêu cầu database so sánh/sắp xếp các dòng để tìm giá trị duy nhất → có thể tốn kém
trên tập dữ liệu lớn. Thường là dấu hiệu bạn nên cấu trúc lại truy vấn (ví dụ một JOIN tạo ra
trùng lặp rồi DISTINCT mới loại bỏ — hãy cân nhắc liệu JOIN có phải là vấn đề).
```

## Tại sao điều này quan trọng

`DISTINCT` là một tính năng SQL hữu ích, thường cần đến cho việc **xử lý dữ liệu trùng lặp** — lấy giá trị duy nhất là nhu cầu thường gặp (danh mục duy nhất cho dropdown, các mục riêng biệt, đếm số mục duy nhất), nên hiểu nó là kiến thức thực tế hằng ngày.

Biết cách `DISTINCT` hoạt động (loại bỏ dòng trùng, và trên nhiều cột nó trả về các *tổ hợp* duy nhất — một điểm thường gây nhầm) và cách dùng `COUNT(DISTINCT)` để đếm giá trị duy nhất bao quát các cách dùng điển hình.

Cũng giá trị không kém là biết cách **tìm các bản trùng thật sự** (dùng `GROUP BY` + `HAVING COUNT(*) > 1`) — một tác vụ phổ biến, quan trọng cho việc làm sạch và kiểm chứng dữ liệu (xác định email, record trùng, v.v.).

Hiểu mối quan hệ giữa `DISTINCT` và `GROUP BY` (thường tương đương cho việc khử trùng, với GROUP BY linh hoạt hơn) và **lưu ý hiệu năng** (DISTINCT yêu cầu so sánh/sắp xếp và có thể tốn kém, đôi khi báo hiệu một JOIN tạo ra trùng lặp ngoài ý muốn) cũng hữu ích.

Vì xử lý trùng lặp — cả loại bỏ chúng (DISTINCT) lẫn tìm chúng (GROUP BY/HAVING) — là nhu cầu thực tế phổ biến trong truy vấn và công việc về chất lượng dữ liệu, và vì hiểu hành vi của DISTINCT (đặc biệt trên nhiều cột) và các lựa chọn thay thế giúp tránh nhầm lẫn và kém hiệu quả, biết cách xử lý trùng lặp với DISTINCT là kiến thức hữu ích, được áp dụng thường xuyên khi làm việc với dữ liệu thực tế thường chứa hoặc yêu cầu giá trị duy nhất.