Как обрабатывать дубликаты с помощью DISTINCT?

Question

Accepted Answer

**`DISTINCT`** удаляет дублирующиеся строки из результата, возвращая только уникальные значения. Используется для получения различных значений столбца (или комбинации столбцов) — часто применяется для поиска уникальных записей или построения раскрывающихся списков.

## DISTINCT — уникальные значения

```sql
-- get the unique countries (no duplicates)
SELECT DISTINCT country FROM users;
-- → each country appears once, even if many users share it

-- DISTINCT on multiple columns → unique COMBINATIONS
SELECT DISTINCT country, city FROM users;
-- → each unique (country, city) pair appears once
```

`DISTINCT` применяется ко всем выбранным столбцам вместе — `DISTINCT country, city` возвращает уникальные *комбинации*, а не уникальные страны и уникальные города отдельно.

## DISTINCT с COUNT

```sql
-- count how many UNIQUE countries there are
SELECT COUNT(DISTINCT country) FROM users;

-- vs COUNT(*) which counts all rows (with duplicates)
SELECT COUNT(*) FROM users;
```

`COUNT(DISTINCT column)` считает уникальные значения — полезно для вопроса "сколько различных X есть?".

## Поиск дублирующихся строк

```sql
-- find values that appear MORE THAN ONCE (duplicates)
SELECT email, COUNT(*) AS count
FROM users
GROUP BY email
HAVING COUNT(*) > 1;          -- groups with more than one row = duplicates
```

Для *поиска* дубликатов (а не только их удаления) используйте `GROUP BY` + `HAVING COUNT(*) > 1` — это определяет, какие значения дублируются и сколько раз.

## DISTINCT vs GROUP BY

```sql
-- these are often equivalent for getting unique values:
SELECT DISTINCT country FROM users;
SELECT country FROM users GROUP BY country;
-- GROUP BY is more flexible (can add aggregates); DISTINCT is simpler for pure deduplication
```

## Примечание о производительности

```text
DISTINCT requires the database to compare/sort rows to find uniques → can be costly
on large datasets. Often a sign you might restructure the query (e.g. a JOIN producing
duplicates that DISTINCT then removes — consider whether the JOIN is the issue).
```

## Почему это важно

`DISTINCT` — это полезная, часто требуемая функция SQL для **обработки дубликатов** — получение уникальных значений — частая необходимость (уникальные категории для раскрывающегося списка, различные записи, подсчёт уникальных элементов), поэтому её понимание — это практическое повседневное знание.

Понимание того, как работает `DISTINCT` (удаляет дублирующиеся строки, и при применении к нескольким столбцам возвращает уникальные *комбинации* — частая точка путаницы) и как использовать `COUNT(DISTINCT)` для подсчёта уникальных значений охватывает типичные применения.

Равно важно знать, как **находить дубликаты** (используя `GROUP BY` + `HAVING COUNT(*) > 1`) — частая, важная задача для очистки данных и валидации (выявление дублирующихся адресов электронной почты, записей и т. д.).

Понимание связи между `DISTINCT` и `GROUP BY` (часто эквивалентны для удаления дубликатов, с GROUP BY более гибким) и **примечание о производительности** (DISTINCT требует сравнения/сортировки и может быть затратным, и иногда указывает на JOIN, производящий нежелательные дубликаты) также полезно.

Поскольку обработка дубликатов — как их удаление (DISTINCT), так и поиск (GROUP BY/HAVING) — это частая практическая необходимость при работе с запросами и качеством данных, и поскольку понимание поведения DISTINCT (особенно на нескольких столбцах) и её альтернатив предотвращает путаницу и неэффективность, знание того, как обрабатывать дубликаты с помощью DISTINCT, — это полезное, часто применяемое знание для работы с реальными данными, которые часто содержат или требуют уникальных значений.