Как архивировать старые данные и безопасно удалять секции таблицы?

Question

IT Interview Practice · Accepted Answer

Сначала решите, **какие данные можно вывести из активной системы и как их будут получать впоследствии**. От этого зависит, что можно безопасно удалить.

Архивирование сохраняет пригодную к использованию историческую копию. Очистка удаляет активную копию. Рассматривайте эти решения отдельно: успешное завершение экспорта ещё не доказывает безопасность удаления.

## 1. Определите подходящие данные

Допустим, система заказов хранит онлайн завершённые заказы за последние двенадцать месяцев. Это пример политики. Более старый заказ с неразрешённым спором может всё ещё требоваться в активной системе.

Согласуйте границу отбора, часовой пояс, исключения и требования к поиску исторических данных. Если бизнесу нужно находить старые счета, архив должен сохранять необходимые идентификаторы и связи.

**Секционирование** делит одну логическую таблицу на физические части, например по месяцам. Удалять месячную секцию имеет смысл, только если подходят все её записи. Иначе безопасно перенесите исключения или выберите более избирательный способ удаления.

## 2. Не допускайте потери изменений при архивировании

Представьте: заказ скопировали, затем исправили его сумму перед удалением оригинала. Теперь экспортированная копия содержит неверную сумму.

Выберите способ закрыть этот разрыв:

- Остановите запись в выбранный диапазон перед созданием согласованного снимка.
- Либо фиксируйте изменения во время копирования и примените их до согласованной окончательной границы перед удалением.

Определите, куда попадут опоздавшие записи и последующие исправления. Сам по себе отбор по старым временным меткам не мешает другому процессу менять эти строки.

## 3. Докажите пригодность сохранённой копии

```text
[Eligible range] -> [Consistent export] -> [Archive + manifest]
                                                |
                                      [Restore and verify]
```

Манифест описывает экспорт: диапазон, версию схемы, количество записей и контрольные суммы файлов. Он помогает идентифицировать архив и обнаружить неполные или повреждённые файлы.

Проверяйте не только наличие файла:

- Сравните количество записей и значимые итоги, например суммы по валютам.
- Проверьте целостность, идентификаторы и связи.
- Восстановите представительные данные в изолированной среде и найдите исторические заказы или счета, нужные пользователям.

Зафиксируйте проверенную границу исходных данных и проверяющего. Защитите доступ к архиву и определите срок его хранения. Оригинал можно удалить только после демонстрации необходимого пути восстановления.

## 4. Выберите способ удаления активной копии

| Ситуация | Подход | Что проверить |
| --- | --- | --- |
| Подходит целая секция | Отсоединить или удалить её в рамках планового обслуживания | Проверку архива, блокировки и зависимые объекты. |
| Подходящие строки смешаны с активными | Удалять небольшими возобновляемыми пакетами | Стабильность отбора, размер транзакций и отставание реплик. |

В PostgreSQL отсоединение секции оставляет самостоятельную таблицу, которую можно архивировать и проверить до удаления. Такая последовательность полезна, если во время проверки исторические запросы направляются в отсоединённую таблицу.

Удаление секции позволяет не удалять строки по одной, но всё равно требует блокировок. У конкурентного отсоединения есть ограничения: проверьте используемую версию и зависимости. При пакетном удалении также следите за журналами транзакций и работой очистки. [Обслуживание секций PostgreSQL](https://www.postgresql.org/docs/current/ddl-partitioning.html).

## 5. Сделайте повторные запуски безопасными

Сохраняйте прогресс в состояниях «экспортировано», «проверено», «готово к удалению» и «удалено». После перезапуска задача должна знать точный проверенный диапазон, а не вычислять новую, более широкую границу.

Перед удалением повторно убедитесь, что в диапазоне нет неархивированных изменений. После него подтвердите, что активные запросы работают, а архивные записи остаются доступными.

**Запомните:** определить пригодность → контролировать изменения → доказать восстановление → выбрать способ удаления → проверить результат. Цель — сократить активные данные, сохранив надёжный доступ к истории.

Ситуация	Подход	Что проверить
Подходит целая секция	Отсоединить или удалить её в рамках планового обслуживания	Проверку архива, блокировки и зависимые объекты.
Подходящие строки смешаны с активными	Удалять небольшими возобновляемыми пакетами	Стабильность отбора, размер транзакций и отставание реплик.

1. Определите подходящие данные

2. Не допускайте потери изменений при архивировании

3. Докажите пригодность сохранённой копии

4. Выберите способ удаления активной копии

5. Сделайте повторные запуски безопасными

Похожие вопросы