Jak archiwizować stare dane i bezpiecznie usuwać partycje?

Question

IT Interview Practice · Accepted Answer

Najpierw ustal, **które dane mogą opuścić aktywny system i jak będą później odczytywane**. To określa, co można bezpiecznie usunąć.

Archiwizacja zachowuje użyteczną kopię historyczną. Usuwanie eliminuje aktywną kopię. Traktuj je jako osobne decyzje: pomyślny eksport nie dowodzi, że usunięcie jest bezpieczne.

## 1. Określ dane kwalifikujące się do usunięcia

Załóżmy, że system zamówień przechowuje online zakończone zamówienia z ostatnich dwunastu miesięcy. To przykładowa polityka. Starsze zamówienie z nierozstrzygniętym sporem może nadal wymagać aktywnego przechowywania.

Uzgodnij datę graniczną, strefę czasową, wyjątki i potrzeby odczytu historii. Jeśli firma musi odnaleźć starą fakturę, archiwum powinno zachować potrzebne identyfikatory i relacje.

**Partycjonowanie** dzieli jedną logiczną tabelę na fizyczne części, na przykład po jednej na miesiąc. Usunięcie miesięcznej partycji ma sens tylko wtedy, gdy wszystkie jej rekordy spełniają warunki. W przeciwnym razie bezpiecznie przenieś wyjątki lub zastosuj bardziej selektywne usuwanie.

## 2. Nie dopuść do pominięcia zmian w archiwum

Wyobraź sobie skopiowanie zamówienia, a następnie korektę jego kwoty przed usunięciem oryginału. Wyeksportowana kopia zawiera już błędną kwotę.

Wybierz sposób zamknięcia tej luki:

- Zatrzymaj zapisy w wybranym zakresie przed wykonaniem spójnej migawki.
- Albo rejestruj zmiany podczas kopiowania i zastosuj je do uzgodnionego końcowego punktu przed usunięciem.

Ustal, gdzie trafią spóźnione rekordy i późniejsze korekty. Sam wybór starych znaczników czasu nie uniemożliwia innemu procesowi zmiany tych wierszy.

## 3. Udowodnij użyteczność zapisanej kopii

```text
[Eligible range] -> [Consistent export] -> [Archive + manifest]
                                                |
                                      [Restore and verify]
```

Manifest opisuje eksport: zakres, wersję schematu, liczby rekordów i sumy kontrolne plików. Pomaga rozpoznać archiwum oraz wykryć niepełne lub uszkodzone pliki.

Sprawdź więcej niż samo istnienie pliku:

- Porównaj liczby rekordów i znaczące sumy, na przykład kwoty według waluty.
- Sprawdź integralność, identyfikatory i relacje.
- Odtwórz reprezentatywne dane w izolowanym środowisku i odszukaj historyczne zamówienia lub faktury potrzebne użytkownikom.

Zapisz zweryfikowany punkt końcowy źródła i osobę sprawdzającą. Chroń dostęp do archiwum i ustal jego retencję. Oryginał można usunąć dopiero po wykazaniu, że wymagana ścieżka odzyskiwania działa.

## 4. Wybierz metodę usunięcia aktywnej kopii

| Sytuacja | Podejście | Co sprawdzić |
| --- | --- | --- |
| Cała partycja spełnia warunki | Odłącz lub usuń ją w zaplanowanej procedurze utrzymaniowej | Weryfikacja archiwum, blokady i obiekty zależne. |
| Wiersze do usunięcia są wymieszane z aktywnymi | Usuwaj małymi partiami z możliwością wznowienia | Stabilny wybór, rozmiar transakcji i opóźnienie replik. |

W PostgreSQL odłączenie partycji pozostawia samodzielną tabelę, którą można zarchiwizować i sprawdzić przed usunięciem. To przydatna kolejność, jeśli podczas weryfikacji odczyty historyczne trafiają do odłączonej tabeli.

Usuwanie partycji omija kasowanie wierszy pojedynczo, ale nadal wymaga blokad. Odłączanie współbieżne ma ograniczenia, więc sprawdź używaną wersję i zależności. Przy usuwaniu partiami monitoruj też dzienniki transakcyjne i prace porządkowe. [Utrzymanie partycji w PostgreSQL](https://www.postgresql.org/docs/current/ddl-partitioning.html).

## 5. Zapewnij bezpieczne ponowienia

Trwale zapisuj etapy: wyeksportowano, zweryfikowano, gotowe do usunięcia i usunięto. Po restarcie zadanie musi znać dokładny zweryfikowany zakres, zamiast obliczać nową, szerszą granicę.

Przed usunięciem ponownie sprawdź, czy w tym zakresie nie pojawiły się niezarchiwizowane zmiany. Potem potwierdź, że aktywne zapytania działają, a archiwalne rekordy pozostają dostępne.

**Zapamiętaj:** określ kwalifikację → kontroluj zmiany → udowodnij odtwarzanie → wybierz usuwanie → zweryfikuj wynik. Celem jest mniej aktywnych danych przy niezawodnym dostępie do historii.

Sytuacja	Podejście	Co sprawdzić
Cała partycja spełnia warunki	Odłącz lub usuń ją w zaplanowanej procedurze utrzymaniowej	Weryfikacja archiwum, blokady i obiekty zależne.
Wiersze do usunięcia są wymieszane z aktywnymi	Usuwaj małymi partiami z możliwością wznowienia	Stabilny wybór, rozmiar transakcji i opóźnienie replik.

1. Określ dane kwalifikujące się do usunięcia

2. Nie dopuść do pominięcia zmian w archiwum

3. Udowodnij użyteczność zapisanej kopii

4. Wybierz metodę usunięcia aktywnej kopii

5. Zapewnij bezpieczne ponowienia

Powiązane pytania