Hoe archiveer je oude gegevens en verwijder je partities veilig?

Question

IT Interview Practice · Accepted Answer

Bepaal eerst **welke gegevens het actieve systeem mogen verlaten en hoe ze daarna worden opgevraagd**. Dat bepaalt wat veilig kan worden verwijderd.

Archiveren bewaart een bruikbare historische kopie. Purgen verwijdert de actieve kopie. Behandel dit als afzonderlijke beslissingen: een geslaagde export bewijst niet dat verwijderen veilig is.

## 1. Bepaal welke gegevens in aanmerking komen

Stel dat een bestelsysteem voltooide bestellingen van de laatste twaalf maanden online houdt. Dit is een voorbeeldbeleid. Een oudere bestelling met een onopgelost geschil moet mogelijk actief blijven.

Spreek de grensdatum, tijdzone, uitzonderingen en behoeften aan historische opvragingen af. Moet het bedrijf een oude factuur kunnen vinden, dan moet het archief de benodigde identificaties en relaties bewaren.

**Partitionering** verdeelt één logische tabel in fysieke delen, bijvoorbeeld één deel per maand. Een maandpartitie verwijderen is alleen zinvol als alle records erin in aanmerking komen. Verplaats uitzonderingen anders veilig of kies een selectievere verwijdermethode.

## 2. Voorkom dat wijzigingen buiten het archief vallen

Stel dat je een bestelling kopieert en daarna het bedrag corrigeert voordat je het origineel verwijdert. De geëxporteerde kopie bevat nu het verkeerde bedrag.

Kies hoe je deze kloof sluit:

- Stop schrijfbewerkingen in het geselecteerde bereik voordat je een consistente snapshot maakt.
- Of leg wijzigingen tijdens het kopiëren vast en verwerk ze tot een afgesproken definitief eindpunt voordat je verwijdert.

Bepaal waar late records en latere correcties terechtkomen. Alleen oude tijdstempels selecteren voorkomt niet dat een ander proces die rijen wijzigt.

## 3. Bewijs dat de opgeslagen kopie bruikbaar is

```text
[Eligible range] -> [Consistent export] -> [Archive + manifest]
                                                |
                                      [Restore and verify]
```

Een manifest beschrijft wat is geëxporteerd: bereik, schemaversie, aantallen en bestandschecksums. Het helpt het archief te identificeren en onvolledige of beschadigde bestanden te vinden.

Controleer meer dan alleen of er een bestand bestaat:

- Vergelijk aantallen records en betekenisvolle totalen, zoals bedragen per valuta.
- Controleer integriteit, identificaties en relaties.
- Herstel representatieve gegevens in een geïsoleerde omgeving en vraag de historische bestellingen of facturen op die gebruikers nodig hebben.

Leg het gecontroleerde eindpunt van de bron vast en wie dit heeft gecontroleerd. Beveilig ook de toegang tot het archief en bepaal de bewaartermijn. Het origineel mag pas weg nadat de vereiste herstelroute is aangetoond.

## 4. Kies hoe je de actieve kopie verwijdert

| Situatie | Aanpak | Te controleren |
| --- | --- | --- |
| Een volledige partitie komt in aanmerking | Koppel deze los of verwijder deze via gepland onderhoud | Archiefcontrole, locks en afhankelijke objecten. |
| Geschikte rijen zijn vermengd met actieve rijen | Verwijder in kleine, hervatbare batches | Stabiele selectie, transactiegrootte en replicavertraging. |

In PostgreSQL blijft na het loskoppelen van een partitie een zelfstandige tabel over die kan worden gearchiveerd en gecontroleerd voordat ze wordt verwijderd. Dit is bruikbaar als historische toegang tijdens de controle naar die losgekoppelde tabel wordt geleid.

Een partitie verwijderen vermijdt het afzonderlijk verwijderen van rijen, maar vereist nog steeds locks. Gelijktijdig loskoppelen kent beperkingen; controleer daarom de gebruikte versie en afhankelijkheden. Bewaak bij batchverwijdering ook transactielogs en opruimwerk. [Partitieonderhoud in PostgreSQL](https://www.postgresql.org/docs/current/ddl-partitioning.html).

## 5. Maak herhaalde pogingen veilig

Bewaar de voortgang als geëxporteerd, gecontroleerd, klaar voor verwijdering en verwijderd. Na een herstart moet de taak het exact gecontroleerde bereik kennen in plaats van een ruimere grens opnieuw te berekenen.

Controleer vóór verwijdering opnieuw of er geen ongearchiveerde wijzigingen in dat bereik zijn gekomen. Bevestig daarna dat actieve queries blijven werken en de gearchiveerde records opvraagbaar zijn.

**Onthoud:** geschiktheid bepalen → wijzigingen beheersen → herstel bewijzen → verwijdermethode kiezen → resultaat controleren. Het doel is minder actieve data met betrouwbare toegang tot de historie.

Situatie	Aanpak	Te controleren
Een volledige partitie komt in aanmerking	Koppel deze los of verwijder deze via gepland onderhoud	Archiefcontrole, locks en afhankelijke objecten.
Geschikte rijen zijn vermengd met actieve rijen	Verwijder in kleine, hervatbare batches	Stabiele selectie, transactiegrootte en replicavertraging.

1. Bepaal welke gegevens in aanmerking komen

2. Voorkom dat wijzigingen buiten het archief vallen

3. Bewijs dat de opgeslagen kopie bruikbaar is

4. Kies hoe je de actieve kopie verwijdert

5. Maak herhaalde pogingen veilig

Gerelateerde vragen