Kaip archyvuoti senus duomenis ir saugiai pašalinti skaidinius?

Question

IT Interview Practice · Accepted Answer

Pirmiausia nuspręskite, **kuriuos duomenis galima iškelti iš aktyvios sistemos ir kaip jie vėliau bus pasiekiami**. Nuo to priklauso, ką saugu ištrinti.

Archyvavimas išsaugo tinkamą naudoti istorinę kopiją. Šalinimas panaikina aktyvią kopiją. Tai atskiri sprendimai: sėkmingas eksportas dar neįrodo, kad trinti saugu.

## 1. Apibrėžkite tinkamus duomenis

Tarkime, užsakymų sistema internete laiko paskutinių dvylikos mėnesių užbaigtus užsakymus. Tai pavyzdinė politika. Senesnis užsakymas su neišspręstu ginču gali turėti likti aktyvus.

Sutarkite dėl ribinės datos, laiko juostos, išimčių ir istorinių paieškų. Jei reikia gauti seną sąskaitą, archyve būtina išlaikyti tam reikalingus identifikatorius ir ryšius.

**Skaidymas į particijas** vieną loginę lentelę padalija į fizines dalis, pavyzdžiui, po vieną mėnesiui. Mėnesio particiją šalinti galima tik kai tinka visi jos įrašai. Kitu atveju saugiai perkelkite išimtis arba pasirinkite tikslesnį trynimą.

## 2. Neleiskite pakeitimams likti už archyvo ribų

Įsivaizduokite, kad nukopijavus užsakymą, bet dar neištrynus originalo, pataisoma jo suma. Eksportuotoje kopijoje lieka neteisinga suma.

Pasirinkite, kaip panaikinti šį tarpą:

- Prieš nuoseklią momentinę kopiją sustabdykite rašymą į pasirinktą intervalą.
- Arba fiksuokite pokyčius kopijavimo metu ir prieš trynimą pritaikykite juos iki sutartos galutinės ribos.

Nuspręskite, kur pateks vėluojantys įrašai ir vėlesni taisymai. Vien senų laiko žymų pasirinkimas netrukdo kitam procesui keisti šių eilučių.

## 3. Įrodykite, kad išsaugota kopija tinkama naudoti

```text
[Eligible range] -> [Consistent export] -> [Archive + manifest]
                                                |
                                      [Restore and verify]
```

Manifestas aprašo eksportą: intervalą, schemos versiją, kiekius ir failų kontrolines sumas. Jis padeda atpažinti archyvą ir aptikti nepilnus ar pažeistus failus.

Tikrinkite ne vien failo buvimą:

- Palyginkite įrašų kiekius ir prasmingas sumas, pavyzdžiui, pagal valiutą.
- Patikrinkite vientisumą, identifikatorius ir ryšius.
- Izoliuotoje aplinkoje atkurkite reprezentatyvius duomenis ir gaukite naudotojams reikalingus istorinius užsakymus ar sąskaitas.

Užrašykite patikrintą šaltinio ribą ir tikrintoją. Apsaugokite prieigą prie archyvo ir nustatykite jo saugojimo trukmę. Originalą šalinkite tik įrodę reikiamą atkūrimo kelią.

## 4. Pasirinkite aktyvios kopijos šalinimą

| Situacija | Būdas | Ką patikrinti |
| --- | --- | --- |
| Tinka visa particija | Atjungti arba pašalinti pagal suplanuotą priežiūros procedūrą | Archyvo patikra, užraktai ir priklausomi objektai. |
| Tinkamos eilutės sumaišytos su aktyviomis | Trinti mažomis, pratęsiamomis porcijomis | Stabili atranka, operacijos dydis ir replikos vėlavimas. |

PostgreSQL atjungus particiją lieka savarankiška lentelė, kurią galima archyvuoti ir patikrinti prieš pašalinant. Tai naudinga, jei tikrinimo metu istorinės užklausos nukreipiamos į tą lentelę.

Particijos šalinimas leidžia netrinti kiekvienos eilutės atskirai, tačiau užraktų vis tiek reikia. Lygiagretus atjungimas turi apribojimų, todėl tikrinkite naudojamą versiją ir priklausomybes. Trindami porcijomis stebėkite operacijų žurnalus ir valymo darbą. [PostgreSQL particijų priežiūra](https://www.postgresql.org/docs/current/ddl-partitioning.html).

## 5. Užtikrinkite saugų kartojimą

Patvariai saugokite būsenas: eksportuota, patikrinta, parengta šalinti ir pašalinta. Paleistas iš naujo procesas turi žinoti tikslų patikrintą intervalą, o ne perskaičiuoti platesnę ribą.

Prieš trindami dar kartą patikrinkite, ar intervale nėra nearchyvuotų pakeitimų. Po to įsitikinkite, kad aktyvios užklausos veikia ir archyviniai įrašai pasiekiami.

**Prisiminkite:** tinkamumo taisyklės → pakeitimų kontrolė → atkūrimo įrodymas → trynimo būdas → rezultato patikra. Tikslas yra mažiau aktyvių duomenų ir patikima prieiga prie istorijos.

Situacija	Būdas	Ką patikrinti
Tinka visa particija	Atjungti arba pašalinti pagal suplanuotą priežiūros procedūrą	Archyvo patikra, užraktai ir priklausomi objektai.
Tinkamos eilutės sumaišytos su aktyviomis	Trinti mažomis, pratęsiamomis porcijomis	Stabili atranka, operacijos dydis ir replikos vėlavimas.

1. Apibrėžkite tinkamus duomenis

2. Neleiskite pakeitimams likti už archyvo ribų

3. Įrodykite, kad išsaugota kopija tinkama naudoti

4. Pasirinkite aktyvios kopijos šalinimą

5. Užtikrinkite saugų kartojimą

Susiję klausimai