పాత డేటాను archive చేసి partitions‌ను సురక్షితంగా ఎలా తొలగించాలి?

Question

IT Interview Practice · Accepted Answer

మొదట **ఏ డేటాను క్రియాశీల వ్యవస్థ నుంచి తీసివేయవచ్చు, తర్వాత దాన్ని ఎలా తిరిగి పొందాలి** అనేది నిర్ణయించండి. దేనిని సురక్షితంగా తొలగించవచ్చో ఇది నిర్ణయిస్తుంది.

ఆర్కైవ్ చేయడం ఉపయోగించగల చారిత్రక ప్రతిని భద్రపరుస్తుంది. పర్జ్ చేయడం క్రియాశీల ప్రతిని తొలగిస్తుంది. ఇవి వేర్వేరు నిర్ణయాలు: ఎక్స్‌పోర్ట్ విజయవంతమైతే తొలగింపు సురక్షితమని నిరూపణ కాదు.

## 1. అర్హమైన డేటాను నిర్వచించండి

ఒక ఆర్డర్ వ్యవస్థ గత పన్నెండు నెలల పూర్తయిన ఆర్డర్లను ఆన్‌లైన్‌లో ఉంచుతుందని అనుకుందాం. ఇది ఉదాహరణ విధానం మాత్రమే. పరిష్కారం కాని వివాదం ఉన్న పాత ఆర్డర్ ఇంకా క్రియాశీలంగా ఉండాల్సి రావచ్చు.

కటాఫ్ సమయం, టైమ్ జోన్, మినహాయింపులు, పాత రికార్డుల శోధన అవసరాలను అంగీకరించండి. వ్యాపారానికి పాత ఇన్‌వాయిస్ కావాలంటే, దానిని పొందడానికి అవసరమైన గుర్తింపులు, సంబంధాలు ఆర్కైవ్‌లో ఉండాలి.

**పార్టిషనింగ్** ఒక తార్కిక పట్టికను భౌతిక భాగాలుగా విభజిస్తుంది; ఉదాహరణకు నెలకు ఒక భాగం. అందులోని ప్రతి రికార్డు అర్హమైనప్పుడే నెలవారీ పార్టిషన్ తొలగించడం సమంజసం. లేదంటే మినహాయింపులను సురక్షితంగా తరలించండి లేదా ఎంపిక చేసిన రికార్డులను మాత్రమే తొలగించండి.

## 2. మార్పులు ఆర్కైవ్ నుంచి తప్పిపోకుండా చూడండి

ఆర్డర్‌ను కాపీ చేసిన తర్వాత, అసలును తొలగించేలోపు దాని మొత్తాన్ని సరిచేశారని ఊహించండి. ఎక్స్‌పోర్ట్ చేసిన ప్రతిలో ఇప్పుడు తప్పు మొత్తం ఉంది.

ఈ ఖాళీని మూసే విధానాన్ని ఎంచుకోండి:

- స్థిరమైన snapshot తీసుకునే ముందు ఎంపిక చేసిన పరిధిలో రాతలను ఆపండి.
- లేదా కాపీ సమయంలో మార్పులను సేకరించి, తొలగించే ముందు అంగీకరించిన తుది కటాఫ్ వరకు వర్తింపజేయండి.

ఆలస్యంగా వచ్చే రికార్డులు, తర్వాతి సవరణలు ఎక్కడికి వెళ్తాయో నిర్ణయించండి. పాత timestamps ఎంచుకోవడం మాత్రమే ఇతర ప్రక్రియలు ఆ వరుసలను మార్చకుండా నిరోధించదు.

## 3. భద్రపరిచిన ప్రతిని ఉపయోగించగలమని నిరూపించండి

```text
[Eligible range] -> [Consistent export] -> [Archive + manifest]
                                                |
                                      [Restore and verify]
```

Manifest ఎక్స్‌పోర్ట్ వివరాలను తెలుపుతుంది: పరిధి, schema వెర్షన్, సంఖ్యలు, ఫైల్ checksums. ఆర్కైవ్‌ను గుర్తించడానికి, అసంపూర్ణ లేదా దెబ్బతిన్న ఫైళ్లను కనిపెట్టడానికి సహాయపడుతుంది.

ఫైల్ ఉందో లేదో మాత్రమే చూడకండి:

- రికార్డుల సంఖ్య, కరెన్సీ వారీ మొత్తాలు వంటి అర్థవంతమైన గణాంకాలను పోల్చండి.
- సమగ్రత, గుర్తింపులు, సంబంధాలను తనిఖీ చేయండి.
- వేరుచేసిన వాతావరణంలో ప్రాతినిధ్య డేటాను పునరుద్ధరించి, వినియోగదారులకు అవసరమైన పాత ఆర్డర్లు లేదా ఇన్‌వాయిస్‌లను పొందండి.

ధృవీకరించిన మూల కటాఫ్, దాన్ని తనిఖీ చేసిన వ్యక్తిని నమోదు చేయండి. ఆర్కైవ్ యాక్సెస్‌ను రక్షించి, నిల్వ వ్యవధిని కూడా నిర్ణయించండి. అవసరమైన పునరుద్ధరణ మార్గం పనిచేస్తుందని చూపిన తర్వాతే అసలును తొలగించాలి.

## 4. క్రియాశీల ప్రతిని తొలగించే విధానం ఎంచుకోండి

| పరిస్థితి | విధానం | తనిఖీ చేయాల్సినవి |
| --- | --- | --- |
| మొత్తం పార్టిషన్ అర్హమైనది | ప్రణాళికాబద్ధ నిర్వహణలో వేరు చేయడం లేదా తొలగించడం | ఆర్కైవ్ ధృవీకరణ, locks, ఆధారపడిన objects. |
| అర్హమైన వరుసలు క్రియాశీల వరుసలతో కలిశాయి | తిరిగి ప్రారంభించగల చిన్న batchesలో తొలగించడం | స్థిరమైన ఎంపిక, transaction పరిమాణం, replica ఆలస్యం. |

PostgreSQLలో పార్టిషన్‌ను వేరు చేస్తే స్వతంత్ర పట్టిక మిగులుతుంది. దాన్ని తొలగించే ముందు ఆర్కైవ్ చేసి తనిఖీ చేయవచ్చు. ధృవీకరణ జరుగుతున్నప్పుడు పాత డేటా అభ్యర్థనలను ఆ పట్టికకు పంపితే ఈ క్రమం ఉపయోగకరం.

పార్టిషన్ తొలగింపు ఒక్కో వరుసను తొలగించడం తప్పిస్తుంది, కానీ locks ఇంకా అవసరం. Concurrent detachకు పరిమితులు ఉన్నాయి; అమలులోని వెర్షన్, dependencies చూడండి. Batch తొలగింపులో transaction logs, శుభ్రపరిచే పనిని కూడా పర్యవేక్షించండి. [PostgreSQL పార్టిషన్ నిర్వహణ](https://www.postgresql.org/docs/current/ddl-partitioning.html).

## 5. పునఃప్రయత్నాలను సురక్షితం చేయండి

ఎక్స్‌పోర్ట్ అయింది, ధృవీకరించబడింది, తొలగింపుకు సిద్ధం, తొలగించబడింది వంటి దశలను శాశ్వతంగా నమోదు చేయండి. Restart తర్వాత jobకు ధృవీకరించిన ఖచ్చితమైన పరిధి తెలియాలి; మరింత విస్తృత కటాఫ్‌ను మళ్లీ లెక్కించకూడదు.

తొలగించే ముందు ఆ పరిధిలో ఆర్కైవ్ కాని మార్పులు చేరలేదని తిరిగి తనిఖీ చేయండి. తర్వాత క్రియాశీల queries పనిచేస్తున్నాయని, ఆర్కైవ్ రికార్డులు పొందగలమని నిర్ధారించండి.

**గుర్తుంచుకోండి:** అర్హత నిర్ణయం → మార్పుల నియంత్రణ → పునరుద్ధరణ నిరూపణ → తొలగింపు ఎంపిక → ఫలిత ధృవీకరణ. తక్కువ క్రియాశీల డేటాతో నమ్మదగిన చారిత్రక యాక్సెస్ లక్ష్యం.

పరిస్థితి	విధానం	తనిఖీ చేయాల్సినవి
మొత్తం పార్టిషన్ అర్హమైనది	ప్రణాళికాబద్ధ నిర్వహణలో వేరు చేయడం లేదా తొలగించడం	ఆర్కైవ్ ధృవీకరణ, locks, ఆధారపడిన objects.
అర్హమైన వరుసలు క్రియాశీల వరుసలతో కలిశాయి	తిరిగి ప్రారంభించగల చిన్న batchesలో తొలగించడం	స్థిరమైన ఎంపిక, transaction పరిమాణం, replica ఆలస్యం.

1. అర్హమైన డేటాను నిర్వచించండి

2. మార్పులు ఆర్కైవ్ నుంచి తప్పిపోకుండా చూడండి

3. భద్రపరిచిన ప్రతిని ఉపయోగించగలమని నిరూపించండి

4. క్రియాశీల ప్రతిని తొలగించే విధానం ఎంచుకోండి

5. పునఃప్రయత్నాలను సురక్షితం చేయండి

సంబంధిత ప్రశ్నలు