பழைய தரவை ஆவணப்படுத்தி partitions-ஐப் பாதுகாப்பாக நீக்குவது எப்படி?

Question

IT Interview Practice · Accepted Answer

முதலில் **எந்தத் தரவைச் செயலில் உள்ள அமைப்பிலிருந்து வெளியேற்றலாம், பிறகு அதை எப்படிப் பெறுவது** என்பதை முடிவு செய்யுங்கள். எதைப் பாதுகாப்பாக நீக்கலாம் என்பதை இதுவே தீர்மானிக்கும்.

காப்பகப்படுத்துதல் பயன்படுத்தக்கூடிய வரலாற்று நகலைப் பாதுகாக்கிறது. Purging செயலில் உள்ள நகலை நீக்குகிறது. இவற்றைத் தனித்தனி முடிவுகளாகக் கருதுங்கள்: export வெற்றி பெற்றது என்பதால் நீக்குவது பாதுகாப்பானது என்று நிரூபணமாகாது.

## 1. தகுதியான தரவை வரையறுக்கவும்

ஒரு ஆர்டர் அமைப்பு கடந்த பன்னிரண்டு மாதங்களில் முடிந்த ஆர்டர்களை ஆன்லைனில் வைத்திருப்பதாகக் கொள்வோம். இது விளக்கத்திற்கான கொள்கை. தீர்க்கப்படாத சர்ச்சையுள்ள பழைய ஆர்டர் இன்னும் செயலில் இருக்க வேண்டியிருக்கலாம்.

கடைசி நேர எல்லை, நேர மண்டலம், விதிவிலக்குகள், வரலாற்றுத் தேடல் தேவைகள் ஆகியவற்றில் உடன்படுங்கள். பழைய விலைப்பட்டியலை வணிகம் மீட்டெடுக்க வேண்டுமெனில், அதற்குத் தேவையான அடையாளங்களையும் தொடர்புகளையும் காப்பகம் பாதுகாக்க வேண்டும்.

**Partitioning** ஒரு தருக்க அட்டவணையை மாதத்திற்கு ஒன்று போன்ற உடல் பகுதிகளாகப் பிரிக்கிறது. மாத partition-இல் உள்ள ஒவ்வொரு பதிவும் தகுதியானால் மட்டுமே அதை முழுவதுமாக நீக்குவது பொருந்தும். இல்லாவிட்டால் விதிவிலக்குகளைப் பாதுகாப்பாக மாற்றவும் அல்லது தேர்ந்தெடுத்த பதிவுகளை மட்டும் நீக்கும் முறையைப் பயன்படுத்தவும்.

## 2. மாற்றங்கள் காப்பகத்தில் விடுபடாமல் தடுக்கவும்

ஒரு ஆர்டரை நகலெடுத்த பின் அதன் தொகையைத் திருத்திவிட்டு மூலத்தை நீக்குவதாகக் கற்பனை செய்யுங்கள். ஏற்றுமதி செய்யப்பட்ட நகலில் இப்போது தவறான தொகை இருக்கும்.

இந்த இடைவெளியை எப்படிச் சரிசெய்வது என்பதைத் தேர்ந்தெடுக்கவும்:

- ஒரே நிலையைப் பிரதிபலிக்கும் snapshot எடுக்கும் முன் தேர்ந்தெடுத்த வரம்பில் எழுதுவதை நிறுத்தவும்.
- அல்லது நகலெடுக்கும்போது ஏற்படும் மாற்றங்களைப் பதிவு செய்து, நீக்குவதற்கு முன் ஒப்புக்கொண்ட இறுதி நேர எல்லை வரையிலான மாற்றங்களைப் பயன்படுத்தவும்.

தாமதமாக வரும் பதிவுகளும் பின்னர் செய்யப்படும் திருத்தங்களும் எங்கு செல்லும் என்பதை முடிவு செய்யுங்கள். பழைய timestamp-களைத் தேர்ந்தெடுப்பது மட்டும் வேறொரு process அந்த வரிகளை மாற்றுவதைத் தடுக்காது.

## 3. சேமித்த நகல் பயன்படுவதை நிரூபிக்கவும்

```text
[Eligible range] -> [Consistent export] -> [Archive + manifest]
                                                |
                                      [Restore and verify]
```

Manifest ஏற்றுமதி செய்யப்பட்ட வரம்பு, schema பதிப்பு, எண்ணிக்கைகள், கோப்பு checksums ஆகியவற்றை விவரிக்கிறது. காப்பகத்தை அடையாளம் காணவும் முழுமையற்ற அல்லது சேதமடைந்த கோப்புகளைக் கண்டுபிடிக்கவும் இது உதவும்.

கோப்பு இருப்பதைவிட அதிகமாகச் சரிபார்க்கவும்:

- பதிவு எண்ணிக்கைகளையும் நாணயவாரியான தொகைகள் போன்ற பொருளுள்ள மொத்தங்களையும் ஒப்பிடவும்.
- தரவு ஒருமைப்பாடு, அடையாளங்கள், தொடர்புகளைச் சரிபார்க்கவும்.
- தனிமைப்படுத்தப்பட்ட சூழலில் பிரதிநிதித் தரவை மீட்டெடுத்து, பயனர்களுக்குத் தேவையான பழைய ஆர்டர்கள் அல்லது விலைப்பட்டியல்களைப் பெறவும்.

சரிபார்த்த மூல நேர எல்லையையும் சரிபார்த்த நபரையும் பதிவு செய்யுங்கள். காப்பக அணுகலைப் பாதுகாத்து அதன் சேமிப்புக் காலத்தையும் வரையறுக்கவும். தேவையான மீட்பு வழி செயல்படுவதை நிரூபித்த பிறகே மூலத்தை நீக்கலாம்.

## 4. செயலில் உள்ள நகலை நீக்கும் முறையைத் தேர்ந்தெடுக்கவும்

| சூழல் | அணுகுமுறை | சரிபார்க்க வேண்டியது |
| --- | --- | --- |
| முழு partition-மும் தகுதியானது | திட்டமிட்ட பராமரிப்பில் detach அல்லது drop செய்யவும் | காப்பகச் சரிபார்ப்பு, locks, சார்ந்த பொருள்கள். |
| தகுதியான வரிகளும் செயலில் உள்ள வரிகளும் கலந்துள்ளன | மீண்டும் தொடரக்கூடிய சிறிய batch-களில் நீக்கவும் | நிலையான தேர்வு, transaction அளவு, replica தாமதம். |

PostgreSQL-இல் partition-ஐ detach செய்வது தனித்த அட்டவணையை விட்டுச் செல்கிறது; அதை drop செய்வதற்கு முன் காப்பகப்படுத்திச் சரிபார்க்கலாம். சரிபார்ப்பு நடைபெறும்போது வரலாற்று அணுகலை அந்த அட்டவணைக்கு அனுப்பினால் இது பயனுள்ள வரிசையாக இருக்கலாம்.

Partition நீக்கம் ஒவ்வொரு வரியாக நீக்குவதைத் தவிர்க்கிறது; ஆனால் locks இன்னும் தேவை. Concurrent detach-க்கு வரம்புகள் இருப்பதால் நிறுவிய பதிப்பையும் சார்புகளையும் சரிபார்க்கவும். Batch நீக்கத்தில் transaction logs மற்றும் cleanup பணியையும் கண்காணிக்கவும். [PostgreSQL partition பராமரிப்பு](https://www.postgresql.org/docs/current/ddl-partitioning.html).

## 5. மறுமுயற்சிகளைப் பாதுகாப்பாக்கவும்

ஏற்றுமதி முடிந்தது, சரிபார்க்கப்பட்டது, நீக்கத் தயார், நீக்கப்பட்டது என்ற நிலைகளை நிரந்தரமாகப் பதிவு செய்யுங்கள். மறுதொடக்கத்திற்குப் பிறகு விரிவான புதிய நேர எல்லையைக் கணக்கிடாமல், சரிபார்த்த துல்லியமான வரம்பை job அறிந்திருக்க வேண்டும்.

நீக்குவதற்கு முன் காப்பகத்தில் இல்லாத மாற்றங்கள் அந்த வரம்பில் நுழையவில்லை என்பதை மீண்டும் சரிபார்க்கவும். பிறகு செயலில் உள்ள queries இயங்குவதையும் காப்பகப் பதிவுகளைப் பெற முடிவதையும் உறுதிசெய்யவும்.

**நினைவில் கொள்ளுங்கள்:** தகுதியை வரையறுக்கவும் → மாற்றங்களைக் கட்டுப்படுத்தவும் → மீட்பை நிரூபிக்கவும் → நீக்கும் முறையைத் தேர்ந்தெடுக்கவும் → முடிவைச் சரிபார்க்கவும். நம்பகமான வரலாற்று அணுகலுடன் செயலில் உள்ள தரவைக் குறைப்பதே நோக்கம்.

சூழல்	அணுகுமுறை	சரிபார்க்க வேண்டியது
முழு partition-மும் தகுதியானது	திட்டமிட்ட பராமரிப்பில் detach அல்லது drop செய்யவும்	காப்பகச் சரிபார்ப்பு, locks, சார்ந்த பொருள்கள்.
தகுதியான வரிகளும் செயலில் உள்ள வரிகளும் கலந்துள்ளன	மீண்டும் தொடரக்கூடிய சிறிய batch-களில் நீக்கவும்	நிலையான தேர்வு, transaction அளவு, replica தாமதம்.

1. தகுதியான தரவை வரையறுக்கவும்

2. மாற்றங்கள் காப்பகத்தில் விடுபடாமல் தடுக்கவும்

3. சேமித்த நகல் பயன்படுவதை நிரூபிக்கவும்

4. செயலில் உள்ள நகலை நீக்கும் முறையைத் தேர்ந்தெடுக்கவும்

5. மறுமுயற்சிகளைப் பாதுகாப்பாக்கவும்

தொடர்புடைய கேள்விகள்