Πώς διορθώνετε άνιση κατανομή δεδομένων και hot partitions στο sharding;

Question

IT Interview Practice · Accepted Answer

**Βρείτε πρώτα τι είναι άνισο: αποθηκευμένα δεδομένα, αιτήματα ή ενημερώσεις μίας εγγραφής.** Περισσότεροι servers βοηθούν μόνο αν η υπερφορτωμένη εργασία μπορεί να μετακινηθεί.

Ας υποθέσουμε διανομή παραγγελιών ανά merchant ID. Οι περισσότεροι έμποροι είναι μικροί, αλλά ένας τρέχει μεγάλη καμπάνια. Το shard του υπερφορτώνεται ενώ άλλα μένουν ήρεμα. Αυτό είναι hot partition: τμήμα με περισσότερη εργασία από όση αντέχει.

## 1. Μετρήστε πριν αλλάξετε κλειδί

Συγκρίνετε μέγεθος, ρυθμό αιτημάτων, latency και πίεση CPU ή δίσκου ανά shard. Έπειτα αναλύστε το φορτωμένο shard ανά έμπορο και λειτουργία. Παλιά δεδομένα μπορεί να καταλαμβάνουν μεγάλο αλλά ανενεργό shard, ενώ μικρό shard πνίγεται από αλλαγές ενός δημοφιλούς αντικειμένου.

Στην καμπάνια ξεχωρίστε αναγνώσεις προϊόντων, δημιουργία ανεξάρτητων παραγγελιών και συνεχείς αλλαγές ίδιου αποθέματος. Χρειάζονται διαφορετική αντιμετώπιση.

## 2. Καταλάβετε γιατί παραμένει η ανισότητα

Το shard key ορίζει τη θέση. Hashing των merchant IDs μοιράζει διαφορετικούς εμπόρους, αλλά όλες οι παραγγελίες ίδιου κλειδιού ακολουθούν την ίδια τοποθέτηση. Δεν χωρίζει αυτόματα το φορτίο ενός εμπόρου.

Λίγες διακριτές τιμές περιορίζουν τη διαίρεση. Χρονικό εύρος μπορεί να συγκεντρώνει νέες εγγραφές στο τελευταίο τμήμα. Μεγαλύτερη διασπορά βοηθά κατανομή αλλά απαιτεί περισσότερα shards σε συχνές αναζητήσεις. Δείτε [επιλογή shard key](https://www.mongodb.com/docs/manual/core/sharding-choose-a-shard-key/) της MongoDB.

## 3. Ταιριάξτε λύση και υπερφορτωμένη εργασία

| Ένδειξη | Κατεύθυνση αξιολόγησης | Σημαντικό όριο |
|---|---|---|
| Πολλά μετακινήσιμα τμήματα σε ένα shard | Ανακατανομή σε διαθέσιμη χωρητικότητα | Βοηθά μόνο αν μετακινείται και η εργασία |
| Επαναλαμβανόμενη ανάγνωση ίδιου προϊόντος | Cache ή read replicas με επιτρεπτή επικαιρότητα | Δεν μοιράζει τις εγγραφές του προϊόντος |
| Έμπορος δημιουργεί πολλές ανεξάρτητες παραγγελίες | Πρόσθετο order key ή bucket | Συνολικά ερωτήματα εμπόρου χρειάζονται πολλαπλές αναγνώσεις και ένωση |
| Πολλές εγγραφές ανταγωνίζονται στο ίδιο απόθεμα | Μείωση ανταγωνισμού ή αλλαγή κατανομής αποθέματος | Περισσότερα shards δεν καταργούν συντονισμό ορθότητας |

Η απομόνωση μεγάλου εμπόρου προστατεύει άλλους tenants και δίνει χρόνο. Δεν προσφέρει άπειρη χωρητικότητα, οπότε μετρήστε το δικό του bottleneck.

## 4. Υπολογίστε το κόστος διαίρεσης εμπόρου

Φανταστείτε routing με merchant ID και bucket από order ID. Οι ανεξάρτητες παραγγελίες της καμπάνιας μπορούν τότε να τοποθετούνται σε πολλά τμήματα.

```text
Merchant A + bucket 0 -> Partition 1
Merchant A + bucket 1 -> Partition 2
Merchant A + bucket 2 -> Partition 3
```

Μια παραγγελία βρίσκεται εύκολα αν υπολογίζεται το bucket. Όλες οι πρόσφατες παραγγελίες του Α απαιτούν πλέον πολλές αναγνώσεις και ταξινομημένη συγχώνευση. Pagination, σύνολα και διατμηματικές συναλλαγές δυσκολεύουν. Επιλέξτε τη διαίρεση αφού αποδεχτείτε αυτό το κόστος.

## 5. Μεταφέρετε με απόδειξη ορθότητας

Αλλαγή routing με ενεργές εγγραφές απαιτεί σχέδιο. Αντιγράψτε υπάρχοντα δεδομένα, συλλάβετε ενδιάμεσες αλλαγές και συγκρίνετε πλήθη και επιχειρησιακά σύνολα πριν τη μεταγωγή. Μόνο τα πλήθη δεν εντοπίζουν λανθασμένες αξίες.

Ορίστε χειρισμό εν εξελίξει writes και επιστροφή routing χωρίς απώλεια νέων αποδεκτών εγγραφών. Dual writes χρειάζονται χειρισμό σφαλμάτων· δύο κλήσεις δεν εγγυώνται ταύτιση.

Δοκιμάστε πραγματικό άνισο φορτίο με τον μεγάλο έμπορο, όχι ομοιόμορφα αιτήματα. Επιτυχία είναι λιγότερη πίεση, ανεκτό κόστος query και ίδια επιχειρησιακά αποτελέσματα. **Το σωστό κλειδί ισορροπεί κατανομή εργασίας με αναγνώσεις και ενημερώσεις.**

Ένδειξη	Κατεύθυνση αξιολόγησης	Σημαντικό όριο
Πολλά μετακινήσιμα τμήματα σε ένα shard	Ανακατανομή σε διαθέσιμη χωρητικότητα	Βοηθά μόνο αν μετακινείται και η εργασία
Επαναλαμβανόμενη ανάγνωση ίδιου προϊόντος	Cache ή read replicas με επιτρεπτή επικαιρότητα	Δεν μοιράζει τις εγγραφές του προϊόντος
Έμπορος δημιουργεί πολλές ανεξάρτητες παραγγελίες	Πρόσθετο order key ή bucket	Συνολικά ερωτήματα εμπόρου χρειάζονται πολλαπλές αναγνώσεις και ένωση
Πολλές εγγραφές ανταγωνίζονται στο ίδιο απόθεμα	Μείωση ανταγωνισμού ή αλλαγή κατανομής αποθέματος	Περισσότερα shards δεν καταργούν συντονισμό ορθότητας

1. Μετρήστε πριν αλλάξετε κλειδί

2. Καταλάβετε γιατί παραμένει η ανισότητα

3. Ταιριάξτε λύση και υπερφορτωμένη εργασία

4. Υπολογίστε το κόστος διαίρεσης εμπόρου

5. Μεταφέρετε με απόδειξη ορθότητας

Σχετικές ερωτήσεις