Πώς επιταχύνετε το bulk indexing χωρίς υπερφόρτωση;

Question

IT Interview Practice · Accepted Answer

Το bulk στέλνει πολλές πράξεις indexing σε ένα αίτημα. Αυξήστε τον ρυθμό επιτυχημένων πράξεων διατηρώντας το cluster αποκρίσιμο, όχι απλώς τον αριθμό αιτημάτων που στέλνονται.

## Ρυθμίστε μία διάσταση κάθε φορά

Ξεκινήστε με μέτρια batches αντιπροσωπευτικών documents. Αυξήστε bytes ανά batch μέχρι να σταματήσει η βελτίωση throughput ή να χειροτερέψουν μνήμη και καθυστέρηση. Μετά ρυθμίστε χωριστά τους ταυτόχρονους αποστολείς. Χίλια μικρά events και χίλια μεγάλα documents είναι πολύ διαφορετικά batches.

## Επιτυχής HTTP απάντηση μπορεί να περιέχει αποτυχημένα items

Δείτε αυτή την απλοποιημένη ενδεικτική bulk απάντηση:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Το item a πέτυχε· μην το ξαναστείλετε μόνο επειδή απέτυχε άλλο item.
- Εξετάστε το σφάλμα του b. Προσωρινή απόρριψη υπερφόρτωσης απαιτεί επιβράδυνση και περιορισμένο retry μετά από αναμονή.
- Εξετάστε και το c. Μόνιμο mapping error θέλει διόρθωση δεδομένων ή mapping, όχι ατελείωτα retries.

## Μην αφήσετε τα retries να δημιουργήσουν νέα υπερφόρτωση

Αυξήστε σταδιακά τις αναμονές και προσθέστε τυχαία απόκλιση ώστε οι clients να μην ξαναδοκιμάζουν μαζί. Περιορίστε την ουρά και επιβραδύνετε τους παραγωγούς όταν γεμίζει· αυτό είναι backpressure.

Μετά από αβέβαιο δικτυακό αποτέλεσμα, σταθερά document IDs βοηθούν στην αποφυγή διπλοτύπων, αλλά scripted increments και παλιές ενημερώσεις χρειάζονται πρόσθετες δικλίδες. Παρακολουθήστε απορριφθείσες εγγραφές, μνήμη, δίσκο και search latency. Μειώστε τη συχνότητα refresh μόνο αν το προϊόν δέχεται λιγότερο άμεση ορατότητα αναζήτησης.

[Επίσημη τεκμηρίωση](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Ρυθμίστε μία διάσταση κάθε φορά

Επιτυχής HTTP απάντηση μπορεί να περιέχει αποτυχημένα items

Μην αφήσετε τα retries να δημιουργήσουν νέα υπερφόρτωση

Σχετικές ερωτήσεις