როგორ დააჩქაროთ bulk indexing cluster-ის გადატვირთვის გარეშე?

Question

IT Interview Practice · Accepted Answer

Bulk ერთ მოთხოვნაში რამდენიმე ინდექსირების ოპერაციას აგზავნის. გააუმჯობესეთ წარმატებული ოპერაციების სიჩქარე cluster-ის რეაგირების შენარჩუნებით და არა გაგზავნილი მოთხოვნების რაოდენობის მაქსიმიზაციით.

## ერთ ჯერზე ერთი განზომილება მოარგეთ

დაიწყეთ ტიპური document-ების ზომიერი batch-ებით. გაზარდეთ batch-ის ბაიტები, სანამ გამტარუნარიანობა აღარ უმჯობესდება ან მეხსიერება და დაყოვნება უარესდება. შემდეგ პარალელური გამომგზავნების რაოდენობა ცალკე მოარგეთ. ათასი პატარა event და ათასი დიდი document ძალიან განსხვავებული batch-ებია.

## წარმატებულ HTTP პასუხშიც შეიძლება ჩავარდნილი items იყოს

განვიხილოთ ეს გამარტივებული bulk პასუხი:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a წარმატებულია; მხოლოდ სხვა item-ის ჩავარდნის გამო ხელახლა არ გაგზავნოთ.
- შეამოწმეთ b-ის შეცდომის დეტალები. დროებითი გადატვირთვის უარი შენელებას და დაყოვნების შემდეგ შეზღუდულ retry-ს მოითხოვს.
- C-ის დეტალებიც შეამოწმეთ. მუდმივი mapping შეცდომა მონაცემის ან mapping-ის გასწორებას მოითხოვს და არა უსასრულო retry-ს.

## Retry ახალ გადატვირთვად არ აქციოთ

Retry-ის დაყოვნება თანდათან გაზარდეთ და შემთხვევითი გადახრა დაამატეთ, რათა კლიენტებმა ერთდროულად არ გაიმეორონ. შეზღუდეთ რიგი და შევსებისას producer-ები შეანელეთ; ეს backpressure-ია.

ქსელის გაურკვეველი შედეგის შემდეგ სტაბილური document ID დუბლირებას ამცირებს, მაგრამ script-ით ზრდასა და მოძველებულ updates-ს დამატებითი დაცვა სჭირდება. აკონტროლეთ უარყოფილი ჩაწერები, მეხსიერება, დისკი და ძიების დაყოვნება. Refresh სიხშირე მხოლოდ მაშინ შეამცირეთ, თუ პროდუქტისთვის ძიებაში უფრო გვიანი გამოჩენა მისაღებია.

[ოფიციალური დოკუმენტაცია](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

ერთ ჯერზე ერთი განზომილება მოარგეთ

წარმატებულ HTTP პასუხშიც შეიძლება ჩავარდნილი items იყოს

Retry ახალ გადატვირთვად არ აქციოთ

დაკავშირებული კითხვები