Cluster वर अतिरिक्त ताण न आणता bulk indexing वेगवान कसे कराल?

Question

IT Interview Practice · Accepted Answer

Bulk API एका request मध्ये अनेक operations पाठवते. उद्दिष्ट जास्तीत जास्त requests पाठवणे नसून प्रतिसादक्षमता राखून यशस्वी indexing चा वेग वाढवणे आहे.

## एकावेळी एक घटक बदला

प्रतिनिधिक डेटाच्या मध्यम batch पासून सुरुवात करा. वेग वाढेनासा होईपर्यंत किंवा memory व latency बिघडेपर्यंत batch चा byte आकार वाढवा. मग concurrency स्वतंत्रपणे बदला. 1,000 लहान events आणि 1,000 मोठे documents यांचा भार समान नसतो.

## यशस्वी HTTP प्रतिसादातही failed items असू शकतात

हा सोपा, स्पष्टीकरणासाठी दिलेला bulk प्रतिसाद पाहा:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- a यशस्वी झाले; दुसरा item failed झाला म्हणून ते पुन्हा पाठवू नका.
- b चा 429 तपासा. तात्पुरता overload असल्यास पाठवण्याचा वेग कमी करून विलंबासह मर्यादित retries करा.
- c चा 400 mapping सारखी कायमची चूक दर्शवू शकतो. ती दुरुस्त करा; अनंत retries करू नका.

## Retries मुळे पुन्हा overload होऊ देऊ नका

वाढता retry delay आणि jitter वापरा, म्हणजे सर्व retries एकाच वेळी होणार नाहीत. Queue मर्यादित ठेवा आणि producer चा वेग कमी करा; यालाच backpressure म्हणतात.

Network failure मुळे परिणाम अनिश्चित असेल तर स्थिर IDs duplicate documents टाळण्यास मदत करतात. Scripted increments किंवा जुन्या updates साठी अतिरिक्त सुरक्षितता लागते. Rejections, memory, disk आणि search latency पाहा. उत्पादनाला उशिराची search visibility मान्य असेल तरच refresh कमी वारंवार करा.

[अधिकृत दस्तऐवज](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

एकावेळी एक घटक बदला

यशस्वी HTTP प्रतिसादातही failed items असू शकतात

Retries मुळे पुन्हा overload होऊ देऊ नका

संबंधित प्रश्न