cluster પર વધુ ભાર નાખ્યા વગર bulk indexing ઝડપી કેવી રીતે કરશો?

Question

IT Interview Practice · Accepted Answer

Bulk એક વિનંતીમાં અનેક indexing operation મોકલે છે. મોકલેલી વિનંતીની સંખ્યા મહત્તમ કરવાને બદલે cluster પ્રતિસાદ આપતું રહે તેમ સફળ operationનો દર વધારો.

## એક સમયે એક પરિમાણ ગોઠવો

પ્રતિનિધિ documentના નાના batchથી શરૂ કરો. Throughput સુધરતું બંધ થાય અથવા memory અને latency બગડે ત્યાં સુધી batchના byte વધારો. પછી concurrent senderની સંખ્યા અલગ ગોઠવો. હજાર નાની event અને હજાર મોટા document ખૂબ જુદા batch છે.

## સફળ HTTP responseમાં નિષ્ફળ item હોઈ શકે છે

આ સરળ બનાવેલો bulk response જુઓ:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a સફળ છે; બીજું item નિષ્ફળ ગયું એટલે તેને ફરી ન મોકલો.
- bની error detail તપાસો. અસ્થાયી overload rejection માટે ગતિ ઘટાડવી અને વિલંબ પછી મર્યાદિત retry કરવી જોઈએ.
- cની detail પણ તપાસો. કાયમી mapping errorમાં data કે mapping સુધારવું જોઈએ, અનંત retry નહીં.

## retryને બીજો overload બનતાં અટકાવો

Retryનો વિલંબ ધીમે ધીમે વધારો અને random offset ઉમેરો જેથી બધા client સાથે retry ન કરે. Queue મર્યાદિત રાખો અને ભરાય ત્યારે producer ધીમા કરો; આ backpressure છે.

નેટવર્કનું પરિણામ અનિશ્ચિત હોય પછી સ્થિર document ID duplicate record ટાળવામાં મદદ કરે છે, પણ scripted increment અને જૂના update માટે વધારાની સુરક્ષા જોઈએ. Rejected write, memory, disk અને search latency જુઓ. પ્રોડક્ટ ઓછી તાત્કાલિક search visibility સ્વીકારે તો જ refresh frequency ઘટાડો.

[સત્તાવાર દસ્તાવેજ](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

એક સમયે એક પરિમાણ ગોઠવો

સફળ HTTP responseમાં નિષ્ફળ item હોઈ શકે છે

retryને બીજો overload બનતાં અટકાવો

સંબંધિત પ્રશ્નો