Kümeyi aşırı yüklemeden bulk indekslemeyi nasıl hızlandırırsınız?

Question

IT Interview Practice · Accepted Answer

Bulk tek istekte birden çok indeksleme işlemi gönderir. Gönderilen istek sayısını en yükseğe çıkarmak yerine kümeyi yanıt verebilir tutarak başarılı işlem hızını artırın.

## Her seferinde tek boyutu ayarlayın

Temsili belgelerin ölçülü batch'leriyle başlayın. Throughput artışı durana veya bellek ve gecikme kötüleşene kadar batch baytlarını artırın. Sonra eşzamanlı gönderici sayısını ayrı ayarlayın. Bin küçük olay ile bin büyük belge çok farklı batch'lerdir.

## Başarılı HTTP yanıtında başarısız öğeler olabilir

Bu basitleştirilmiş örnek bulk yanıtını düşünün:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- a öğesi başarılıdır; sırf başka öğe başarısız diye yeniden göndermeyin.
- b'nin hata ayrıntılarını inceleyin. Geçici aşırı yük reddi yavaşlama ve gecikmeden sonra sınırlı yeniden deneme gerektirir.
- c'nin ayrıntılarını da inceleyin. Kalıcı mapping hatası sonsuz retry değil, veri veya mapping düzeltmesi ister.

## Retry'ların yeni aşırı yüke dönüşmesini engelleyin

Retry gecikmesini kademeli artırın, bütün istemciler aynı anda denemesin diye rastgele sapma ekleyin. Kuyruğu sınırlayın ve dolunca üreticileri yavaşlatın; bu backpressure'dır.

Belirsiz ağ sonucundan sonra sabit belge ID'leri kopyaları önlemeye yardım eder ama script ile artırımlar ve eski güncellemeler ek koruma ister. Reddedilen yazmaları, belleği, diski ve arama gecikmesini izleyin. Refresh sıklığını yalnız ürün arama görünürlüğünün daha az anlık olmasını kabul ediyorsa azaltın.

[Resmî belgeler](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Her seferinde tek boyutu ayarlayın

Başarılı HTTP yanıtında başarısız öğeler olabilir

Retry'ların yeni aşırı yüke dönüşmesini engelleyin

İlgili sorular