Jak zrychlit bulk indexaci bez přetížení clusteru?

Question

IT Interview Practice · Accepted Answer

Bulk posílá několik indexovacích operací v jednom požadavku. Zvyšujte rychlost úspěšných operací a zachovejte odezvu clusteru místo maximalizace počtu odeslaných požadavků.

## Laďte vždy jeden rozměr

Začněte menšími dávkami reprezentativních dokumentů. Zvyšujte bajty dávky, dokud propustnost neroste nebo se nezhorší paměť a latence. Poté zvlášť nastavte počet souběžných odesílatelů. Tisíc malých událostí a tisíc velkých dokumentů jsou zcela jiné dávky.

## Úspěšná HTTP odpověď může obsahovat neúspěšné položky

Zvažte tuto zjednodušenou ilustrativní bulk odpověď:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Položka a uspěla; neposílejte ji znovu jen proto, že jiná selhala.
- Prozkoumejte podrobnosti chyby b. Dočasné odmítnutí kvůli přetížení vyžaduje zpomalení a omezené opakování po prodlevě.
- Prozkoumejte také c. Trvalá chyba mappingu potřebuje opravu dat nebo mappingu, nikoli nekonečné pokusy.

## Zabraňte dalšímu přetížení opakováním

Prodlevy opakování postupně zvětšujte a přidejte náhodný posun, aby klienti neopakovali všichni současně. Omezte frontu a při jejím zaplnění zpomalte producenty; to je backpressure.

Po nejistém výsledku sítě pomáhají stabilní ID dokumentů zabránit duplicitám, ale skriptované inkrementy a zastaralé aktualizace potřebují další ochrany. Sledujte odmítnuté zápisy, paměť, disk a latenci hledání. Frekvenci refresh snižujte pouze tehdy, pokud produkt přijme méně okamžitou viditelnost ve hledání.

[Oficiální dokumentace](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Laďte vždy jeden rozměr

Úspěšná HTTP odpověď může obsahovat neúspěšné položky

Zabraňte dalšímu přetížení opakováním

Související otázky