Miten nopeutat bulk-indeksointia kuormittamatta klusteria liikaa?

Question

IT Interview Practice · Accepted Answer

Bulk lähettää useita indeksointioperaatioita yhdessä pyynnössä. Kasvata onnistuneiden operaatioiden määrää säilyttäen klusterin vastekyky sen sijaan, että maksimoisit lähetettyjen pyyntöjen määrän.

## Säädä yhtä ulottuvuutta kerrallaan

Aloita kohtuullisista edustavien dokumenttien eristä. Kasvata erän tavumäärää, kunnes läpimeno ei parane tai muisti ja viive huononevat. Säädä sitten samanaikaisten lähettäjien määrää erikseen. Tuhat pientä tapahtumaa ja tuhat suurta dokumenttia ovat hyvin erilaiset erät.

## Onnistunut HTTP-vastaus voi sisältää epäonnistuneita kohtia

Tarkastele tätä yksinkertaistettua bulk-vastausesimerkkiä:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Kohta a onnistui; älä lähetä sitä uudelleen vain toisen kohdan epäonnistumisen vuoksi.
- Tarkasta b:n virhetiedot. Tilapäinen ylikuormitushylkäys edellyttää hidastamista ja rajattua uudelleenyritystä viiveen jälkeen.
- Tarkasta myös c:n tiedot. Pysyvä mapping-virhe vaatii tietojen tai mappingin korjauksen, ei loputtomia yrityksiä.

## Älä anna yritysten luoda uutta ylikuormaa

Kasvata uudelleenyritysten viivettä asteittain ja lisää satunnaista vaihtelua, etteivät asiakkaat yritä samaan aikaan. Rajaa jono ja hidasta tuottajia sen täyttyessä; tämä on backpressure.

Epävarman verkkotuloksen jälkeen vakaat dokumentti-ID:t auttavat välttämään duplikaatteja, mutta skriptikorotukset ja vanhat päivitykset tarvitsevat lisäsuojia. Seuraa hylättyjä kirjoituksia, muistia, levyä ja hakuviivettä. Harvenna refreshiä vain, jos tuote hyväksyy vähemmän välittömän hakunäkyvyyden.

[Virallinen dokumentaatio](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Säädä yhtä ulottuvuutta kerrallaan

Onnistunut HTTP-vastaus voi sisältää epäonnistuneita kohtia

Älä anna yritysten luoda uutta ylikuormaa

Aiheeseen liittyvät kysymykset