Miten lähestyt suuren tietomäärän käsittelyä?

Question

IT Interview Practice · Accepted Answer

**Aloita tuloksesta, määräajasta ja oikeellisuudesta ennen big data -työkalua.** Suuri data ei automaattisesti tarvitse hajautettua kehystä.

Yritys voi tarvita aamuisin eilisen myyjäkohtaisen liikevaihdon. Epäilyttävän maksun tunnistus ennen hyväksyntää on toinen tehtävä. Molemmissa on paljon tietueita mutta eri aikavaatimus.

## 1. Määritä käsiteltävä tieto

Selvitä määrä, tulotahti, kentät ja säilytys. Sovi palautuksen kohdistus alkuperäiseen vai palautuspäivään. Ilman sääntöä nopeampi putki laskee yhä väärin.

Määritä totuuslähde sekä myöhäiset ja korjatut tietueet. Se ratkaisee, suljetaanko vanha tulos vai muutetaanko myöhemmin.

## 2. Vähennä työtä ennen jakoa

Mittaa tiedostoluku, kyselyt, laskenta, verkko ja tuloskirjoitus. Suodata turha aikaisin ja lue vain tarvittavat sarakkeet.

Käsittele rajattuja osia kaiken muistiin lataamisen sijaan. Jos yksi worker ehtii edullisesti, se voi olla helpoin ylläpitää. Lisäkoneet tuovat koordinointia ja siirtoja; niiden tulee ratkaista havaittu raja.

## 3. Valitse erä tai virta aikavaatimuksesta

| Tarve | Lähtökohta | Peruste ja vastuu |
|---|---|---|
| Täysi aamuraportti | Ajastettu erä | Rajattu syöte helppo täsmätä ja uusia; valmistuttava ajoissa |
| Päivän aikana päivittyvä näkymä | Pienet lisäerät tai virta | Tiheämpi käsittely; vanhojen summien korjaus |
| Päätös pian tapahtuman jälkeen | Virta | Lyhyt viive, mutta duplikaatit, myöhästymiset ja palautus |

Virta käsittelee saapuvaa tietoa jatkuvasti, ei takaa kerran ja järjestyksessä saapumista. Päiväraporttiin aloittaisin erällä ilman todellista tuoreempaa tarvetta.

## 4. Tee osittaisesta viasta turvallinen

Worker kirjoittaa liikevaihdon ja kaatuu ennen edistymisen kirjausta. Restart voi käsitellä samat tiedot uudelleen. Uusi yhteenlasku kasvattaa tulosta virheellisesti.

Käytä vakaita ID:itä ja turvallisia uusintakirjoituksia tai yhteistä transaktiota, jos tuettu. Checkpoint ennen turvallista tulosta voi ohittaa työtä; sen jälkeen tallennettuna aukko vaatii turvallisen toiston.

- Säilytä lähde tarvittavaksi uudelleenkäsittelyajaksi.
- Erota virheelliset tietueet tutkittaviksi hiljaisen hylkäyksen sijaan.
- Rajoita syöttöä hitaaseen kohteeseen. Backpressure estää rajattoman puskurin tai jonon kasvun.

Palautus kuuluu suunnitteluun, ei ensimmäisen vian jälkisiivoukseen.

## 5. Jaa vain tarvittava työ

Yhden workerin loppuessa jaa syöte itsenäisiin osiin. Mittaa todellinen vinouma: suuri myyjä pitää yhden kiireisenä muiden jo valmistuttua.

Ryhmittely ja liitokset voivat siirtää tietueita workerien välillä eli tehdä shufflen. Vähennä tietoa ennen siirtoa ja varmista kokonaiskirjoituskapasiteetti. Spark-tekniikat riippuvat kyselystä ja versiosta; katso [suorituskykyopas](https://spark.apache.org/docs/3.5.6/sql-performance-tuning.html).

Varasto seuraa käyttöä. Parquet sopii valittujen sarakkeiden analyysilukuun, indeksoitu kanta yksittäisiin käyttökyselyihin. Valitse mitatuista tarpeista, ei vain koosta.

## 6. Todista nopeus ja oikeellisuus

Vertaa pieneen luotettavaan aineistoon määrineen ja summineen. Testaa duplikaatit, palautukset, myöhäiset tietueet ja kaatuminen tuloksen ja checkpointin välillä.

Testaa sitten todellinen määrä ja vinouma ajan, huippumuistin, jonon ja hinnan kanssa. Onnistuminen on oikea toistettava summa ajoissa. **Valitse yksinkertaisin putki, joka palautuu ilman menetystä tai kaksoislaskentaa.**

Tarve	Lähtökohta	Peruste ja vastuu
Täysi aamuraportti	Ajastettu erä	Rajattu syöte helppo täsmätä ja uusia; valmistuttava ajoissa
Päivän aikana päivittyvä näkymä	Pienet lisäerät tai virta	Tiheämpi käsittely; vanhojen summien korjaus
Päätös pian tapahtuman jälkeen	Virta	Lyhyt viive, mutta duplikaatit, myöhästymiset ja palautus

1. Määritä käsiteltävä tieto

2. Vähennä työtä ennen jakoa

3. Valitse erä tai virta aikavaatimuksesta

4. Tee osittaisesta viasta turvallinen

5. Jaa vain tarvittava työ

6. Todista nopeus ja oikeellisuus

Aiheeseen liittyvät kysymykset