Kaip planuoti didelio duomenų kiekio apdorojimą?

Question

IT Interview Practice · Accepted Answer

**Prieš rinkdamiesi didžiųjų duomenų įrankį pradėkite nuo rezultato, termino ir teisingumo taisyklių.** Didelis rinkinys automatiškai nereikalauja paskirstyto apdorojimo sistemos.

Tarkime, kiekvieną rytą reikia vakarykščių pajamų pagal pardavėją. Tai skiriasi nuo įtartino mokėjimo aptikimo prieš jį patvirtinant. Abu gali apimti daug įrašų, bet vienas leidžia planuotą apdorojimą, kitas reikalauja greito sprendimo.

## 1. Apibrėžkite, ką apdoroti

Išsiaiškinkite esamą kiekį, naujų duomenų spartą, reikalingus laukus ir saugojimo trukmę. Pajamoms sutarkite, ar grąžinimas keičia pradinę dieną, ar grąžinimo dieną. Be šios taisyklės spartesnis procesas vis tiek pateiks neteisingą sumą.

Apibrėžkite tiesos šaltinį ir vėluojančių ar taisomų įrašų tvarkymą. Tai nusprendžia, ar ankstesnis rezultatas galutinis, ar jį reikės pakeisti.

## 2. Prieš paskirstydami sumažinkite darbą

Išmatuokite laiką ir išteklius failų skaitymui, bazės užklausoms, skaičiavimui, tinklui ir rezultatų rašymui. Anksti atmeskite nereikalingus įrašus ir skaitykite tik reikiamus stulpelius.

Apdorokite riboto dydžio dalis, o ne viską kraukite į atmintį. Jei vienas darbuotojas spėja už priimtiną kainą, tai gali būti lengviausia prižiūrėti sistema. Daugiau mašinų prideda koordinavimo ir perdavimo kainą, todėl naudokite jas pastebėtai ribai įveikti.

## 3. Rinkitės paketus ar srautą pagal terminą

| Poreikis | Pradinė kryptis | Priežastis ir atsakomybė |
|---|---|---|
| Pilna ataskaita kiekvieną rytą | Planuotas paketas | Baigtinę įvestį lengviau sutikrinti ir kartoti; būtina spėti iki termino |
| Dieną atnaujinamas skydelis | Inkrementiniai paketai arba srautas | Dažniau apdoroti naujus duomenis ir apibrėžti ankstesnių sumų taisymus |
| Sprendimai netrukus po įvykio | Srautinis apdorojimas | Mažinti delsą tvarkant dublikatus, vėlavimą ir atkūrimą |

Srautinis apdorojimas reiškia nuolatinį gaunamų duomenų tvarkymą, ne prielaidą, kad kiekvienas įvykis ateina vieną kartą ir tvarkingai. Dienos ataskaitai pradėčiau nuo paketo, nebent tikrai reikia naujesnių rezultatų.

## 4. Padarykite dalinį gedimą saugų

Įsivaizduokite darbuotoją, įrašiusį pajamų sumą ir sugedusį prieš išsaugant pažangą. Paleistas vėl jis gali apdoroti tuos pačius įrašus. Dar kartą pridėjus sumas pajamos bus per didelės.

Naudokite stabilius ID ir saugiai kartojamus įrašymus arba transakciškai susiekite rezultatą su pažanga, jei palaikoma. Kontrolinis taškas žymi atliktą darbą; įrašius jį anksčiau už saugų rezultatą galima praleisti darbą po gedimo. Įrašius vėliau reikia saugaus tarpo pakartojimo.

- Šaltinio duomenis laikykite pakankamai ilgai reikiamam laikotarpiui pakartoti.
- Neteisingus įrašus atskirkite tyrimui, o ne tyliai išmeskite.
- Ribokite siuntimą į lėtesnę paskirties sistemą. Šis priešslėgis neleidžia be galo augti atminties buferiui ar eilei.

Atkūrimas yra projekto dalis, ne tvarkymas po pirmo gedimo.

## 5. Paskirstykite tik reikalingą darbą

Kai vieno darbuotojo nepakanka, įvestį padalykite į nepriklausomas dalis. Tikrinkite tikrą pasiskirstymą: vienas didelis pardavėjas gali laikyti vieną darbuotoją užimtą, kai kiti jau baigė.

Grupavimas ir jungimas gali reikalauti įrašų perkėlimo tarp darbuotojų, vadinamo shuffle. Prieš perkėlimą mažinkite kiekį ir patikrinkite, ar gavėjas atlaikys bendrą išvestį. Spark turi tinkamų metodų, bet jie priklauso nuo užklausos ir versijos; žr. [našumo derinimo vadovą](https://spark.apache.org/docs/3.5.6/sql-performance-tuning.html).

Saugykla irgi turi atitikti prieigą. Stulpeliniai failai, pavyzdžiui Parquet, tinka analitiniam pasirinktų laukų skaitymui, o indeksuota bazė gali geriau aptarnauti atskirų operacinių įrašų paieškas. Rinkitės pagal išmatuotą naudojimą, ne vien failų dydį.

## 6. Kartu įrodykite spartą ir teisingumą

Palyginkite rezultatą su mažu patikimu rinkiniu, tikrindami ir kiekius, ir verslo sumas. Įtraukite dublikatus, grąžinimus, vėlavimus ir gedimą tarp rezultato bei pažangos įrašymo.

Tada bandykite realų kiekį ir netolygumą, matuodami trukmę, didžiausią atmintį, atsilikimą ir kainą. Pajamų ataskaitai sėkmė — teisinga ir pakartojama suma iki sutarto termino. **Rinkitės paprasčiausią kelią, kuris tai užtikrina ir atsigauna neprarasdamas ar nedvigubindamas duomenų.**

Poreikis	Pradinė kryptis	Priežastis ir atsakomybė
Pilna ataskaita kiekvieną rytą	Planuotas paketas	Baigtinę įvestį lengviau sutikrinti ir kartoti; būtina spėti iki termino
Dieną atnaujinamas skydelis	Inkrementiniai paketai arba srautas	Dažniau apdoroti naujus duomenis ir apibrėžti ankstesnių sumų taisymus
Sprendimai netrukus po įvykio	Srautinis apdorojimas	Mažinti delsą tvarkant dublikatus, vėlavimą ir atkūrimą

1. Apibrėžkite, ką apdoroti

2. Prieš paskirstydami sumažinkite darbą

3. Rinkitės paketus ar srautą pagal terminą

4. Padarykite dalinį gedimą saugų

5. Paskirstykite tik reikalingą darbą

6. Kartu įrodykite spartą ir teisingumą

Susiję klausimai