Kako pristupiti obradi velike količine podataka?

Question

IT Interview Practice · Accepted Answer

**Počnite rezultatom, rokom i pravilima ispravnosti prije izbora alata za velike podatke.** Velik skup podataka ne zahtijeva automatski distribuirani okvir.

Pretpostavimo da poslovanje svako jutro treba jučerašnji prihod po trgovcu. To se razlikuje od otkrivanja sumnjivog plaćanja prije odobrenja. Oba mogu obrađivati mnogo zapisa, ali jedno dopušta zakazanu obradu, a drugo traži pravodobnu odluku.

## 1. Definirajte što se obrađuje

Razjasnite količinu podataka, brzinu dolaska novih, potrebna polja i rok čuvanja. Za prihod dogovorite mijenja li povrat izvorni dan ili dan povrata. Bez tog pravila brža obrada i dalje može dati pogrešan zbroj.

Definirajte izvor istine i postupanje sa zakašnjelim ili ispravljenim zapisima. To određuje može li rezultat postati konačan ili se mora naknadno mijenjati.

## 2. Smanjite rad prije raspodjele

Izmjerite gdje odlaze vrijeme i resursi: čitanje datoteka, upiti baze, izračun, mreža ili pisanje rezultata. Rano filtrirajte nevažne zapise i čitajte samo potrebne stupce.

Obrađujte ograničene dijelove umjesto učitavanja svega u memoriju. Ako jedan worker završava na vrijeme uz prihvatljiv trošak, to može biti najlakši sustav za održavanje. Dodatna računala donose koordinaciju i prijenos podataka pa ih dodajte za izmjerenu granicu.

## 3. Birajte skupnu ili protočnu obradu prema roku

| Potreba | Početni pristup | Razlog i odgovornost |
|---|---|---|
| Potpun izvještaj svako jutro | Zakazana skupna obrada | Konačan ulaz lakše je uskladiti i ponoviti; mora završiti prije roka |
| Nadzorna ploča ažurna tijekom dana | Inkrementalne skupine ili tok | Češće obraditi nove podatke; odrediti ispravke ranijih zbrojeva |
| Odluke ubrzo nakon događaja | Protočna obrada | Smanjiti kašnjenje uz duplikate, kasne događaje i oporavak |

Protočna obrada znači kontinuirano obrađivati dolazne podatke, a ne pretpostaviti da svaki događaj stiže jednom i redom. Za dnevni izvještaj počeo bih skupnom obradom osim ako trebaju svježiji rezultati.

## 4. Učinite djelomični kvar sigurnim

Zamislite da worker zapiše prihod pa se sruši prije bilježenja napretka. Nakon ponovnog pokretanja može ponovno obraditi iste zapise. Ako ponovno pribroji njihove iznose, prihod je previsok.

Koristite stabilne identifikatore i sigurno ponovljive upise ili transakcijski povežite izlaz i napredak gdje je podržano. Kontrolna točka bilježi dovršeni rad; spremanje prije sigurnog izlaza može preskočiti rad nakon kvara. Spremanje poslije zahtijeva sigurno ponavljanje međuprostora.

- Čuvajte izvorne podatke dovoljno dugo za potrebnu ponovnu obradu.
- Nevaljane zapise izdvojite za istragu, umjesto tihog odbacivanja.
- Ograničite brzinu kojom workeri hrane sporije odredište. Taj povratni pritisak sprječava beskonačan rast memorijskog spremnika ili reda.

Oporavak je dio dizajna, a ne čišćenje nakon prvog kvara.

## 5. Raspodijelite samo rad kojem je to potrebno

Kad jedan worker nije dovoljan, podijelite ulaz na neovisne dijelove. Provjerite stvarnu raspodjelu: jedan velik trgovac može zadržati jednog workera dok ostali rano završe.

Grupiranje i spajanje mogu tražiti premještanje zapisa među workerima, takozvani shuffle. Kad možete, smanjite podatke prije premještanja i provjerite prihvaća li odredište zajednički izlaz. Spark nudi tehnike, ali primjenjivost ovisi o upitu i verziji; pogledajte [vodič za performanse](https://spark.apache.org/docs/3.5.6/sql-performance-tuning.html).

Pohrana također treba pratiti pristup. Stupčaste datoteke poput Parqueta mogu odgovarati analizi odabranih polja, a indeksirana baza pojedinačnim operativnim dohvatima. Birajte prema izmjerenim potrebama, ne samo veličini datoteke.

## 6. Dokažite brzinu i ispravnost zajedno

Usporedite rezultat s pouzdanim malim skupom, provjeravajući broj zapisa i poslovne zbrojeve. Uključite duplikate, povrate, kasne zapise i rušenje između izlaza i spremanja napretka.

Zatim testirajte realnu količinu i neravnotežu te mjerite trajanje, vršnu memoriju, zaostatak i trošak. Uspjeh izvještaja jest točan i ponovljiv rezultat prije dogovorenog roka. **Odaberite najjednostavniju obradu koja to zadovoljava i oporavlja se bez gubitka ili dvostrukog brojanja.**

Potreba	Početni pristup	Razlog i odgovornost
Potpun izvještaj svako jutro	Zakazana skupna obrada	Konačan ulaz lakše je uskladiti i ponoviti; mora završiti prije roka
Nadzorna ploča ažurna tijekom dana	Inkrementalne skupine ili tok	Češće obraditi nove podatke; odrediti ispravke ranijih zbrojeva
Odluke ubrzo nakon događaja	Protočna obrada	Smanjiti kašnjenje uz duplikate, kasne događaje i oporavak

1. Definirajte što se obrađuje

2. Smanjite rad prije raspodjele

3. Birajte skupnu ili protočnu obradu prema roku

4. Učinite djelomični kvar sigurnim

5. Raspodijelite samo rad kojem je to potrebno

6. Dokažite brzinu i ispravnost zajedno

Povezana pitanja