Jak přistupovat ke zpracování velkého objemu dat?

Question

IT Interview Practice · Accepted Answer

**Před výběrem nástroje na velká data určete výsledek, termín a pravidla správnosti.** Velký dataset automaticky nevyžaduje distribuovaný framework.

Firma například potřebuje každé ráno včerejší tržby podle obchodníků. To se liší od odhalení podezřelé platby před schválením. Oba případy mohou pracovat s mnoha záznamy, ale jeden dovoluje plánované zpracování a druhý vyžaduje včasné rozhodnutí.

## 1. Určete zpracovávaná data

Vyjasněte objem, rychlost přibývání, potřebná pole a dobu uchování. U tržeb dohodněte, zda vratka mění původní den, nebo den vrácení. Bez tohoto pravidla může rychlejší pipeline stále počítat špatně.

Určete také zdroj pravdy a práci s opožděnými či opravenými záznamy. Podle toho lze starý výsledek uzavřít, nebo jej bude nutné později měnit.

## 2. Před distribucí omezte práci

Změřte spotřebu času a zdrojů: soubory, databázové dotazy, výpočet, přenos nebo zápis výsledků. Nepotřebné záznamy filtrujte brzy a čtěte jen sloupce reportu.

Zpracovávejte omezené bloky místo načtení všeho do paměti. Pokud jeden worker splní termín za přijatelnou cenu, může být nejjednodušší na provoz. Další stroje přidávají koordinaci a přenos, proto mají řešit pozorovaný limit.

## 3. Podle termínu zvolte dávky nebo stream

| Potřeba | Výchozí přístup | Důvod a odpovědnost |
|---|---|---|
| Kompletní report každé ráno | Plánovaná dávka | Konečný vstup se snáze kontroluje a opakuje; musí skončit včas |
| Přehled aktualizovaný během dne | Přírůstkové dávky nebo stream | Nová data se zpracují častěji; určete opravy dřívějších součtů |
| Rozhodnutí krátce po události | Stream | Menší prodleva při řešení duplicit, pozdních událostí a obnovy |

Streaming znamená průběžné zpracování příchozích dat, nikoli předpoklad jednorázového a správně seřazeného doručení. Pro denní report bych začal dávkou, pokud firma skutečně nepotřebuje čerstvější výsledky.

## 4. Zajistěte bezpečné částečné selhání

Worker může zapsat součet tržeb a spadnout před uložením postupu. Po restartu zpracuje stejné záznamy znovu. Prosté opětovné přičtení částek pak tržby nadhodnotí.

Použijte stabilní ID a bezpečně opakovatelné zápisy, případně transakčně propojte výstup s postupem, kde je to podporované. Checkpoint zaznamenává dokončený postup; uložený před bezpečným výstupem může po pádu přeskočit práci. Uložení po výstupu vyžaduje bezpečné opakování mezery.

- Uchovejte zdroj dost dlouho pro přehrání potřebného období.
- Chybné záznamy oddělte k prošetření místo tichého zahazování.
- Omezte rychlost posílání do pomalejšího cíle. Tento backpressure brání nekonečnému růstu paměťového bufferu nebo fronty.

Obnova je součást návrhu, ne úklid po první havárii.

## 5. Distribuujte jen potřebnou práci

Když jeden worker nestačí, rozdělte vstup na nezávisle zpracovatelné části. Prověřte skutečné rozložení: obrovský obchodník může zaměstnávat jednoho workeru dlouho po dokončení ostatních.

Seskupování a spojování může přesouvat záznamy mezi workery, tedy provádět shuffle. Pokud lze, omezte data před přesunem a ověřte kapacitu cíle pro souhrnný výstup. Spark nabízí související techniky, ale záleží na dotazu a verzi; viz [optimalizace výkonu](https://spark.apache.org/docs/3.5.6/sql-performance-tuning.html).

Úložiště také vybírejte podle přístupu. Sloupcové soubory jako Parquet mohou vyhovovat analytickému čtení vybraných polí, zatímco indexovaná databáze jednotlivým provozním dotazům. Rozhodujte podle změřeného přístupu, nejen velikosti souboru.

## 6. Prokažte rychlost i správnost

Porovnejte výsledek s malou důvěryhodnou sadou včetně počtů i obchodních součtů. Zahrňte duplicity, vratky, opožděné záznamy a pád mezi výstupem a uložením postupu.

Pak testujte reálný objem a nerovnoměrnost a měřte dobu, maximální paměť, nahromadění práce a cenu. U tržeb znamená úspěch správný reprodukovatelný součet před dohodnutým termínem. **Zvolte nejjednodušší pipeline, která to splní a obnoví se bez ztrát či dvojího započtení.**

Potřeba	Výchozí přístup	Důvod a odpovědnost
Kompletní report každé ráno	Plánovaná dávka	Konečný vstup se snáze kontroluje a opakuje; musí skončit včas
Přehled aktualizovaný během dne	Přírůstkové dávky nebo stream	Nová data se zpracují častěji; určete opravy dřívějších součtů
Rozhodnutí krátce po události	Stream	Menší prodleva při řešení duplicit, pozdních událostí a obnovy

1. Určete zpracovávaná data

2. Před distribucí omezte práci

3. Podle termínu zvolte dávky nebo stream

4. Zajistěte bezpečné částečné selhání

5. Distribuujte jen potřebnou práci

6. Prokažte rychlost i správnost

Související otázky