Hogyan érdemes nagy adatmennyiség feldolgozásához hozzáfogni?

Question

IT Interview Practice · Accepted Answer

**Big-data eszköz előtt az eredményt, határidejét és helyességi szabályait tisztázd.** Nagy adathalmaz nem követel automatikusan elosztott feldolgozókeretet.

Tegyük fel, minden reggel kell a tegnapi bevétel kereskedőnként. Ez más, mint gyanús fizetést észlelni jóváhagyás előtt. Mindkettő sok rekordot használhat, de egyik ütemezhető, a másik gyors döntést kíván.

## 1. Határozd meg a feldolgozandó adatot

Tisztázd a mennyiséget, érkezési sebességet, szükséges mezőket és megőrzést. Bevételnél döntsd el, a visszatérítés az eredeti vagy a visszafizetés napját módosítja. Enélkül gyorsabb feldolgozás is hibás összeget adhat.

Definiáld a hiteles forrást, késői rekordokat és javításokat is. Ezek határozzák meg, lezárható-e egy régi eredmény vagy később módosulhat.

## 2. Elosztás előtt csökkentsd a munkát

Mérd, olvasás, adatbáziskérés, számítás, hálózat vagy eredményírás fogyasztja-e az erőforrást. Korán szűrd a szükségtelen rekordokat, és csak szükséges oszlopokat olvass.

Korlátos darabokat dolgozz fel a teljes memóriába töltés helyett. Ha egy worker időben, elfogadható költséggel végez, ez lehet a legegyszerűbb üzemeltetés. Több gép koordinációs és adatátviteli költséget hoz: megfigyelt határt oldj meg vele.

## 3. Határidő alapján válassz kötegelt vagy folyamatos módot

| Igény | Kezdő megközelítés | Indok és felelősség |
|---|---|---|
| Minden reggel teljes riport | Ütemezett köteg | Véges bemenetet könnyebb egyeztetni és újrafuttatni; határidőre kész kell lennie |
| Napközben frissülő irányítópult | Inkrementális köteg vagy stream | Gyakoribb feldolgozás; korábbi összegek javítását meg kell határozni |
| Esemény után gyors döntés | Stream | Kis késés duplikátum-, későesemény- és helyreállítás-kezeléssel |

A stream folyamatos feldolgozást jelent, nem egyszeri és sorrendi eseményérkezést. Napi riporthoz köteggel kezdenék, hacsak az üzlet tényleg frissebb eredményt nem igényel.

## 4. Tedd biztonságossá a részleges hibát

A worker kiírja a bevételt, majd a haladás mentése előtt összeomlik. Újraindulva ugyanazokat a rekordokat ismételheti. Újabb hozzáadás felfújja a bevételt.

Stabil rekordazonosítókat és biztonságosan ismételhető írást használj, vagy támogatás esetén tranzakciósan kösd össze a kimenetet és haladást. A checkpoint a kész munkát jelzi; kimenetbiztonság előtti mentése munkakihagyást okozhat. Utána mentésnél a köztes rész biztonságos visszajátszása kell.

- Őrizd meg a forrást a szükséges időszak újrajátszásához.
- A hibás rekordokat vizsgálatra különítsd el, ne dobd el csendben.
- Korlátozd a lassabb cél felé küldött sebességet. A backpressure megállítja a puffer vagy sor végtelen növekedését.

A helyreállítás a terv része, nem az első hiba utáni takarítás.

## 5. Csak a szükséges munkát oszd szét

Ha egy worker kevés, bontsd a bemenetet független részekre. Valós eloszlást ellenőrizz: egy nagy kereskedő lefoglalhat egy workert, miközben a többi kész.

Csoportosítás és join rekordokat mozgathat workerek között; ez a shuffle. Előtte csökkentsd az adatot, ahol lehet, és ellenőrizd az együttes kimenet fogadását. A Spark ad technikákat, de alkalmazhatóságuk lekérdezés- és verziófüggő; lásd a [teljesítményhangolást](https://spark.apache.org/docs/3.5.6/sql-performance-tuning.html).

A tárolás is a hozzáférést kövesse. Oszlopos fájl, például Parquet jó lehet kiválasztott mezők analitikus olvasásához, indexelt adatbázis pedig egyedi operatív lekéréshez. Mért igényből, ne puszta fájlméretből dönts.

## 6. Együtt bizonyítsd a gyorsaságot és helyességet

Hasonlíts megbízható kis adathalmazhoz, rekordszámot és üzleti összeget is nézve. Legyen duplikált esemény, visszatérítés, késői rekord és kimenet–haladás közötti összeomlás.

Ezután valós mennyiséget és eltolódást tesztelj futásidővel, csúcsmemóriával, hátralékkal és költséggel. A riport sikere helyes, reprodukálható összeg a határidő előtt. **A legegyszerűbb olyan folyamatot válaszd, amely ezt teljesíti és adatvesztés vagy dupla számolás nélkül helyreáll.**

Igény	Kezdő megközelítés	Indok és felelősség
Minden reggel teljes riport	Ütemezett köteg	Véges bemenetet könnyebb egyeztetni és újrafuttatni; határidőre kész kell lennie
Napközben frissülő irányítópult	Inkrementális köteg vagy stream	Gyakoribb feldolgozás; korábbi összegek javítását meg kell határozni
Esemény után gyors döntés	Stream	Kis késés duplikátum-, későesemény- és helyreállítás-kezeléssel

1. Határozd meg a feldolgozandó adatot

2. Elosztás előtt csökkentsd a munkát

3. Határidő alapján válassz kötegelt vagy folyamatos módot

4. Tedd biztonságossá a részleges hibát

5. Csak a szükséges munkát oszd szét

6. Együtt bizonyítsd a gyorsaságot és helyességet

Kapcsolódó kérdések