Kepiye pendekatan kanggo ngolah data sing akeh banget?

Question

IT Interview Practice · Accepted Answer

**Wiwiti saka asil, tenggat, lan aturan kebenaran sadurunge milih alat big data.** Dataset gedhe ora otomatis mbutuhake framework pangolahan terdistribusi.

Upamane bisnis butuh pendapatan wingi saben pedagang saben esuk. Iki beda saka ndeteksi pembayaran mencurigakan sadurunge disetujoni. Loro-lorone bisa ngemot akeh record, nanging siji ngidini jadwal, liyane butuh keputusan cepet.

## 1. Temtokake apa sing kudu diproses

Jlentrehake akeh data, kacepetan data anyar teka, field sing dibutuhake, lan suwene disimpen. Kanggo laporan pendapatan, sepakati apa refund ngowahi dina asli utawa dina refund. Tanpa aturan kasebut, pipeline luwih cepet isih bisa menehi total salah.

Temtokake uga sumber kebenaran lan penanganan record telat utawa koreksi. Iki nemtokake apa asil lawas bisa final utawa kudu direvisi mengko.

## 2. Kurangi gaweyan sadurunge disebar

Ukur wektu lan sumber daya kanggo maca file, query database, komputasi, transfer jaringan, utawa nulis asil. Banjur saring record ora relevan luwih awal lan waca mung kolom sing perlu.

Proses potongan winates, aja ngemot kabeh menyang memori. Yen siji worker bisa rampung sadurunge tenggat kanthi biaya sing ditampa, iku bisa dadi sistem paling gampang dioperasikake. Mesin tambahan nambah koordinasi lan transfer, mula gunakake kanggo ngrampungake wates sing wis diamati.

## 3. Pilih batch utawa streaming saka tenggat

| Kabutuhan | Cara wiwitan | Alesan lan tanggung jawab |
|---|---|---|
| Laporan lengkap saben esuk | Batch terjadwal | Input winates luwih gampang dicocogake lan diulang; kudu rampung sadurunge tenggat |
| Dashboard dianyari sedina muput | Batch inkremental utawa streaming | Proses data anyar luwih kerep; temtokake koreksi kanggo total sadurunge |
| Keputusan sakcepete sawise event | Streaming | Nyuda tundha kanthi nangani duplikat, event telat, lan pamulihan |

Streaming tegese ngolah data teka terus-terusan, ora nganggep saben event teka sepisan lan urut. Kanggo laporan saben dina, aku bakal miwiti batch kajaba bisnis pancen butuh asil luwih anyar.

## 4. Gawe kegagalan sebagian tetep aman

Bayangna worker nulis total pendapatan banjur crash sadurunge nyathet kemajuan. Nalika restart, record padha bisa diproses maneh. Yen jumlahe mung ditambah maneh, pendapatan dadi kakehan.

Gunakake ID record stabil lan panulisan sing aman dibaleni, utawa koordinasi output lan kemajuan kanthi transaksi yen didhukung. Checkpoint nyathet kemajuan rampung; nyimpen sadurunge output aman bisa nggawe gaweyan kliwatan sawise crash. Nyimpen sawise output butuh replay aman kanggo sela kasebut.

- Simpen data sumber cukup suwe kanggo ngulang periode sing dibutuhake.
- Pisahake record ora valid kanggo investigasi, aja dibuwang meneng-meneng.
- Watesi kacepetan worker ngirim menyang tujuan sing luwih alon. Backpressure iki nyegah buffer memori utawa antrean mundhak tanpa wates.

Prilaku pamulihan bagean saka desain, dudu gaweyan ngresiki sawise kegagalan kapisan.

## 5. Sebar mung gaweyan sing mbutuhake

Yen siji worker kurang, bagi input dadi bagean sing bisa mlaku mandiri. Priksa distribusi nyata: siji pedagang gedhe bisa nggawe siji worker terus sibuk nalika liyane wis rampung.

Grouping lan join bisa mbutuhake mindhah record antarane worker, diarani shuffle. Kurangi data sadurunge dipindhah yen bisa lan priksa tujuan bisa nampa output gabungan. Spark duwe teknik sing cocog, nanging gumantung query lan versi; delengen [pandhuan tuning kinerja](https://spark.apache.org/docs/3.5.6/sql-performance-tuning.html).

Panyimpenan uga kudu manut pola akses. File kolom kaya Parquet bisa cocog kanggo scan analitik field tartamtu, dene database berindeks bisa luwih cocog kanggo lookup operasional siji-siji. Pilih saka akses sing diukur, ora mung ukuran file.

## 6. Buktekake kacepetan lan kebenaran bebarengan

Bandhingake asil karo dataset cilik sing dipercaya, mriksa cacah record lan total bisnis. Lebokake event duplikat, refund, record telat, lan crash antarane nulis output lan nyimpen kemajuan.

Banjur uji volume lan ketimpangan nyata kanthi ngukur runtime, puncak memori, tumpukan, lan biaya. Kanggo laporan pendapatan, sukses tegese total bener lan bisa diasilake maneh tekan sadurunge tenggat. **Pilih pipeline paling prasaja sing nyukupi lan bisa pulih tanpa kelangan utawa ngitung data kaping pindho.**

Kabutuhan	Cara wiwitan	Alesan lan tanggung jawab
Laporan lengkap saben esuk	Batch terjadwal	Input winates luwih gampang dicocogake lan diulang; kudu rampung sadurunge tenggat
Dashboard dianyari sedina muput	Batch inkremental utawa streaming	Proses data anyar luwih kerep; temtokake koreksi kanggo total sadurunge
Keputusan sakcepete sawise event	Streaming	Nyuda tundha kanthi nangani duplikat, event telat, lan pamulihan

1. Temtokake apa sing kudu diproses

2. Kurangi gaweyan sadurunge disebar

3. Pilih batch utawa streaming saka tenggat

4. Gawe kegagalan sebagian tetep aman

5. Sebar mung gaweyan sing mbutuhake

6. Buktekake kacepetan lan kebenaran bebarengan

Pitakon sing gegandhengan