Conas a théann tú i ngleic le méid mór sonraí a phróiseáil?

Question

IT Interview Practice · Accepted Answer

**Tosaigh leis an toradh, a spriocdháta agus na rialacha cruinnis sula roghnaíonn tú uirlis sonraí móra.** Ní éilíonn tacar mór sonraí creat próiseála dáilte go huathoibríoch.

Cuir i gcás go dteastaíonn ioncam inné de réir ceannaí ón ngnó gach maidin. Tá sé sin éagsúil ó íocaíocht amhrasach a aimsiú roimh a ceadú. D’fhéadfadh go leor taifead a bheith i gceist leis an dá cheann, ach ceadaíonn ceann amháin próiseáil sceidealaithe agus teastaíonn cinneadh tapa ón gceann eile.

## 1. Sainigh cad nach mór a phróiseáil

Soiléirigh an méid sonraí, ráta teachta sonraí nua, na réimsí riachtanacha agus an tréimhse choinneála. Don tuairisc ioncaim, aontaigh an athraíonn aisíocaíochtaí lá an cheannaigh nó lá na haisíocaíochta. Gan an riail sin, féadfaidh píblíne níos tapúla iomlán mícheart a tháirgeadh fós.

Sainigh an fhoinse fírinne agus láimhseáil taifead déanach nó ceartaithe freisin. Cinneann siad an féidir seantoradh a thabhairt chun críche nó an gá é a leasú níos déanaí.

## 2. Laghdaigh obair roimh a dáileadh

Tomhais cá dtéann am agus acmhainní: léamh comhad, fiosruithe bunachair, ríomh, aistriú líonra nó scríobh torthaí. Ansin scag taifid neamhábhartha go luath agus léigh na colúin riachtanacha amháin.

Próiseáil codanna teoranta seachas gach rud a luchtú sa chuimhne. Más féidir le worker amháin críochnú in am ar chostas inghlactha, b’fhéidir gurb é an córas is éasca a oibriú. Cuireann meaisíní breise costas comhordaithe agus aistrithe sonraí leis, mar sin cuir leo chun teorainn bhreathnaithe a réiteach.

## 3. Roghnaigh baisceanna nó sruthú de réir an spriocdháta

| Riachtanas | Cur chuige tosaigh | Cúis agus freagracht |
|---|---|---|
| Tuairisc iomlán gach maidin | Baisc sceidealaithe | Tá ionchur teoranta níos éasca a réiteach agus a athrith; caithfidh sé críochnú roimh an spriocdháta |
| Deais nuashonraithe i rith an lae | Baisceanna incriminteacha nó sruthú | Próiseáil sonraí nua níos minice; sainigh conas a athraíonn ceartúcháin sean-iomláin |
| Cinntí go gairid tar éis gach imeachta | Sruthú | Laghdaigh moill agus láimhseáil dúblaigh, imeachtaí déanacha agus aisghabháil |

Ciallaíonn sruthú próiseáil leanúnach ar shonraí ag teacht, ní go dtagann gach imeacht uair amháin agus san ord ceart. Don tuairisc laethúil, thosóinn le baisc mura dteastaíonn torthaí níos úire ón ngnó i ndáiríre.

## 4. Déan teip pháirteach sábháilte

Samhlaigh go scríobhann worker iomlán ioncaim agus go dtuairteálann sé sula dtaifeadann sé dul chun cinn. Tar éis atosú, féadfaidh sé na taifid chéanna a phróiseáil arís. Má chuireann sé a méideanna leis arís, tá an t-ioncam ró-ard.

Úsáid aitheantóirí cobhsaí agus scríobh is féidir a athdhéanamh go sábháilte, nó comhordaigh aschur agus dul chun cinn in idirbheart nuair a thacaítear leis. Taifeadann pointe seiceála obair chríochnaithe; má shábháiltear é roimh an aschur a stóráil go sábháilte, d’fhéadfaí obair a scipeáil tar éis tuairteála. Má shábháiltear ina dhiaidh é, teastaíonn athsheinm shábháilte na bearna.

- Coinnigh sonraí foinseacha fada go leor chun an tréimhse riachtanach a athsheinm.
- Scar taifid neamhbhailí le haghaidh fiosraithe seachas iad a chaitheamh amach go ciúin.
- Teorannaigh ráta seolta workers chuig ceann scríbe níos moille. Cuireann an frithbhrú seo cosc ar mhaolán cuimhne nó scuaine ag fás gan stad.

Tá aisghabháil mar chuid den dearadh, ní mar thasc glantacháin tar éis na chéad teipe.

## 5. Ná dáil ach an obair a éilíonn é

Nuair nach leor worker amháin, roinn an t-ionchur ina phíosaí neamhspleácha. Seiceáil dáileadh iarbhír na sonraí: d’fhéadfadh ceannaí an-mhór worker amháin a choinneáil gnóthach agus na cinn eile críochnaithe.

D’fhéadfadh grúpáil agus ceangal taifid a bhogadh idir workers, rud ar a dtugtar shuffle. Laghdaigh sonraí roimh an aistriú sin nuair is féidir agus fíoraigh gur féidir leis an gceann scríbe an t-aschur comhcheangailte a ghlacadh. Cuireann Spark teicnící ar fáil ach braitheann a n-oiriúnacht ar an bhfiosrú agus ar an leagan; féach a [threoir feidhmíochta](https://spark.apache.org/docs/3.5.6/sql-performance-tuning.html).

Ba chóir don stóráil patrúin rochtana a leanúint freisin. D’fhéadfadh comhaid cholúnacha amhail Parquet oiriúnú do scananna anailíse ar réimsí roghnaithe, agus d’fhéadfadh bunachar innéacsaithe a bheith níos fearr do léamha aonair oibríochta. Roghnaigh de réir riachtanais tomhaiste, ní méid comhaid amháin.

## 6. Cruthaigh luas agus cruinneas le chéile

Cuir an toradh i gcomparáid le tacar beag iontaofa, agus seiceáil comhairimh taifead agus iomláin ghnó. Cuir imeachtaí dúblacha, aisíocaíochtaí, taifid dhéanacha agus tuairteáil idir scríobh aschuir agus sábháil dul chun cinn san áireamh.

Ansin tástáil toirt agus éagothroime réalaíocha agus tomhais am rite, buaicchuimhne, riaráiste agus costas. Don tuairisc ioncaim, ciallaíonn rath iomlán ceart in-atáirgthe roimh an spriocdháta comhaontaithe. **Roghnaigh an phíblíne is simplí a chomhlíonann na coinníollacha sin agus a théarnaíonn gan sonraí a chailleadh ná a chomhaireamh faoi dhó.**

Riachtanas	Cur chuige tosaigh	Cúis agus freagracht
Tuairisc iomlán gach maidin	Baisc sceidealaithe	Tá ionchur teoranta níos éasca a réiteach agus a athrith; caithfidh sé críochnú roimh an spriocdháta
Deais nuashonraithe i rith an lae	Baisceanna incriminteacha nó sruthú	Próiseáil sonraí nua níos minice; sainigh conas a athraíonn ceartúcháin sean-iomláin
Cinntí go gairid tar éis gach imeachta	Sruthú	Laghdaigh moill agus láimhseáil dúblaigh, imeachtaí déanacha agus aisghabháil

1. Sainigh cad nach mór a phróiseáil

2. Laghdaigh obair roimh a dáileadh

3. Roghnaigh baisceanna nó sruthú de réir an spriocdháta

4. Déan teip pháirteach sábháilte

5. Ná dáil ach an obair a éilíonn é

6. Cruthaigh luas agus cruinneas le chéile

Ceisteanna gaolmhara