Parti dal risultato, dalla scadenza e dalle regole di correttezza prima di scegliere uno strumento big data. Un dataset grande non richiede automaticamente un framework di elaborazione distribuita.
Supponiamo che ogni mattina servano i ricavi di ieri per commerciante. È diverso dal rilevare un pagamento sospetto prima di approvarlo. Entrambi possono coinvolgere molti record, ma il primo consente elaborazione pianificata mentre il secondo richiede una decisione tempestiva.
1. Definisci cosa elaborare
Chiarisci quanti dati esistono, quanto velocemente arrivano i nuovi, quali campi servono e per quanto conservarli. Per il report dei ricavi, concorda se i rimborsi modificano il giorno originale o quello del rimborso. Senza questa regola, una pipeline più veloce può comunque produrre il totale sbagliato.
