Big-data tool বাছার আগে ফল, তার deadline ও correctness rule দিয়ে শুরু করুন। বড় dataset মানেই distributed processing framework দরকার নয়।
ধরুন ব্যবসা প্রতি সকালে merchant অনুযায়ী গতকালের revenue চায়। Payment অনুমোদনের আগে সন্দেহজনক payment ধরার থেকে এটি আলাদা। দুটোতেই অনেক record থাকতে পারে, কিন্তু একটিতে scheduled processing চলে, অন্যটিতে সময়মতো সিদ্ধান্ত লাগে।
1. কী process করতে হবে নির্ধারণ করুন
কত data আছে, নতুন data কত দ্রুত আসে, কোন field দরকার এবং কতদিন রাখতে হবে পরিষ্কার করুন। Revenue report-এ refund original day না refund day বদলাবে ঠিক করুন। এই নিয়ম ছাড়া দ্রুত pipeline-ও ভুল total দিতে পারে।