빅데이터 도구를 고르기 전에 결과, 마감, 정확성 규칙부터 정합니다. 데이터가 크다고 반드시 분산 처리 프레임워크가 필요한 것은 아닙니다.
매일 아침 판매자별 어제 매출이 필요하다고 합시다. 결제 승인 전에 의심 거래를 탐지하는 것과는 다릅니다. 둘 다 많은 레코드를 다룰 수 있지만 하나는 예약 처리가 가능하고 다른 하나는 빠른 판단이 필요합니다.
1. 처리할 대상을 정의합니다
기존 데이터 양, 유입 속도, 필요한 필드, 보존 기간을 확인합니다. 매출 보고서라면 환불을 원래 날짜에 반영할지 환불 날짜에 반영할지 합의합니다. 이 규칙이 없으면 빠른 파이프라인도 틀린 합계를 만듭니다.
원본과 늦거나 수정된 레코드 처리도 정합니다. 그래야 과거 결과를 확정할 수 있는지 나중에 고쳐야 하는지 알 수 있습니다.
