Τι είναι ένα cache stampede και πώς το αποτρέπετε;

Question

Accepted Answer

Ένα **cache stampede** (ή dogpile) συμβαίνει όταν ένα δημοφιλές κλειδί στη cache λήξει και **πολλά ταυτόχρονα requests αποτύχουν ταυτόχρονα**, πέφτοντας όλα στην αρχική πηγή για να επαναυπολογίσουν την ίδια τιμή συγχρόνως. Η αρχική πηγή (DB ή service) δέχεται έναν κραδασμό από αιτήματα που δεν μπορεί να χειριστεί, μερικές φορές καταρρέοντας το σύστημα.

## Η αιτία

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Το ερέθισμα είναι η **ταυτόχρονη λήξη** ενός δημοφιλούς κλειδιού. Η λύση είναι να διασφαλίσετε ότι συμβαίνει μόνο ένας (ή λίγοι) επαναυπολογισμοί, ή ότι τα requests δεν λήγουν όλα μαζί.

## Λύσεις

- **Locking / single-flight** — το πρώτο miss παίρνει ένα lock και επαναυπολογίζει· όλοι οι άλλοι περιμένουν για αυτό το ένα αποτέλεσμα αντί να χτυπούν όλοι την αρχική πηγή.
- **Stale-while-revalidate** — σερβίρετε την ελαφρώς παλιά τιμή αμέσως ενώ ένα background task την ανανεώνει. Κανένα request δεν μπλοκάρεται στην αρχική πηγή.
- **Early / probabilistic recomputation** — ανανεώστε ένα κλειδί *πριν* λήξει, με πιθανότητα που αυξάνεται καθώς πλησιάζει η λήξη, έτσι ώστε ένα τυχερό request να το ξαναχτίσει πριν από το stampede.
- **Jittered TTLs** — προσθέστε τυχαιότητα στα TTLs έτσι ώστε τα κλειδιά να μην λήγουν όλα τη σamara στιγμή.
- **Request coalescing** — συνενώστε πανομοιότυπα ταυτόχρονα requests σε μία αρχική κλήση.

## Single-flight pseudo-code

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Το lock διασφαλίζει ακριβώς μία αρχική κλήση· κάθε άλλο ταυτόχρονο request περιμένει και στη συνέχεια διαβάζει την πρόσφατα cached τιμή.

## Γιατί έχει σημασία

Ενα stampede μετατρέπει μια συνηθισμένη cache expiry σε διακοπή: η cache που προστάτευε τη DB σας ξαφνικά σταματά, και ολόκληρη η κίνηση προσγειώνεται στην αρχική πηγή ταυτόχρονα. Η γνώση της αιτίας (ταυτόχρονη λήξη δημοφιλών κλειδιών) και των λύσεων (single-flight, stale-while-revalidate, jitter) είναι απαραίτητη για να διατηρήσετε τις caches αξιόπιστες υπό πραγματική φόρτωση.