什么是缓存，它在系统设计中如何使用？

Question

什么是缓存，它在系统设计中如何使用？

Accepted Answer

**缓存**在快速层（通常在内存中）存储频繁访问的数据，这样可以快速检索，无需重新计算或从较慢的源重新获取。它是改进性能和可扩展性最重要的技术之一。

## 缓存的作用

```text
CACHING stores copies of data in a FAST location for quick repeated access:
  → instead of recomputing or re-fetching from a slow source (database, API, computation),
    serve from the fast cache
  → DRAMATICALLY faster (cache hit) + REDUCES load on the slow backend
→ trades some staleness/complexity for big performance and scalability gains.
```

## 缓存的使用位置（分层）

```text
BROWSER / CLIENT cache → cache on the user's device
CDN → cache static content at edge locations near users
APPLICATION cache (e.g. Redis/Memcached) → cache DB query results, computed data, sessions
DATABASE cache → query/result caching
→ caching can happen at MULTIPLE layers (defense in depth for performance)
```

## 缓存的优势和挑战

```text
✓ PERFORMANCE → much faster responses (memory vs disk/network/computation)
✓ SCALABILITY → reduces load on databases/backends → they handle more
✓ Reduces cost and latency
⚠️ CACHE INVALIDATION → keeping cached data fresh (when source changes) is the hard part:
  → TTL (expire after time) + invalidation (update/remove on change)
  → stale data is the main risk → balance freshness vs performance
⚠️ Adds complexity; cache misses; what/when to cache
```

## 为什么这很重要

理解缓存是基础性的，因为它**是系统设计中改进性能和可扩展性最重要且应用最广泛的技术之一**，因此是必要的知识。

缓存——在快速层中存储频繁访问的数据以快速检索，而不是从较慢的源重新计算或重新获取——提供显著的优势：更快的响应速度（从快速内存而不是慢速数据库、网络或计算提供）和**减少后端负载**（使数据库和服务处理更多请求，改进可扩展性）。

性能和可扩展性这两方面的双重优势使缓存在系统设计中无处不在。

理解缓存发生在**多个层级**——浏览器/客户端、CDN（静态内容的边缘缓存）、应用缓存（用于查询结果和计算数据的 Redis/Memcached）和数据库缓存——对于理解缓存的应用范围很重要。

理解**优势和挑战**至关重要：优势（性能、可扩展性、降低成本和延迟）推动它的使用，但**缓存失效问题**——在源数据变化时保持缓存数据新鲜，即著名的难题，通过 TTL 和显式失效来解决，其中过时数据是主要风险——对于理解是必要的，因为缓存用某种程度的数据过时和复杂性换取其优势。

理解权衡（新鲜度与性能）和缓存增加复杂性反映了成熟的理解。

由于缓存是最具影响力、应用最广泛的 system-design 技术之一（同时改进性能和可扩展性），理解它做什么、在哪里使用（各个层级）和它的优势与挑战（特别是失效问题）是基础性的，所以理解缓存是必要的、基础性的 system-design 知识——这是一个出现在几乎所有可扩展系统中的核心技术，是性能和可扩展性的关键，理解它很重要，包括其主要挑战失效问题，这是贯穿 system design 的反复出现的概念。