Data partitioning và sharding là gì?

Question

Accepted Answer

**Data partitioning** (sharding) chia dữ liệu qua nhiều server/database sao cho mỗi cái giữ một tập con — cho phép horizontal scaling của dữ liệu và tải vượt qua một server đơn. Chọn cách partition (partition key và chiến lược) là then chốt.

## Partitioning/sharding là gì

```text
PARTITIONING / SHARDING → chia dữ liệu thành các phần (partition/shard) qua nhiều
server, mỗi cái giữ một TẬP CON:
  → không server đơn nào giữ (hay bị quá tải bởi) toàn bộ dữ liệu
  → scale LƯU TRỮ và TẢI theo chiều ngang (mỗi shard xử lý phần của nó)
  → cho phép xử lý dữ liệu/throughput vượt quá năng lực của một máy
```

## Các chiến lược partitioning

```text
HASH-based → hash partition key → gán vào một shard:
  ✓ phân bố ĐỀU (tránh hotspot)  ✗ query theo khoảng khó; resharding khó nhằn
RANGE-based → partition theo khoảng giá trị (vd A-M, N-Z; khoảng ngày):
  ✓ query theo khoảng hiệu quả  ✗ rủi ro HOTSPOT (tải không đều nếu dữ liệu/truy cập lệch)
DIRECTORY/lookup → một bảng tra cứu ánh xạ key tới shard (linh hoạt, nhưng tra cứu là overhead)
GEOGRAPHIC → partition theo region (data locality)
```

## Lựa chọn then chốt: partition key

```text
PARTITION KEY (shard key) là quyết định quan trọng nhất:
  ✓ CARDINALITY CAO + phân bố ĐỀU → trải dữ liệu/tải đều (không có shard nóng)
  ✓ Khớp với pattern QUERY → query trúng một shard (hiệu quả) vs tất cả (scatter-gather)
  ✗ Một key TỆ → hotspot (một shard quá tải), dữ liệu không đều, hoặc query trúng tất cả shard
  → khó thay đổi về sau → chọn cẩn thận
```

## Thách thức

```text
⚠️ Query/join XUYÊN SHARD khó (dữ liệu trải qua các shard) và chậm (scatter-gather)
⚠️ REBALANCING / thêm shard phức tạp (di chuyển dữ liệu)
⚠️ Transaction xuyên shard khó; hotspot; độ phức tạp vận hành
→ mạnh mẽ cho scale, nhưng thêm độ phức tạp đáng kể → dùng khi thực sự cần
```

## Tại sao điều này quan trọng

Hiểu data partitioning và sharding là giá trị vì nó là một **kỹ thuật then chốt để scale dữ liệu vượt qua một server đơn**, một thách thức then chốt cho các hệ thống lớn, nên đây là kiến thức system design quan trọng.

Partitioning/sharding — chia dữ liệu qua nhiều server sao cho mỗi cái giữ một tập con — cho phép **horizontal scaling của lưu trữ và tải** vượt qua năng lực của một máy, thiết yếu khi dữ liệu hay throughput vượt quá những gì một server đơn xử lý được.

Hiểu các **chiến lược** cùng trade-off của chúng — **hash-based** (phân bố đều tránh hotspot, nhưng làm query theo khoảng và resharding khó), **range-based** (query theo khoảng hiệu quả nhưng rủi ro hotspot do lệch), directory-based (linh hoạt với overhead tra cứu), và geographic — là cần thiết để chọn cách partition.

Quan trọng nhất, hiểu rằng **partition key là quyết định quan trọng nhất** là nhận định then chốt: một key tốt (cardinality cao, phân bố đều, khớp với pattern query để query trúng một shard thay vì tất cả) trải tải đều và cho phép query hiệu quả, trong khi một key tệ gây hotspot (một shard quá tải), dữ liệu không đều, hoặc query scatter-gather — và vì khó thay đổi về sau, chọn cẩn thận là thiết yếu.

Hiểu các **thách thức** — rằng query và join xuyên shard khó và chậm, rebalancing và thêm shard phức tạp, và transaction xuyên shard khó — là quan trọng vì những điều này khiến sharding mạnh mẽ nhưng phức tạp đáng kể, nên nên dùng khi thực sự cần (sau các cách scale đơn giản hơn như caching và replication).

Vì scale dữ liệu vượt qua một server đơn là một thách thức then chốt cho các hệ thống lớn và partitioning/sharding (với quyết định partition-key then chốt cùng trade-off và thách thức của nó) là kỹ thuật cho điều đó, và vì hiểu các chiến lược, tầm quan trọng của partition-key, và các thách thức là quan trọng để thiết kế hệ thống quy mô lớn, nên hiểu data partitioning và sharding là kiến thức system design có giá trị, liên quan thực tế — một kỹ thuật then chốt cho horizontal data scaling, đòi hỏi hiểu cẩn thận các chiến lược partition, lựa chọn partition-key then chốt, và các thách thức đáng kể, và trung tâm của việc thiết kế hệ thống scale dữ liệu vượt qua năng lực của một server đơn.