Horizontal Pod Autoscaler hoạt động thế nào, và nó liên hệ với Cluster Autoscaler ra sao?

Question

IT Interview Practice · Accepted Answer

**Horizontal Pod Autoscaler (HPA)** thêm hoặc bớt **replica Pod** dựa trên metric quan sát được (CPU, memory, hoặc tùy biến). **Cluster Autoscaler (CA)** thêm hoặc bớt **node** khi Pod không thể xếp lịch hoặc node bị dùng thiếu. Chúng hoạt động ở các tầng khác nhau và phối hợp với nhau.

## Hai autoscaler, hai tầng

```text
HPA  → scale POD   (nhiều/ít replica của một Deployment)      — phản ứng với TẢI
CA   → scale NODE  (tăng/giảm số máy của cluster)             — phản ứng với Pod PENDING
VPA  → (thêm) điều chỉnh requests/limits của một Pod          — phản ứng để định cỡ đúng

Luồng điển hình: tải tăng → HPA thêm Pod → Pod không vừa → CA thêm node →
                 Pod xếp lịch được. Tải giảm → HPA bớt Pod → node rảnh → CA gỡ nó.
```

## Vòng lặp điều khiển của HPA hoạt động ra sao

```text
Cứ ~15s, controller HPA:
  1. đọc metric hiện tại (ví dụ CPU trung bình qua các Pod) từ metrics-server / API tùy biến
  2. tính:  desiredReplicas = ceil(currentReplicas * currentMetric / targetMetric)
  3. scale Deployment về đó (giới hạn bởi minReplicas/maxReplicas)
Ví dụ: 4 Pod ở 80% CPU, mục tiêu 50% → 4 * 80/50 = 6.4 → 7 replica.
Cửa sổ ổn định (stabilization window) làm giảm dao động (nhất là khi scale-down).
```

## Một manifest HPA

```yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: web-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: web
  minReplicas: 3
  maxReplicas: 20
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 60      # giữ CPU trung bình ~60% của REQUEST
  behavior:                           # tùy chọn: chỉnh tốc độ scale lên/xuống
    scaleDown:
      stabilizationWindowSeconds: 300
```

```bash
kubectl get hpa                       # metric hiện tại/mục tiêu, số replica
kubectl top pods                      # cần metrics-server
```

## Các phụ thuộc & lưu ý quan trọng

```text
• HPA theo CPU/memory CẦN cài metrics-server; utilization tính tương đối với REQUESTS
  → nếu requests chưa đặt/sai, phép tính HPA trở nên vô nghĩa. Hãy đặt requests đúng.
• Metric tùy biến/bên ngoài (RPS, độ sâu hàng đợi) cần một adapter (Prometheus Adapter, KEDA).
• HPA và `replicas` thủ công xung đột nhau — hãy để HPA sở hữu số replica.
• Cluster Autoscaler cũng cần requests đúng: nó nhìn REQUESTS của Pod Pending để quyết định
  scale node. Scale-up node mất vài phút (cấp phát), nên hãy giữ khoảng dư (headroom).
```

## Tại sao điều này quan trọng

Autoscaling là thứ cho phép Kubernetes tự động khớp năng lực với nhu cầu, và hiểu hai tầng là kiến thức cấp senior giúp phân biệt các cluster tiết kiệm chi phí, kiên cường với các cluster cấp phát thừa hoặc thiếu. Mô hình tư duy then chốt là **HPA scale Pod** để đáp lại tải (điều chỉnh số replica từ CPU, memory, hoặc metric tùy biến quan sát được) còn **Cluster Autoscaler scale node** để đáp lại áp lực xếp lịch (thêm máy khi Pod Pending, gỡ chúng khi node rảnh) — chúng hoạt động ở các tầng khác nhau và hợp tác: HPA chỉ có thể thêm Pod nếu còn chỗ, và CA cung cấp chỗ đó. Hiểu vòng lặp điều khiển của HPA — công thức `desiredReplicas = ceil(currentReplicas * currentMetric / targetMetric)`, việc hòa giải định kỳ, và các cửa sổ ổn định ngăn dao động — giúp bạn cấu hình và gỡ lỗi nó thay vì coi như phép màu. Các lưu ý là nơi phán đoán senior thể hiện: HPA theo CPU/memory **cần metrics-server** và tính utilization **tương đối với requests**, nên requests sai hoặc thiếu làm phép tính của nó vô nghĩa; metric tùy biến (request mỗi giây, độ sâu hàng đợi) cần một adapter như Prometheus Adapter hoặc KEDA; và scale-up node mất vài phút, nên khoảng dư rất quan trọng. Vì định cỡ năng lực đúng ảnh hưởng trực tiếp đến độ tin cậy khi lưu lượng tăng vọt và chi phí cloud lúc rảnh, và vì cả hai autoscaler đều phụ thuộc vào resource requests đặt đúng, thành thạo HPA và Cluster Autoscaler là điều nền tảng để vận hành Kubernetes production hiệu quả và đáng tin cậy.

Hai autoscaler, hai tầng

Vòng lặp điều khiển của HPA hoạt động ra sao

Một manifest HPA

Các phụ thuộc & lưu ý quan trọng

Tại sao điều này quan trọng

Câu hỏi liên quan