Bagaimana Horizontal Pod Autoscaler bekerja, dan bagaimana kaitannya dengan Cluster Autoscaler?

Question

IT Interview Practice · Accepted Answer

**Horizontal Pod Autoscaler (HPA)** menambah atau mengurangi **replica Pod** berdasarkan metrik yang teramati (CPU, memory, atau custom). **Cluster Autoscaler (CA)** menambah atau mengurangi **node** ketika Pod tidak bisa dijadwalkan atau node kurang terpakai. Keduanya beroperasi di lapisan berbeda dan bekerja sama.

## Dua autoscaler, dua lapisan

```text
HPA  → men-scale POD  (lebih banyak/sedikit replica Deployment)  — bereaksi terhadap BEBAN
CA   → men-scale NODE (menambah/mengurangi mesin cluster)         — bereaksi terhadap Pod PENDING
VPA  → (bonus) menyesuaikan requests/limits sebuah Pod            — bereaksi untuk right-sizing

Alur khas: beban naik → HPA menambah Pod → Pod tak muat → CA menambah node →
           Pod terjadwal. Beban turun → HPA mengurangi Pod → node idle → CA menghapusnya.
```

## Bagaimana control loop HPA bekerja

```text
Setiap ~15s controller HPA:
  1. membaca metrik saat ini (mis. rata-rata CPU seluruh Pod) dari metrics-server / custom API
  2. menghitung:  desiredReplicas = ceil(currentReplicas * currentMetric / targetMetric)
  3. men-scale Deployment menuju itu (dibatasi minReplicas/maxReplicas)
Contoh: 4 Pod pada CPU 80%, target 50% → 4 * 80/50 = 6.4 → 7 replica.
Stabilization window meredam flapping (terutama saat scale-down).
```

## Sebuah manifest HPA

```yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: web-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: web
  minReplicas: 3
  maxReplicas: 20
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 60      # jaga rata-rata CPU ~60% dari REQUEST
  behavior:                           # opsional: setel kecepatan scale up/down
    scaleDown:
      stabilizationWindowSeconds: 300
```

```bash
kubectl get hpa                       # metrik saat ini/target, jumlah replica
kubectl top pods                      # butuh metrics-server
```

## Dependensi & catatan penting

```text
• HPA pada CPU/memory BUTUH metrics-server terpasang; utilisasi relatif terhadap REQUESTS
  → jika request tak diset/salah, matematika HPA tak bermakna. Set request dengan benar.
• Metrik custom/eksternal (RPS, kedalaman queue) butuh adapter (Prometheus Adapter, KEDA).
• HPA dan `replicas` manual berbenturan — biarkan HPA yang memiliki jumlah replica.
• Cluster Autoscaler juga butuh request yang benar: ia melihat REQUESTS Pod Pending untuk
  memutuskan scaling node. Scale-up node butuh menit (provisioning), jadi sediakan headroom.
```

## Mengapa ini penting

Autoscaling adalah yang memungkinkan Kubernetes mencocokkan kapasitas dengan permintaan secara otomatis, dan memahami kedua lapisan adalah pengetahuan level senior yang membedakan cluster yang hemat biaya dan tangguh dari yang over- atau under-provisioned. Model berpikir kuncinya adalah **HPA men-scale Pod** sebagai respons terhadap beban (menyesuaikan jumlah replica dari CPU, memory, atau metrik custom yang teramati) sedangkan **Cluster Autoscaler men-scale node** sebagai respons terhadap tekanan penjadwalan (menambah mesin ketika Pod Pending, menghapusnya ketika node idle) — keduanya beroperasi di lapisan berbeda dan bekerja sama: HPA hanya bisa menambah Pod jika ada ruang, dan CA menyediakan ruang itu. Memahami control loop HPA — rumus `desiredReplicas = ceil(currentReplicas * currentMetric / targetMetric)`, reconciliation berkala, dan stabilization window yang mencegah flapping — memungkinkan Anda mengonfigurasi dan men-debug-nya alih-alih menganggapnya sihir. Catatan-catatan itulah tempat pertimbangan senior terlihat: HPA pada CPU/memory **butuh metrics-server** dan menghitung utilisasi **relatif terhadap request**, sehingga request yang salah atau hilang membuat matematikanya tak bermakna; metrik custom (request per detik, kedalaman queue) butuh adapter seperti Prometheus Adapter atau KEDA; dan scale-up node butuh menit, sehingga headroom penting. Karena menyesuaikan ukuran kapasitas langsung memengaruhi keandalan saat lonjakan trafik dan biaya cloud saat periode sepi, dan karena kedua autoscaler bergantung pada resource request yang diset dengan benar, menguasai HPA dan Cluster Autoscaler adalah fondasi untuk mengoperasikan Kubernetes production secara efisien dan andal.

Dua autoscaler, dua lapisan

Bagaimana control loop HPA bekerja

Sebuah manifest HPA

Dependensi & catatan penting

Mengapa ini penting

Pertanyaan terkait