Bạn xử lý rollback khi một deployment thất bại như thế nào?

Question

Accepted Answer

Khi một deployment gây ra vấn đề, bạn cần **roll back** nhanh chóng về trạng thái hoạt động để giảm thiểu tác động lên người dùng. Các chiến lược rollback hiệu quả — và các thực hành liên quan của monitoring, rollback tự động, và forward-fix — là thiết yếu cho các deployment đáng tin cậy.

## Tại sao khả năng rollback quan trọng

```text
Deployment đôi khi gây ra vấn đề (bug, lỗi, vấn đề hiệu năng) lọt qua testing. Khi điều đó
xảy ra ở production:
  → bạn cần khôi phục trạng thái HOẠT ĐỘNG NHANH CHÓNG (giảm thiểu tác động/downtime người dùng)
  → một rollback nhanh, đáng tin cậy là thiết yếu — có thể undo một deploy lỗi nhanh
→ "Làm sao chúng ta roll back?" phải được trả lời TRƯỚC KHI bạn cần đến nó.
```

## Các cách tiếp cận rollback

```text
✓ REDEPLOY phiên bản trước — deploy artifact/phiên bản tốt được biết gần nhất
  (artifact được đánh phiên bản làm điều này dễ: deploy v1.2.2 để undo v1.2.3)
✓ BLUE-GREEN → rollback tức thì bằng cách chuyển traffic về môi trường cũ
✓ CANARY → nếu canary cho thấy vấn đề, dừng rollout (chỉ một vài người dùng bị ảnh hưởng)
✓ Thay đổi database → khó hơn (cần migration tương thích ngược; xem dưới đây)
✓ FEATURE FLAGS → tắt một feature có vấn đề mà không redeploy ("rollback" hành vi tức thì)
```

## Các cân nhắc quan trọng

```text
⚠️ DATABASE migrations → rollback khó nếu một migration là phá hủy/không tương thích:
  → dùng migration TƯƠNG THÍCH NGƯỢC (để code cũ hoạt động với schema mới)
  → tách thay đổi schema khỏi code; pattern expand-then-contract
✓ MONITORING → phát hiện vấn đề NHANH (để bạn biết phải roll back) — alert trên lỗi/metrics
✓ Rollback TỰ ĐỘNG → một số pipeline tự động rollback khi health check thất bại
✓ FORWARD FIX → đôi khi sửa tiến (một patch nhanh) tốt hơn rollback
✓ Thực hành/test rollback → đảm bảo chúng thực sự hoạt động khi cần
```

## Tại sao điều này quan trọng

Hiểu các chiến lược rollback là quan trọng vì **deployment đôi khi thất bại, và có thể khôi phục nhanh là thiết yếu cho độ tin cậy**, nên nó là kiến thức thực tiễn có giá trị cho các deployment production.

Ngay cả với testing tốt, deployment thỉnh thoảng gây ra vấn đề ở production, và khi chúng xảy ra, **khôi phục trạng thái hoạt động nhanh chóng** (để giảm thiểu tác động người dùng và downtime) là then chốt — làm cho khả năng rollback là một phần then chốt của deployment đáng tin cậy, và là một phần nên được lên kế hoạch **trước khi** cần đến.

Hiểu **các cách tiếp cận rollback** — redeploy phiên bản trước (được làm dễ bởi artifact được đánh phiên bản), rollback tức thì của **blue-green** (chuyển traffic ngược lại), dừng một rollout **canary** (giới hạn tác động), và dùng **feature flags** để tắt các feature có vấn đề mà không redeploy — cung cấp các tùy chọn phù hợp với các chiến lược deployment khác nhau.

Hiểu **các cân nhắc quan trọng** phản ánh thực hành deployment trưởng thành: **database migration làm rollback khó** (vì thay đổi schema phá hủy hoặc không tương thích không thể đơn giản undo), nên dùng **migration tương thích ngược** (để code cũ hoạt động với schema mới) và các pattern như expand-then-contract là thiết yếu — một mối quan tâm thực tế khó, quan trọng.

Hiểu vai trò của **monitoring** (phát hiện vấn đề nhanh để bạn biết phải roll back), **rollback tự động** (khi health check thất bại), tùy chọn **forward-fix** (đôi khi một patch nhanh tốt hơn rollback), và tầm quan trọng của **test rollback** (đảm bảo chúng hoạt động khi cần) phản ánh suy nghĩ toàn diện về việc khôi phục deployment.

Vì deployment có thể thất bại và khôi phục nhanh là thiết yếu cho độ tin cậy (giảm thiểu tác động người dùng), và vì hiểu các cách tiếp cận rollback, thách thức database-migration, và các thực hành hỗ trợ (monitoring, tự động hóa, forward-fix) cho phép khôi phục từ các deployment lỗi một cách hiệu quả, hiểu các chiến lược rollback là kiến thức có giá trị, quan trọng thực tiễn cho các deployment production đáng tin cậy — một khía cạnh then chốt của độ an toàn deployment, phản ánh sự trưởng thành vận hành để xử lý những thất bại không tránh khỏi xảy ra ngay cả với CI/CD tốt.