Tập cuối khép lại hành trình đưa ứng dụng quản lý chi tiêu lên production: bạn sẽ có một runbook vận hành hoàn chỉnh, một checklist xử lý sự cố dùng được ngay trong ca trực, và lộ trình nâng cấp tiếp theo. Nối tiếp tập 19 về mở rộng nhiều worker và read replica, tập này gom toàn bộ series thành một quy trình vận hành bền vững.
Runbook vận hành là gì và gồm những gì
Runbook là tài liệu sống ghi lại mọi thao tác vận hành: ai làm gì, theo thứ tự nào, khi deploy, khi lỗi và khi cần mở rộng. Một runbook tốt gồm bốn phần: quy trình deploy chuẩn, cách giám sát và cảnh báo, quy trình sao lưu và khôi phục, và checklist xử lý sự cố theo mức độ. Hãy lưu runbook trong repo, xem lại mỗi quý hoặc sau mỗi sự cố lớn.
Checklist xử lý sự cố theo mức độ
Khi sự cố xảy ra, việc đầu tiên không phải là sửa code mà là xác định mức độ. Sự cố P1 là site sập hoàn toàn: kiểm tra endpoint /health, xem Gunicorn còn chạy không, kiểm tra kết nối PostgreSQL, và nếu deploy vừa xong thì rollback ngay thay vì debug trên production. Sự cố P2 là hệ thống chậm: xem slow query log, kiểm tra tỉ lệ hit của Redis, và xem hàng đợi Celery có bị tắc không. Sự cố P3 là lỗi lẻ tẻ: đọc log trên Sentry và xác định lỗi có lặp lại theo mẫu hay không. Ghi lại mỗi sự cố gồm thời gian, triệu chứng, nguyên nhân và cách khắc phục, để lần sau chỉ cần mở ra xem.
Lộ trình nâng cấp tiếp theo
Khi runbook đã ổn định, ba hướng đáng đầu tư nhất là Kubernetes, observability và tự động hóa sâu hơn. Kubernetes thay thế deploy thủ công khi bạn có nhiều service, cần tự phục hồi pod lỗi và scale theo tải. Observability nâng monitoring ở tập 8 lên tầm cao mới: trace phân tán qua OpenTelemetry, log có cấu trúc và dashboard thống nhất cho Django, Celery và Nginx. Cuối cùng, hãy tự động hóa chính runbook: biến checklist thủ công thành script kiểm tra, rồi thành cảnh báo tự động. Mỗi bước nâng cấp chỉ nên làm khi có nhu cầu thật.
#!/bin/bash# scripts/incident-triage.sh — chạy khi site có dấu hiệu bất thườngset -ecurl -fsS https://example.com/health/ || echo "ALERT: health endpoint khong phan hoi"pg_isready -h db.example.com -p 5432 || echo "ALERT: PostgreSQL khong san sang"redis-cli -h cache.example.com ping || echo "ALERT: Redis khong phan hoi"systemctl is-active gunicorn celery || echo "ALERT: service dung"
# core/management/commands/ops_status.pyfrom django.core.management.base import BaseCommandfrom django.db import connectionsfrom django.core.cache import cacheclass Command(BaseCommand): help = "Kiem tra nhanh DB va cache truoc khi deploy" def handle(self, *args, **options): with connections["default"].cursor() as cursor: cursor.execute("SELECT 1") cursor.fetchone() self.stdout.write(self.style.SUCCESS("PostgreSQL: OK")) cache.set("ops_probe", "ok", timeout=10) assert cache.get("ops_probe") == "ok" self.stdout.write(self.style.SUCCESS("Redis cache: OK"))
Áp dụng vào dự án của bạn
Hãy dành chiều nay để viết runbook đầu tiên cho ứng dụng quản lý chi tiêu: bắt đầu từ quy trình deploy hiện tại, ghi lại từng lệnh bạn chạy bằng tay, rồi bổ sung checklist P1, P2, P3 theo mẫu ở trên. Một hệ thống production tốt không phải là hệ thống không bao giờ lỗi, mà là hệ thống mà mỗi lần lỗi đều được xử lý nhanh hơn lần trước.
Bài viết liên quan
- Django vận hành production #19: Mở rộng — nhiều worker, load balancing, read replica, khi nào mới cần scale
- Django vận hành production #18: Deploy không downtime — blue-green/rolling, thứ tự chạy migrations và restart
- Django vận hành production #17: CI/CD với GitHub Actions — test tự động rồi deploy
Câu hỏi thường gặp
Runbook khác tài liệu hệ thống ở điểm nào?
Runbook tập trung vào thao tác khi deploy hoặc khi lỗi, còn tài liệu hệ thống mô tả kiến trúc và lý do thiết kế. Khi đang trực sự cố lúc 2 giờ sáng, bạn cần runbook chứ không phải sơ đồ kiến trúc.
Khi nào nên chuyển sang Kubernetes?
Khi có nhiều service cần quản lý chung, cần tự phục hồi khi pod lỗi, hoặc cần scale theo tải mà systemd và deploy thủ công không đáp ứng nổi. Với một ứng dụng Django duy nhất, Gunicorn cộng systemd vẫn đủ tốt.
Checklist sự cố nên ngắn đến mức nào?
Đủ ngắn để đọc hết trong 5 phút khi đang căng thẳng, thường là 5 đến 7 bước cho mỗi mức độ. Chi tiết dài hơn hãy để trong phần giải thích phía dưới.
