Khi nút “Xuất CSV” phải trả về hàng trăm nghìn dòng, cách viết quen thuộc — gom hết dữ liệu vào một HttpResponse rồi mới gửi đi — sẽ “ôm” toàn bộ file vào RAM trước khi client nhận được byte đầu tiên. StreamingHttpResponse giải quyết đúng điểm này: nó gửi dữ liệu theo từng khối nhỏ ngay khi có, nên server chỉ giữ vài nghìn dòng trong bộ nhớ tại một thời điểm. Bài này dùng mẫu chuẩn trong tài liệu Django: csv.writer ghi vào một “file giả” (lớp Echo) kết hợp với QuerySet.iterator().

Vấn đề

Tình huống quen thuộc: trang báo cáo có nút xuất toàn bộ đơn hàng ra CSV. Code thường gặp viết như sau: tạo HttpResponse, đưa csv.writer ghi thẳng vào response, rồi lặp qua Order.objects.all() để ghi từng dòng. Trông thì ổn, nhưng Django phải đánh giá toàn bộ queryset, ghi hết mọi dòng vào response rồi mới bắt đầu gửi. Với 200.000 đơn hàng, RAM của worker tăng vọt trong suốt request, phản hồi chậm, và server nhỏ dễ bị timeout hoặc hết bộ nhớ ngay giữa chừng. Vấn đề không nằm ở câu truy vấn mà ở chỗ toàn bộ kết quả bị giữ lại trước khi gửi đi.

import csv
from django.http import HttpResponse
def export_orders_csv(request):
response = HttpResponse(content_type="text/csv")
response["Content-Disposition"] = 'attachment; filename="orders.csv"'
writer = csv.writer(response)
writer.writerow(["ID", "Ma don", "Tong tien"])
for order in Order.objects.all():
writer.writerow([order.id, order.code, order.total])
return response

Giải pháp

Đổi HttpResponse thành StreamingHttpResponse. Response này nhận một iterator và gửi từng phần ngay khi iterator sinh ra, thay vì chờ đủ nội dung. Vì csv.writer bắt buộc phải ghi vào một đối tượng có phương thức write(), ta dùng lớp Echo trong tài liệu Django: write() chỉ trả lại đúng chuỗi nó nhận được. Kết hợp với values_list() và iterator(chunk_size=2000) để cơ sở dữ liệu trả từng đợt 2.000 dòng, và itertools.chain để nối dòng tiêu đề vào đầu luồng mà không cần gom toàn bộ dữ liệu.

import csv
import itertools
from django.http import StreamingHttpResponse
class Echo:
"""Lop gia lap file: csv.writer ghi vao day, nhan lai chuoi de stream."""
def write(self, value):
return value
def export_orders_csv(request):
rows = itertools.chain(
[["ID", "Ma don", "Tong tien"]],
Order.objects.values_list("id", "code", "total").iterator(chunk_size=2000),
)
writer = csv.writer(Echo())
return StreamingHttpResponse(
(writer.writerow(row) for row in rows),
content_type="text/csv",
headers={"Content-Disposition": 'attachment; filename="orders.csv"'},
)

Ba điểm làm nên hiệu quả: thứ nhất, iterator(chunk_size=2000) bỏ qua bộ nhớ đệm của queryset và lấy dữ liệu theo từng đợt từ cơ sở dữ liệu. Thứ hai, Echo biến csv.writer thành một “máy phát chuỗi” thay vì ghi vào file thật. Thứ ba, generator expression chỉ tạo từng dòng khi cần gửi. Hai lưu ý thực tế: đừng gọi len() hay đếm tổng số dòng trước khi stream, vì làm vậy sẽ đánh giá hết queryset; và nếu dùng GZipMiddleware thì nên tắt nén cho view này, vì middleware nén sẽ đệm lại toàn bộ phản hồi để nén, làm mất lợi ích của streaming.

Áp dụng vào dự án của bạn

Hãy rà lại các view xuất báo cáo trong dự án — danh sách khách hàng, lịch sử giao dịch, log hoạt động — và thay HttpResponse bằng mẫu trên ở những chỗ dữ liệu có thể phình to theo thời gian. Đặt chunk_size trong khoảng 1.000–5.000 tùy độ rộng mỗi dòng, rồi kiểm tra mức RAM của worker trước và sau khi đổi bằng dữ liệu thật. Nếu file xuất ra vẫn nhỏ (vài nghìn dòng), giữ nguyên HttpResponse cho đơn giản; streaming chỉ thực sự đáng giá khi số dòng lớn hoặc tăng không giới hạn.

Bài viết liên quan

Câu hỏi thường gặp

StreamingHttpResponse khác gì HttpResponse?

HttpResponse gom toàn bộ nội dung rồi gửi một lần, còn StreamingHttpResponse gửi từng phần ngay khi iterator sinh ra. Client nhận dữ liệu sớm hơn và RAM của server luôn ở mức thấp, vì mỗi thời điểm chỉ giữ vài nghìn dòng.

Có dùng được mẫu này để xuất file Excel (.xlsx) không?

Không trực tiếp. Định dạng xlsx cần ghi ngẫu nhiên nên không thể stream theo từng dòng như CSV. Mẫu này hợp với CSV hoặc JSON Lines. Nếu bắt buộc phải có file xlsx, hãy tạo file tạm trên đĩa rồi trả về bằng FileResponse.

Vì sao phải dùng iterator(chunk_size=…) mà không lặp thẳng queryset?

Lặp thẳng queryset sẽ đánh giá toàn bộ kết quả và giữ trong bộ nhớ đệm của queryset, đúng thứ ta muốn tránh. iterator() bỏ qua bộ nhớ đệm đó và lấy dữ liệu theo từng đợt từ cơ sở dữ liệu.

💬 Bạn đã thử cách này trong dự án của mình chưa? Nếu gặp lỗi hoặc có cách làm gọn hơn, để lại bình luận bên dưới — mình đọc hết và sẽ bổ sung những ý hay vào bài.

Nguồn tham khảo