Khi dữ liệu lớn hơn RAM, cách đúng không phải đọc hết vào list rồi mới tính, mà là xử lý theo luồng — tính tới đâu, đọc tới đó. Module itertools trong thư viện chuẩn sinh ra cho việc này: các hàm của nó trả về iterator lười, chỉ tạo phần tử khi bạn duyệt tới. Bài này dùng ba hàm hay gặp nhất — islice, chain và groupby — để đọc, gộp và nhóm dữ liệu lớn.

Vấn đề

File log vài GB là tình huống quen thuộc: bạn chỉ cần xem 10 dòng đầu để kiểm tra định dạng, hoặc đếm lỗi từng ngày. Cách viết quen tay là đọc toàn bộ file vào list rồi mới xử lý, và đó là lúc rắc rối bắt đầu.

# Cách tốn RAM: đọc hết file vào list
lines = open("access.log").readlines() # file 2 GB -> RAM 2 GB
first_10 = lines[:10]
print(first_10)

Với file quá lớn, chương trình có thể bị hệ thống kill trước khi chạy tới dòng xử lý chính. Tương tự, gộp nhiều file log bằng toán tử + sẽ tạo một list mới mỗi lần nối — vừa chậm vừa tốn bộ nhớ gấp đôi.

Giải pháp

Ba hàm dưới đây thay thế đúng ba thói quen trên — tất cả đều trả về iterator, không phần tử nào được tạo ra cho tới khi vòng lặp duyệt tới nó.

Muốn xem 10 dòng đầu, dùng islice thay cho readlines():

from itertools import islice
with open("access.log") as f:
first_10 = list(islice(f, 10)) # chỉ đọc 10 dòng đầu
print(first_10)

islice(f, 10) dừng ngay sau dòng thứ 10 — phần còn lại của file không bao giờ được đọc. Nó cũng cắt được đoạn giữa bằng islice(f, 100, 110) để lấy mẫu ở giữa file lớn.

Muốn gộp nhiều file thành một luồng duy nhất, dùng chain thay cho phép nối list:

from contextlib import ExitStack
from itertools import chain
names = ["access-mon.log", "access-tue.log", "access-wed.log"]
with ExitStack() as stack:
files = [stack.enter_context(open(name)) for name in names]
errors_500 = sum(1 for line in chain(*files) if " 500 " in line)
print(errors_500)

chain nối nhiều iterator thành một luồng duy nhất, không tạo list trung gian — đếm lỗi 500 trên cả tuần chỉ cần một vòng lặp, và ExitStack đóng cả ba file khi xong.

Muốn nhóm log theo ngày, dùng groupby thay cho vòng lặp tự gom bằng dict:

from itertools import groupby
lines = [
"2026-11-16 ERROR db timeout",
"2026-11-16 ERROR db timeout",
"2026-11-15 INFO ok",
]
for date, group in groupby(lines, key=lambda line: line[:10]):
print(date, sum(1 for _ in group))

groupby chỉ gom các phần tử liên tiếp có cùng khóa, nên dữ liệu phải được sắp xếp trước theo khóa đó — quên sắp xếp là lỗi hay gặp nhất. Nếu log chưa có thứ tự, sắp xếp trước bằng sorted(lines, key=lambda line: line[:10]) rồi mới nhóm.

Áp dụng vào dự án của bạn

Trong dự án thật, hãy bắt đầu từ chỗ đang “đọc hết rồi mới tính”: file log, file CSV export hay danh sách kết quả query. Thay readlines() bằng vòng lặp trực tiếp trên file object, thêm islice khi chỉ cần một phần, dùng chain khi gộp nhiều nguồn, và dùng groupby thay cho vòng lặp tự gom nhóm bằng dict khi dữ liệu đã có thứ tự. Ba hàm này đủ cho hầu hết file log và báo cáo hàng ngày.

Bài viết liên quan

Câu hỏi thường gặp

itertools khác gì list comprehension?

List comprehension tạo toàn bộ list trong RAM ngay lập tức; itertools trả về iterator, chỉ tính phần tử khi duyệt tới. Dữ liệu vừa trong RAM thì list comprehension thường nhanh hơn một chút; dữ liệu lớn thì itertools mới là lựa chọn an toàn.

Vì sao groupby của tôi nhóm sai, mỗi khóa xuất hiện nhiều lần?

Vì groupby chỉ gom các phần tử liên tiếp có cùng khóa. Sắp xếp theo khóa trước bằng sorted(…, key=…) rồi mới groupby, mỗi khóa sẽ chỉ xuất hiện một lần.

islice có dùng được với list thường không?

Được, islice nhận mọi iterable, kể cả list. Nhưng với list thì lines[:10] đơn giản hơn; islice phát huy khi nguồn chỉ đọc một lần, như file object hay generator.

Khi nào nên dùng itertools thay vì pandas?

Khi bài toán chỉ là đọc, gộp, nhóm theo luồng và bạn không muốn thêm dependency nặng. pandas mạnh hơn khi cần lọc, join và thống kê phức tạp trên dữ liệu bảng.

💬 Bạn đã thử cách này trong dự án của mình chưa? Nếu gặp lỗi hoặc có cách làm gọn hơn, để lại bình luận bên dưới — mình đọc hết và sẽ bổ sung những ý hay vào bài.

Nguồn tham khảo