Polars 2.1.0 ra mắt ngày 25/10/2026: group-by và hàm cửa sổ (over) giờ tràn dữ liệu ra đĩa thay vì chết vì hết RAM, Polars SQL thêm WITH RECURSIVE và ASOF JOIN, còn file Parquet mã hóa được từng cột với khóa riêng. Nâng cấp bằng lệnh pip install -U polars.
Bản 2.0 đã đặt streaming engine làm mặc định, nhưng group-by với hàng triệu khóa riêng biệt vẫn ngốn hết RAM. Bản 2.1 vá đúng chỗ đó và đẩy Polars SQL gần hơn tới một “warehouse thu nhỏ” trên laptop.
Group-by out-of-core
Group-by giữ một trạng thái cho mỗi khóa, nên bộ nhớ tăng theo số nhóm chứ không theo kích thước dữ liệu. Gom 46,9 triệu chuyến taxi theo tuyến và phút tạo ra tới 44,2 triệu nhóm — đủ làm sập một container 4 GB. Polars 2.1 cho phép streaming group-by tràn trạng thái ra đĩa khi vượt ngân sách. Thử nghiệm của Plotly: Polars 2.0 làm container khởi động lại vì hết RAM, còn 2.1 với ngân sách 128 MB hoàn thành ở mức đỉnh 508 MB, chậm hơn đôi chút (33,1 giây so với 12,9 giây). Hàm cửa sổ over() cũng tràn ra đĩa tương tự.
SQL giống warehouse hơn
Polars SQL thêm WITH RECURSIVE, cho phép duyệt đồ thị hay cây phân cấp mà không biết trước cần bao nhiêu lần join, ví dụ tìm mọi sân bay tới được sau ba chặng bay. Hiện chỉ chấp nhận UNION ALL nên cần giới hạn số hop. ASOF JOIN cũng có mặt, với cú pháp MATCH_CONDITION như Snowflake: mỗi dòng được ghép với dòng gần nhất tại hoặc trước thời điểm của nó — cách chuẩn để gắn giá chứng khoán hay số đo cảm biến gần nhất vào từng sự kiện. Ngoài ra còn DATE_TRUNC, generate_series, REGEXP_REPLACE và bảng tạm.
Mã hóa Parquet theo từng cột
Parquet có chuẩn mã hóa modular dùng AES, cho phép mỗi cột dùng một khóa riêng. Polars 2.1 giờ đọc và ghi được định dạng này qua ParquetEncryptionProperties và ParquetDecryptionProperties. Một file phục vụ cả hai nhóm: analyst không có khóa vẫn đọc cột công khai, team tài chính giữ khóa riêng để đọc cột tiền. Plotly ghi 46,9 triệu dòng có mã hóa trong 20,0 giây, so với 20,3 giây không mã hóa.
Lưu ý trước khi nâng cấp
Thứ nhất, Polars 2.1 yêu cầu Python 3.11 trở lên, bỏ hỗ trợ Python 3.10. Cài trên Python cũ hơn sẽ âm thầm nhận về bản 1.x, nên hãy kiểm tra phiên bản Python trước. Thứ hai, phép toán trộn chuỗi và số trong chế độ eager giờ bị cấm: pl.Series([1, 2]) + “4” trước đây trả về [“14”, “24”], nay raise lỗi.
Ý nghĩa với bạn
Nếu bạn xử lý dữ liệu lớn trên một máy, 2.1 gỡ rào cản cuối cùng của streaming engine: group-by nhiều khóa không còn buộc bạn mua máy lớn hơn hay dựng cụm Spark. Hãy đặt POLARS_OOC_SPILL_DIR trỏ sang ổ đĩa còn chỗ trống. Với dữ liệu nhạy cảm chia sẻ qua file Parquet, mã hóa theo cột giúp một file phục vụ nhiều đối tượng.
Bài viết liên quan
- Polars 2.0 chính thức ra mắt: engine streaming thành mặc định, spill-to-disk và SQL nhanh hơn DuckDB
- pandas 3.1.0 ra mắt: đọc CSV nhanh gấp 2–3 lần, thêm DataFrame.select() và “khai tử” dần inplace=True
Câu hỏi thường gặp
Nâng cấp lên Polars 2.1 bằng cách nào?
Chạy pip install -U polars, rồi kiểm tra bằng pl.__version__. Cần Python từ 3.11 trở lên.
Group-by out-of-core có làm truy vấn chậm đi không?
Có, vì đĩa chậm hơn RAM. Plotly gom 46,9 triệu chuyến taxi với ngân sách 128 MB mất 33,1 giây, so với 12,9 giây ở ngân sách mặc định. Đổi lại, truy vấn hoàn thành thay vì bị giết vì hết RAM.
POLARS_OOMKILL_THRESHOLD_FRACTION dùng để làm gì?
Đây là ngưỡng mới trong 2.1: truy vấn vượt ngưỡng bộ nhớ sẽ bị Polars tự dừng thay vì để hệ điều hành giết cả tiến trình. Đặt khoảng 0,85.
💬 Tin này ảnh hưởng tới dự án của bạn thế nào? Chia sẻ góc nhìn của bạn trong phần bình luận — mình đọc hết và sẽ tổng hợp những ý hay nhất.
Nguồn tham khảo
- Polars 2.1 release notes (pola.rs): https://pola.rs/releases/2.1
- Plotly — “Polars 2.1: Out-of-Core Group-By, SQL and Encryption Tested” (3/11/2026): https://plotly.com/blog/polars-2-1/
- CodeCut — “What’s New in Polars 2.1: Faster Group-Bys, More SQL, Encrypted Parquet”: https://codecut.ai/polars-2-1-whats-new/
