Polars vs Pandas：千万级数据实测，迁移到底值不值？

文章主旨：Polars 不是更快的 Pandas，而是一个查询编译器，通过查询优化器、Arrow 列式引擎和 Rust 并行计算，在大型数据集上实现 10–50 倍加速，并提供从 Pandas 迁移的实操指南。

关键要点：

• Polars 的 Lazy API 允许用户构建逻辑计划（不立即执行），由查询优化器自动执行谓词下推、投影裁剪和公共子计划消除，大幅减少 I/O 和计算量。
• 底层 Apache Arrow 列式内存布局配合 Rust SIMD 向量化指令，实现多核并行处理，性能远超 Pandas 的逐行执行模式。
• 迁移最简路径：read_csv 换成 scan_parquet，逐步重写 GroupBy/Join，最后统一 .collect()。
• 对于超内存数据，使用 collect(streaming=True) 可实现微批次流式处理，无需引入 Dask/Spark 等分布式框架。
• Polars 可无缝嵌入 AI 数据管线（LLM 日志分析、RAG 文档预处理、Embedding 后处理），与 Pandas/Seaborn 等生态混合使用。

内容结构：

1. 当 Pandas 撞上数据墙：揭示 Pandas 单线程执行、多次全表扫描的物理限制，指出缺乏编译优化层是根本原因。
   原文示例：三条过滤分组聚合语句导致三次全表扫描，无法并行。
2. 查询编译器：Polars 的真正内核：解释 Lazy API 的工作机制——.collect() 前只是构建逻辑计划树，优化器接管后执行谓词下推、投影裁剪、CSE。通过 lf.explain() 可查看优化后的计划。
3. 列式引擎：Arrow 内存布局是物理基础：对比 NumPy 行式存储与 Arrow 列式存储在 CPU 缓存命中、SIMD 向量化方面的差异。Polars 的表达式系统可自动分配多核并行计算。
4. 搬家伙：20 个 Pandas 操作一键转 Polars：提供常见操作对照表（读 CSV/Parquet、选列、过滤、新增列、GroupBy、Join 等），并给出 3 个真实迁移场景：ETL 管道（1 次扫描替代 3 次）、多表 Join（自动前置过滤）、混合策略（Polars 做重活，Pandas 做最后一公里绘图）。
5. 当内存不够时：Streaming 引擎：collect(streaming=True) 将查询切为微批次，全程内存可控，避免 OOM。代价是全局排序需要落盘，部分操作暂不支持 streaming。
6. Polars 在 AI 数据管线里的位置：三个具体场景——LLM 调用日志分析（谓词下推跳读无关数据）、RAG 文档预处理（流水线并行清洗统计）、Embedding 后处理（与 Arrow-native 向量库零拷贝互通）。

文章总结：Polars 作为数据预处理层的加速器，通过查询编译和列式引擎颠覆了传统 Pandas 的逐行执行范式，建议在百万行以上数据场景中优先采用，同时保留与 Pandas 生态的混合使用灵活性。

数据STUDIO

查看原文：Polars vs Pandas：千万级数据实测，迁移到底值不值？

文章来源：

数据STUDIO

扫码关注公众号