Python polars学习-06 Lazy / Eager API

背景

polars学习系列文章，第6篇 Lazy / Eager API
Lazy： 延迟、惰性
Eager： 即时、实时

该系列文章会分享到github，大家可以去下载jupyter文件，进行参考学习
仓库地址：https://github.com/DataShare-duo/polars_learn

小编运行环境

import sysprint('python 版本：',sys.version.split('|')[0])
#python 版本： 3.11.9import polars as plprint("polars 版本：",pl.__version__)
#polars 版本： 0.20.22

Lazy / Eager API 区别

Eager API（即时、实时）
实时进行计算，每一步操作都会进行计算，类似pandas那样，每操作一步都会进行计算，得到这一步的结果，所见即所得，如果没有明确指定或者调用特定的方法之外，polars 基本都是使用该模式
Lazy API（延迟、惰性）
推迟进行计算，把所有的操作步骤先记下来，Query plan（查询计划），等到需要结果时，才统一进行计算，polars 会对这些计算步骤自动进行优化，提升性能
- pl.scan_csv 等 pl.scan_ 函数
- 调用DataFrame 的 .lazy 方法，转换为 Lazy 模式

Eager API 数据处理案例

df = pl.read_csv("./data/iris.csv")
df_small = df.filter(pl.col("Sepal.Length") > 5)
df_agg = df_small.group_by("Species").agg(pl.col("Sepal.Width").mean())
print(df_agg)#shape: (3, 2)
┌────────────┬─────────────┐
│ Species    ┆ Sepal.Width │
│ ---        ┆ ---         │
│ str        ┆ f64         │
╞════════════╪═════════════╡
│ versicolor ┆ 2.804255    │
│ virginica  ┆ 2.983673    │
│ setosa     ┆ 3.713636    │
└────────────┴─────────────┘

Lazy API 数据处理案例

q = (pl.scan_csv("./data/iris.csv").filter(pl.col("Sepal.Length") > 5).group_by("Species").agg(pl.col("Sepal.Width").mean())
)df = q.collect()
print(df)#shape: (3, 2)
┌────────────┬─────────────┐
│ Species    ┆ Sepal.Width │
│ ---        ┆ ---         │
│ str        ┆ f64         │
╞════════════╪═════════════╡
│ virginica  ┆ 2.983673    │
│ versicolor ┆ 2.804255    │
│ setosa     ┆ 3.713636    │
└────────────┴─────────────┘