Polars 自定义函数返回多列的正确实现方式

Polars 自定义函数返回多列的正确实现方式

在 Polars 中，自定义函数需直接返回多个 Expr 对象（而非 struct），再通过生成器表达式或字典解包动态重命名并注入列，才能高效、可扩展地添加多列。

在 Polars 数据处理中，如何通过自定义函数一次性生成多列数据？这是许多开发者都会遇到的需求，但实现方法上存在一个常见误区。核心要点在于：函数应当直接返回多个独立的表达式对象，而不是将它们合并为一个结构体。

Polars 的 with_columns() 方法本身支持批量添加新列。然而，它不支持将 pl.struct() 的结果通过 .alias([“col1”, “col2”]) 自动拆分为多个独立列——这是新手最容易出错的地方。pl.struct() 创建的是一个包含嵌套结构的单列，它不会自动展开为平行的多列。正确的解决方案是：让自定义函数直接返回多个 Expr 实例，然后利用 Polars 的表达式组合机制来完成列名的绑定与数据插入。

✅ 推荐实现：函数返回元组，配合 enumerate 动态别名

import polars as pl
import numpy as np

def _func(x: pl.Expr) -> tuple[pl.Expr, pl.Expr]:
    x1 = x + 1
    x2 = x + 2
    return x1, x2  # 直接返回两个 Expr，非 struct！

df = pl.DataFrame({"test": np.arange(1, 11)})

# 方式1：按序号自动命名（推荐，可扩展至 N 列）
result = df.with_columns(
    expr.alias(f"test{i+1}") 
    for i, expr in enumerate(_func(pl.col("test"))))
print(result)

执行上述代码后，输出结果如下：

shape: (10, 3)
┌──────┬───────┬───────┐
│ test ┆ test1 ┆ test2 │
│ ---  ┆ ---   ┆ ---   │
│ i32  ┆ i32   ┆ i32   │
╞══════╪═══════╪═══════╡
│ 1    ┆ 2     ┆ 3     │
│ 2    ┆ 3     ┆ 4     │
│ …    ┆ …     ┆ …     │
└──────┴───────┴───────┘

✅ 优势：无需硬编码列名，轻松适配任意数量返回值（如后续改为 x+1, x+2, x+3, x+4，仅需保持 enumerate 逻辑即可）。

? 灵活命名方案：使用 zip 或字典解包

如果需要为每一列指定自定义名称（例如 “a”、“b”），也有两种简洁高效的写法。

方式2：zip + 生成器（语义清晰）

df.with_columns(
    expr.alias(name) 
    for expr, name in zip(_func(pl.col("test")), ["a", "b"]))

方式3：字典解包（函数式风格，适合配置驱动）

df.with_columns(
    **dict(zip(["a", "b"], _func(pl.col("test")))))

这两种方法都避免了冗长的链式 .alias() 调用。更重要的是，它们天然确保了名称列表与表达式序列的长度一致性——一旦长度不匹配，便会抛出 ValueError，有助于在开发阶段快速定位问题。

⚠️ 注意事项与最佳实践

• ❌ 避免使用 pl.struct([...]).alias([...])：Polars 不支持结构体列的“多别名展开”，这种写法通常会导致静默失败或 SchemaError 错误。
• ✅ 建议明确标注函数返回类型（如 tuple[pl.Expr, ...]），这能显著提升代码的可维护性，并增强 IDE 的智能提示与类型检查功能。
• ? 性能考量：对于复杂计算逻辑，可以封装为 pl.UDF（用户定义函数）。但纯表达式链（如本例）通常具有更优的执行性能，应优先考虑。
• ? 输入一致性：所有返回的 Expr 必须基于同一个输入列（例如都是 pl.col(“test”)），否则可能触发 ComputeError。若需进行跨列运算，建议在 with_columns() 外部统一组织好计算逻辑。

掌握以上方法，你不仅能准确实现双列输出，还能轻松扩展到任意多列的场景。这样，你的代码在保持简洁性与高可读性的同时，也能充分发挥 Polars 高性能计算框架的优势。