优雅处理爬虫数据缺失年份的列不匹配错误

本文提供两种可靠的解决方案，用于处理网页爬取表格时因行数据列数不足（例如某些国家缺少2022、2023年的GDP数据）而导致的“cannot set a row with mismatched columns”错误，从而避免程序中断，并保障数据的完整性与可扩展性。

在网页爬虫的日常工作中，使用pandas动态构建DataFrame时，一个常见问题就是：源HTML表格中某些行数据不完整——例如阿尔巴尼亚仅提供了2020和2021年的GDP，而2022和2023年数据缺失。此时，如果代码强行将长度为2的列表插入预设4列的DataFrame，就会立即触发ValueError: cannot set a row with mismatched columns，导致程序崩溃。

许多人的第一反应是逐行使用 df.loc[len(df)] = ... 追加数据，但这实际上是一个典型误区：不仅效率低下，而且一旦列数不匹配就会报错，毫无容错空间。正确的做法是：先将所有行数据收集并清洗，然后一次性构造DataFrame。下面分享两个经过生产环境反复验证的策略。

✅ 方案一：严格过滤——仅保留完整年份数据

适用场景：对数据完整性要求极高，缺失即舍弃。例如，如果你需要进行全周期统计分析，缺少一年数据就无法对比，那么直接丢弃不完整的行即可。

import pandas as pd

years = ['2020', '2021', '2022', '2023']
rows_clean = []

for row in GDP_2020[1:]:  # 跳过表头
    cells = row.find_all('td')
    row_values = [cell.text.strip() for cell in cells]
    # 仅保留恰好包含4个年份数据的行
    if len(row_values) == len(years):
        rows_clean.append(row_values)

GDP = pd.DataFrame(rows_clean, columns=years)

✅ 方案二：智能补全——缺失值填充为 NaN

这是更常用且更鲁棒的方式。特别是当缺失集中在末尾年份（例如仅缺2022、2023年）时，能够最大化保留有效观测数据，损失最小化。

import pandas as pd
import numpy as np

years = ['2020', '2021', '2022', '2023']
col_count = len(years)
rows_filled = []

for row in GDP_2020[1:]:
    cells = row.find_all('td')
    row_values = [cell.text.strip() for cell in cells]
    # 补齐至4列：末尾用 NaN 填充（假设缺失为右对齐）
    padded_row = row_values + [np.nan] * (col_count - len(row_values))
    rows_filled.append(padded_row)

GDP = pd.DataFrame(rows_filled, columns=years)

⚠️ 重要说明：方案二默认缺失年份位于序列右侧（例如 ['15,192', '17,984'] 会被补全为 ['15,192', '17,984', NaN, NaN]）。但如果遇到非连续缺失（例如只有2020和2022年数据），就不能简单使用右对齐填充。此时需要结合 标签或列标题来定位具体年份，再进行映射填充——建议在解析时同步提取 中的 ，或者直接使用 pandas.read_html() 自动对齐列名，这样更省心。

? 为什么应该避免使用 df.append() 或 df.loc[] 循环追加？

• pandas.DataFrame.append() 在 pandas 2.0+ 版本中已被弃用，每次调用都会复制整个 DataFrame，时间复杂度为 O(n²) —— 当行数增加时，性能会急剧下降。
• df.loc[len(df)] = ... 同样会触发底层拷贝，随着行数增加，性能严重下降。
• 批量构造（先收集列表，再一次性转换为 DataFrame）是官方推荐的最佳实践，在内存和速度方面都有明显优势。

最终得到的 GDP DataFrame 中，缺失值会自动变为 NaN。后续无论是使用 .dropna()、.fillna() 还是插值运算，都非常方便。这样编写的代码既健壮又易于维护，值得养成习惯。