Python中使用SMOTE过采样处理不平衡数据集方法

使用SMOTE过采样技术前，必须确保数据已清洗干净且类型正确：X需为二维数值型数组，需剔除无关特征列、对分类变量进行编码转换、并妥善处理缺失值；k_neighbors参数应小于少数类样本数量，random_state参数务必固定；训练集与测试集须严格分离，仅对训练集实施重采样，且需验证合成样本的分布是否合理。

许多开发者在调用 fit_resample() 时遭遇报错，例如 ValueError: Expected 2D array, got 1D array instead 或 TypeError: A sparse matrix was passed, but dense data is required。问题的根源并不在SMOTE算法本身，而在于输入数据未达到要求。

• X 必须是二维数组（pandas.DataFrame 或 numpy.ndarray），不可为 pandas.Series 或一维向量
• 所有特征列均需为数值类型——分类变量（如 gender、product_type）须先用 pd.get_dummies() 或 OneHotEncoder 进行编码，不能保留 object 类型
• 缺失值需提前处理：SMOTE 无法接受 NaN，否则会触发 ValueError: Input contains NaN
• 应避免混入ID、时间戳、文本等非特征列——这些列在 X 中必须通过 drop() 移除，否则插值结果将失去实际意义

SMOTE(random_state=42, k_neighbors=5) 的参数该如何选择

k_neighbors 是最容易被忽视却影响极大的参数。默认值为5，但并非适用于所有场景：当少数类样本总数小于 k_neighbors 时（例如只有3个欺诈样本），SMOTE 会直接报错 ValueError: Expected n_neighbors <= n_samples。

• 若少数类样本数少于20，建议将 k_neighbors 设为3或2；取值过小会导致合成样本多样性不足，过大则无法正常运行
• random_state 必须固定，否则每次运行生成的合成样本都会不同，导致模型无法复现
• 不要为提高“质量”而盲目增大 k_neighbors——邻居范围过大，可能将分布边缘甚至噪声点纳入范围，反而冲淡少数类的真实模式
• 如果特征维度较高（超过50），可考虑先用 PCA 降维再执行 SMOTE，否则欧氏距离可能失效，邻居选择出现偏差

训练集与测试集必须严格分离，不可对全量数据调用 fit_resample()

这是导致线上模型效果崩塌的最常见原因。有些开发者直接将整个 df 送入 SMOTE，然后再划分训练集和测试集，导致测试集中混入了基于自身信息生成的“假样本”，使评估结果严重虚高。

• 务必先用 train_test_split(..., stratify=y) 完成切分，然后仅对 X_train 和 y_train 执行 smote.fit_resample()
• y_test 绝对不能参与任何重采样操作——它必须保持原始分布，才能真实反映模型在业务场景中的泛化能力
• 如需使用交叉验证，应将 SMOTE 封装进 Pipeline，确保每一折的重采样独立发生在训练折内部
• 注意：stratify=y 参数不可省略，否则切分后训练集可能不含少数类样本，导致后续 SMOTE 直接失败

过采样后不要只看 value_counts() 就认为万事大吉

各类别数量平衡了，并不代表模型效果一定会提升。常见的陷阱是合成样本集中在少数类边界附近，导致决策面被强行“撑开”，反而降低了模型的鲁棒性。

• 利用 scatter_matrix 或 PCA 投影绘制图形，观察合成样本是否明显偏离原始少数类簇（尤其在离群点附近大量聚集的情况）
• 检查 SMOTE 后的 X_res 是否存在极端异常值——插值本身不会越界，但如果原始数据中有未清洗的离群点，合成点可能放大其负面影响
• 务必使用 classification_report(y_test, y_pred) 对比召回率（recall）和F1值，而非准确率（accuracy）；前者才能反映模型对少数类的真实捕获能力
• 如果合成后模型在验证集上的 precision 大幅下降（例如从0.8降至0.3），说明新样本引入了大量误判风险，应降低采样比例或改用 ADASYN 算法

实际操作中最容易被忽略的环节，是验证合成样本的几何合理性——它不体现在代码行数中，却直接决定了你花费数小时调参的成果能否真正上线运行。