训练集与测试集划分前如何正确去除重复样本

在机器学习数据预处理流程中，一个至关重要的步骤是：务必在将数据分割为训练集和测试集之前移除重复行。错误的处理顺序将直接导致数据泄露，使模型评估结果失真，并可能引发性能指标虚高或虚低等问题。

在机器学习项目的实践中，数据预处理阶段存在一个容易被忽视却影响重大的关键细节——重复样本的处理时机。其核心原则可以明确为：数据去重操作，必须优先于任何形式的数据集划分。一旦这个顺序被颠倒，后续所有关于模型性能的评估都将失去可信度。

重复样本，即数据集中完全相同的记录行，是影响数据质量的核心问题之一。真正的挑战往往不在于“是否需要进行去重”，而在于“选择在哪个处理环节进行去重”。如果在完成训练集与测试集的划分之后，再对各自子集进行独立去重，将会引入一系列难以察觉的风险。

最首要的风险是数据泄露。设想一个场景：同一份数据的两个完全相同的副本，被随机分配算法分别置入训练集和测试集。这实质上意味着，模型在训练阶段已经提前“见识”了测试集中的部分信息。在最终的评估环节，模型对这些“熟悉”数据的预测会表现得异常精准，但这种精准是一种假象，它会严重高估模型面对全新、未知数据时的真实泛化能力，导致评估结论过于乐观且不可靠。

即便所有重复样本都巧合地被分配到了同一个子集（例如全部进入训练集），风险依然不容忽视。模型会过度拟合这些高频出现的样本，导致学习到的规律偏离数据的真实总体分布。另一方面，如果测试集中包含了重复样本，评估指标的计算就会产生统计偏差。以准确率为例，同一条数据被多次预测正确，会重复计入分子，导致指标虚高；反之，若预测错误，惩罚也会被重复计算，造成指标虚低。无论哪种情况，都扭曲了模型性能的真实评估。

因此，标准且安全的操作路径非常明确：

✅ 标准操作流程：先全局去重，再划分数据

以下是一个典型的代码示例，展示了如何安全地执行这一流程：

import pandas as pd
from sklearn.model_selection import train_test_split

# 假设 df 是包含特征和标签的原始数据集
df_clean = df.drop_duplicates()  # 关键一步：在划分前执行全局去重

# 建议检查去重后的数据量变化，做到心中有数
print(f"原始样本数: {len(df)}, 去重后: {len(df_clean)}")

# 数据划分应在去重后的干净数据上进行
X = df_clean.drop('target', axis=1)
y = df_clean['target']
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

⚠️ 几个不容忽视的注意事项

当然，简单地调用 drop_duplicates() 并非一劳永逸，在实际操作中还需注意以下几点：

• 理解重复的语义：在某些特定业务场景下，重复记录可能具有实际意义。例如，记录同一用户的多次登录或交易行为。此时，不能武断地删除所有重复行，而应依据业务逻辑（如按用户ID保留时间戳最新或最早的一条记录）进行针对性清洗。
• 警惕噪声列干扰：在执行去重前，必须检查数据中是否包含时间戳、自增ID这类天然具有唯一性的列。若这些列被纳入重复判断，会导致本应视为相同的样本被误判为不同。通常需要使用 subset 参数来明确指定用于判断重复的关键特征列。
• 指定关键列去重：使用 drop_duplicates(subset=['feature_a', 'feature_b']) 可以仅依据核心业务特征列来判断重复，这通常更符合实际分析需求。
• 验证数据分布：去重操作完成后，特别是对于分类任务，务必检查目标变量各个类别的样本分布是否发生了剧烈变化，以避免意外丢失某一类别的全部代表性样本。

总而言之，将数据去重坚定地置于数据集划分之前，这并非一个可选的优化技巧，而是确保模型评估结果可信、保障模型能够稳健部署的基本原则与底线。忽视这一顺序，你所构建的模型性能指标，其可靠性可能从一开始就存在根本性缺陷。