XGBoost十个最常用超参数详解

XGBoost 的超参数调优是提升模型性能的关键，下面将详细介绍十个重要超参数及其调优技巧，帮助你获得最佳模型效果。

参数总览

对于XGBoost来说，默认的超参数是可以正常运行的，但是如果你想获得最佳的效果，那么就需要自行调整一些超参数来匹配你的数据，以下参数对于XGBoost非常重要：

• eta
• num_boost_round
• max_depth
• subsample
• colsample_bytree
• gamma
• min_child_weight
• lambda
• alpha

XGBoost的API有2种调用方法，一种是我们常见的原生API，一种是兼容Scikit-learn API的API，Scikit-learn API与Sklearn生态系统无缝集成。我们这里只关注原生API（也就是我们最常见的），但是这里提供一个列表，这样可以帮助你对比2个API参数，万一以后用到了呢：

如果想使用Optuna以外的超参数调优工具，可以参考该表。下图是这些参数对之间的相互作用：

这些关系不是固定的，但是大概情况是上图的样子，因为有一些其他参数可能会对我们的这10个参数有额外的影响。

1、objective

这是我们模型的训练目标

最简单的解释是，这个参数指定我们模型要做的工作，也就是影响决策树的种类和损失函数。

小提示： 选择正确的 objective 是调优的第一步，例如回归任务用 reg:squarederror，二分类用 binary:logistic，多分类用 multi:softmax 或 multi:softprob。

常见问题： 如果 objective 设置错误会怎样？
答：模型会使用错误的损失函数，导致训练过程不收敛或预测结果完全错误。例如用回归目标去做分类，输出值可能不在 [0,1] 区间内。

2、num_boost_round - n_estimators

num_boost_round指定训练期间确定要生成的决策树（在XGBoost中通常称为基础学习器）的数量。默认值是100，但对于今天的大型数据集来说，这还远远不够。

增加参数可以生成更多的树，但随着模型变得更复杂，过度拟合的机会也会显著增加。

从Kaggle中学到的一个技巧是为num_boost_round设置一个高数值，比如100,000，并利用早停获得最佳版本。

在每个提升回合中，XGBoost会生成更多的决策树来提高前一个决策树的总体得分。这就是为什么它被称为boost。这个过程一直持续到num_boost_round轮询为止，不管是否比上一轮有所改进。

但是通过使用早停技术，我们可以在验证指标没有提高时停止训练，不仅节省时间，还能防止过拟合

有了这个技巧，我们甚至不需要调优num_boost_round。下面是它在代码中的样子：

# Define the rest of the params params = {...}  # Build the train/validation sets dtrain_final = xgb.DMatrix(X_train, label=y_train) dvalid_final = xgb.DMatrix(X_valid, label=y_valid)  bst_final = xgb.train(     params,     dtrain_final,     num_boost_round=100000 # Set a high number     evals=[(dvalid_final, "validation")],     early_stopping_rounds=50, # Enable early stopping     verbose_eval=False, )

上面的代码使XGBoost生成100k决策树，但是由于使用了早停，当验证分数在最后50轮中没有提高时，它将停止。一般情况下树的数量范围在5000-10000即可。控制num_boost_round也是影响训练过程运行时间的最大因素之一，因为更多的树需要更多的资源。

小提示： 早停轮数（early_stopping_rounds）建议设置为 50~100，既能保证模型充分训练，又不会浪费太多时间。如果验证集较大，可以适当增大该值。

常见问题： 早停后如何获取最佳模型？
答：XGBoost 的 train 函数返回的模型对象会自动保存最佳迭代（基于验证集），无需手动保存。如果使用 early_stopping_rounds，训练结束后直接使用 bst_final 即可。

3、eta - learning_rate

在每一轮中，所有现有的树都会对给定的输入返回一个预测。例如，五棵树可能会返回以下对样本N的预测：

Tree 1: 0.57    Tree 2: 0.9    Tree 3: 4.25    Tree 4: 6.4    Tree 5: 2.1

为了返回最终的预测，需要对这些输出进行汇总，但在此之前XGBoost使用一个称为eta或学习率的参数缩小或缩放它们。缩放后最终输出为：

output = eta * (0.57 + 0.9 + 4.25 + 6.4 + 2.1)

大的学习率给集合中每棵树的贡献赋予了更大的权重，但这可能会导致过拟合/不稳定，会加快训练时间。而较低的学习率抑制了每棵树的贡献，使学习过程更慢但更健壮。这种学习率参数的正则化效应对复杂和有噪声的数据集特别有用。

学习率与num_boost_round、max_depth、subsample和colsample_bytree等其他参数呈反比关系。较低的学习率需要较高的这些参数值，反之亦然。但是一般情况下不必担心这些参数之间的相互作用，因为我们将使用自动调优找到最佳组合。

小提示： 常见的学习率范围是 0.01 ~ 0.3。如果数据噪声较大，建议使用较小的学习率（如0.01）并配合较多的树；如果数据简单，可以使用较大的学习率（如0.1）并减少树的数量。

常见问题： 学习率和树的数量有直接关系吗？
答：是的，两者呈反比关系。学习率越小，需要的树越多；学习率越大，需要的树越少。但为了稳定，通常使用较小的学习率（如0.01~0.1）并利用早停自动确定树的数量。

4、subsample和colsample_bytree

子抽样subsample它将更多的随机性引入到训练中，从而有助于对抗过拟合。

Subsample =0.7意味着集合中的每个决策树将在随机选择的70%可用数据上进行训练。值1.0表示将使用所有行（不进行子抽样）。

与subsample类似，也有colsample_bytree。顾名思义，colsample_bytree控制每个决策树将使用的特征的比例。Colsample_bytree =0.8使每个树使用每个树中随机80%的可用特征（列）。

调整这两个参数可以控制偏差和方差之间的权衡。使用较小的值降低了树之间的相关性，增加了集合中的多样性，有助于提高泛化和减少过拟合。

但是它们可能会引入更多的噪声，增加模型的偏差。而使用较大的值会增加树之间的相关性，降低多样性并可能导致过拟合。

小提示： 推荐 subsample 在 0.6~0.9 之间，colsample_bytree 在 0.6~1.0 之间。如果数据量很大或特征很多，可以适当降低这两个值以增加随机性。

常见问题： 同时设置 subsample 和 colsample_bytree 会不会导致模型欠拟合？
答：如果两个值都设置得很小（如0.3），确实可能欠拟合，因为每棵树只看到很少的数据和特征。建议先从0.8开始尝试，并根据验证集表现调整。通常两者同时降低到0.5以下需要谨慎。

5、max_depth

最大深度max_depth控制决策树在训练过程中可能达到的最大层次数。

更深的树可以捕获特征之间更复杂的相互作用。但是更深的树也有更高的过拟合风险，因为它们可以记住训练数据中的噪声或不相关的模式。为了控制这种复杂性，可以限制max_depth，从而生成更浅、更简单的树，并捕获更通用的模式。

Max_depth数值可以很好地平衡了复杂性和泛化。

小提示： 对于大多数表格数据，max_depth 在 3~10 之间表现良好。如果数据特征较少或关系简单，使用较小的深度（如3~5）；如果特征多且复杂，可以尝试6~10。注意深度过大（如>15）容易过拟合。

常见问题： max_depth 和 num_boost_round 哪个更重要？
答：两者都很重要，但 max_depth 控制单棵树的复杂度，num_boost_round 控制整体树的数量。通常先调优 max_depth，再调优 num_boost_round（或使用早停）。如果树很深，可以适当减少树的数量。

6、alpha 和 lambda

这两个参数一起说是因为alpha (L1)和lambda (L2)是两个帮助过拟合的正则化参数。

与其他正则化参数的区别在于，它们可以将不重要或不重要的特征的权重缩小到0（特别是alpha），从而获得具有更少特征的模型，从而降低复杂性。

alpha和lambda的效果可能受到max_depth、subsample和colsample_bytree等其他参数的影响。更高的alpha或lambda值可能需要调整其他参数来补偿增加的正则化。例如，较高的alpha值可能受益于较大的subsample值，因为这样可以保持模型多样性并防止欠拟合。

小提示： 默认情况下 alpha=0，lambda=1。如果出现过拟合，可以尝试增大 alpha 到 0.1~1，或增大 lambda 到 1~10。如果特征很多且稀疏，alpha 效果更明显。

常见问题： 什么时候应该用 alpha 而不是 lambda？
答：当数据特征很多且大部分特征不重要时，L1（alpha）可以将不重要特征的权重直接变为0，实现特征选择。L2（lambda）则更倾向于将权重均匀缩小，适合特征都比较重要的情况。两者可以同时使用。

7、gamma

如果你读过XGBoost文档，它说gamma是：

在树的叶节点上进行进一步分区所需的最小损失减少。

英文原文：the minimum loss reduction required to make a further partition on a leaf node of the tree.

我觉得除了写这句话的人，其他人都看不懂。让我们看看它到底是什么，下面是一个两层决策树：

为了证明通过拆分叶节点向树中添加更多层是合理的，XGBoost应该计算出该操作能够显著降低损失函数。

但“显著是多少呢？”这就是gamma——它作为一个阈值来决定一个叶节点是否应该进一步分割。

如果损失函数的减少（通常称为增益）在潜在分裂后小于选择的伽马，则不执行分裂。这意味着叶节点将保持不变，并且树不会从该点开始生长。

所以调优的目标是找到导致损失函数最大减少的最佳分割，这意味着改进的模型性能。

小提示： 默认 gamma=0，此时任何能减少损失的分裂都会执行。如果出现过拟合，可以尝试增大 gamma 到 0.1~1，让模型更保守，只进行显著获益的分裂。

常见问题： gamma 和 max_depth 有什么区别？
答：max_depth 限制树的最大层数，是硬性限制；gamma 是软性限制，通过阈值控制是否分裂。两者都能防止过拟合，但 gamma 更灵活，可以自动在深度较大时停止分裂，而 max_depth 则强制停止。

8、min_child_weight

XGBoost从具有单个根节点的单个决策树开始初始训练过程。该节点包含所有训练实例（行）。然后随着 XGBoost 选择潜在的特征和分割标准最大程度地减少损失，更深的节点将包含越来越少的实例。

如果让XGBoost任意运行，树可能会长到最后节点中只有几个无关紧要的实例。这种情况是非常不可取的，因为这正是过度拟合的定义。

所以XGBoost为每个节点中继续分割的最小实例数设置一个阈值。通过对节点中的所有实例进行加权，并找到权重的总和，如果这个最终权重小于min_child_weight，则分裂停止，节点成为叶节点。

上面解释是对整个过程的最简化的版本，因为我们主要介绍他的概念。

小提示： 默认 min_child_weight=1。如果数据噪声大或样本量小，可以适当增大该值，例如 5~10，防止模型过度拟合到少数样本。对于大型数据集，保持默认通常即可。

常见问题： min_child_weight 和 subsample 有关联吗？
答：有一定关联。如果 subsample 很小（如0.5），每棵树只看到一半数据，那么节点中的样本数也会减少，此时可能需要适当降低 min_child_weight，否则树可能过早停止分裂。反之，如果 subsample 较大，可以适当提高 min_child_weight。

总结

以上就是我们对这10个重要的超参数的解释，如果你想更深入地了解仍有很多东西需要学习。所以建议给ChatGPT以下两个提示：

1) Explain the {parameter_name} XGBoost parameter in detail and how to choose values for it wisely.  2) Describe how {parameter_name} fits into the step-by-step tree-building process of XGBoost.

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：XGBoost十个最常用超参数详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题