请解释梯度提升决策树在数据分析中的定义,并阐述其预测流程是怎样的?
考察说明
考查对梯度提升算法核心概念和预测流程的掌握程度。
回答思路
- 【回答框架 1】GBDT是一种迭代的集成学习算法,由多棵决策树组成,每棵树学习前面所有树的残差,最终将所有树的预测值相加得到最终预测结果。
- 【回答框架 2】训练时,先初始化一个常数预测(如均值),然后计算残差,用决策树拟合残差,更新预测值,重复此过程直至达到预设的树数量或收敛条件。
- 【回答框架 3】预测时,将输入样本遍历每一棵树,得到每棵树的叶子节点输出值,累加所有树的输出值加上初始预测值,即为最终预测结果。
- 【回答框架 4】GBDT适用于回归和分类任务,能处理非线性关系,特征重要性可用于特征选择,但训练过程串行,难以并行化。
- 【回答框架 5】实际应用中需注意过拟合,可通过限制树深度、设置学习率、子采样等正则化手段来控制模型复杂度。
- 【关键点 1】GBDT是加法模型,通过残差拟合逐步优化,最终预测为所有树输出之和。
- 【关键点 2】学习率控制每棵树贡献的权重,较小学习率配合较多树通常能提升泛化能力。
- 【关键点 3】训练过程串行,预测过程为累加求和。
- 【易错点 1】不要将GBDT的逐棵拟合误认为随机森林的并行训练。
- 【易错点 2】避免使用过大的树深度导致过拟合。
- 【易错点 3】需注意类别特征的处理和缺失值的填充,可能影响模型效果。