? 提升树是基于分类树或回归树的提升算法,被认为是统计学习中性能最好的方法之一。 提升树模型是以决策树为基分类器,最终获得的模型,采用加法模型和前向分步算法。
函数表达形式如下图所示 其中, 给定的训练数据和损失函数 L(y,f(x))在学习加法模型的条件下f(x)最小化损失函数的问题: 按常规求导很难计算这个问题,使用前向分步算法更容易解决这个问题。 前进分步算法的想法是:由于学习了加法模型,如果你只能从前到后学习一个基本函数及其系数,并逐渐接近上述问题,你可以简化优化的复杂性。具体来说,每个步骤只需优化以下损失函数: 数学表达式表示如下: 对于二分类问题,只需要adaboost模型中的基分类器可设置为二类分类树。
BDT以回归树为基础学习器时:
r是当前模型拟合数据的残差,因此对于回归问题的提升树,只需简单地拟合当前模型的残差。
回归问题的提升树算法: