提升树是以CART决策树是基于学习器的综合学习方法 提升树实际上是加法模型和前向分布算法，表示为： 在计算前分布算法第m步时，给出当前模型fm-1(x)，求解：

这样就可以得到第m决策树T。提升树不同问题的区别在于损失函数不同，如指数损失函数分类，平方误差损失回归。 当提升树采用平方损失函数时，第m次迭代表示： r是残差，所以第m树决定树Tm是对残差的拟合。要注意的是提升树算法中基学习器CART树是回归树。

GBDT全称为：Gradient Boosting Decision Tree,即梯度提升决策树，理解为 梯度提升 决策树。Friedman利用损失函数的负梯度拟合基学习器提出了最快下降的近似方法： 可通过平方损失函数介绍： 在损失函数面前，为了方便求导，1/2 求导： 残差是梯度的相反数： 在GBDT以负梯度为残差拟合。

输入数据集： 1.初始化： 2. for t=1 to T do 2.1 负梯度的计算： 2.2 基学习器获得拟合残差：

2.获得基础学习器的权重： 3 更新

GBDT与提升树不同的是，残差用梯度代替，每个基础学习器对应的参数权重。 GBDT使用梯度提升树的决策树（CART），CART树回归将空间分为K个不想交的区域，并确定每个区域的输出ck，数学表达式如下：

输入训练集： 1.初始化： 2.for t =1 to T do 2.1 负梯度的计算： 2.2 拟合残差得到回归树，得到第t树叶节点区： 2.3更新 3.获得加法模型：

GBDT仍然用于分类CART回归树，使用softmax概率映射，然后拟合概率残差。 1.先训练一棵回归树，比如三个类别，训练三棵树。例如，样本Xi为第二类，则输入的三棵树分别为： （Xi,0）,（Xi,1）,（Xi,0)这是一种典型的多分类训练方法。每棵树的训练过程都是CART训练过程。这样，样本Xi得到三棵树的预测值F1(Xi),F2(Xi),F3(Xi),模拟多分类逻辑回归，使用softmax以类别1为例产生概率： 2.对每个类别分别计算残差，如类别1： 类别2： 类别3： 3.开始第二轮训练，第一类输入为 第二类和第三类相似，继续训练三棵树。 4.重复3，直到迭代M轮，获得最终模型。在预测时，只要发现概率最高的类别是相应的类别。