资讯详情

BDT提升树模型

? 提升树是基于分类树或回归树的提升算法,被认为是统计学习中性能最好的方法之一。 提升树模型是以决策树为基分类器,最终获得的模型,采用加法模型和前向分步算法。

函数表达形式如下图所示 在这里插入图片描述 其中, 给定的训练数据和损失函数 L(y,f(x))在学习加法模型的条件下f(x)最小化损失函数的问题: 按常规求导很难计算这个问题,使用前向分步算法更容易解决这个问题。 前进分步算法的想法是:由于学习了加法模型,如果你只能从前到后学习一个基本函数及其系数,并逐渐接近上述问题,你可以简化优化的复杂性。具体来说,每个步骤只需优化以下损失函数: 数学表达式表示如下: 对于二分类问题,只需要adaboost模型中的基分类器可设置为二类分类树。

BDT以回归树为基础学习器时:

r是当前模型拟合数据的残差,因此对于回归问题的提升树,只需简单地拟合当前模型的残差。

回归问题的提升树算法:

标签: bdt64c晶体管

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台