Adaboost

2019/1/30 posted in  MachineLearning

AdaBoost算法原理简述

Adaptive Boosting 是一种迭代算法.每一轮迭代中会在训练集上产生一个新的学习器,然后使用该学习器对所有样本进行预测,以评估每个样本的重要性.换句话来讲,算法会为每个样本赋予一个权重,每次用训练好的学习器标注/预测各个样本.如果某个样本点被预测的越正确,则将其权重降低;否则提高样本的权重.权重越高的样本在下一轮迭代训练中所占的比重就越大,也就是越难区分的样本在训练过程中会变得越重要.

整个迭代过程直到错误率足够小或者达到一定的迭代次数为止.

AdaBoost 算法的核心,样本加权.

AdaBoost算法推理

AdaBoost算法将基分类器进行线性组合作为强分类器,同时给分类误差率较小的基分类器以大的权重,给分类误差率较大的基分类器以小的权重值;构建的线性组合