- 简介
- 目录大纲
- 最新文档
- 文集下载
AdaBoost原理
1 简介 Boosting，也称为增强学习或提升法，是一种重要的学习技术，能够预测精度比随机精度略高的弱学习器增强为预测精度高的强学习器，这在直接构造强学习器非常困难的情况下，为学习算法的设计提供了一种有效的新思路和新方法。其中，最为成功的应用是 $Yoav \space Freund$ 和 $Robert \space Schapire$ 在 1995 年提出的 $AdaBoost$ 算法。 $……
ricear - 2021年4月7日 12:34
随机森林原理
1 含义 随机森林就是通过集成学习的思想将多棵树集成的一种算法，本质上是将完全生长的 CART 决策树通过Bagging的形式结合起来，得到一个庞大的决策模型。 Bagging和Decision Tree算法各自具有一个很重要的特点： Bagging 具有减少不同 $g_t$ 的方差的特点。 这是因为 Bagging 采用投票的形式，将所有 $g_t$ 结合起来，起到了求平均的作用，从而降低方……
ricear - 2021年4月6日 15:37
Bagging和Boosting的联系与区别
1 Bagging Bagging的个体弱学习器的训练集是通过随机采样得到的，这里一般采用的是自助采样法（Bootstrap Sampling），Bagging 对于弱学习器没有限制，但是常用的一般是决策树和神经网络。 通过 $T$ 次的随机采样，我们就可以得到 $T$ 个采样集。 对于这 $T$ 个采样集，我么可以分别独立的训练出 $T$ 个弱学习器，再对这 $T$ 个弱学习器通过集合策略来……
ricear - 2021年4月4日 16:04