结合策略

假定我们得到的 $T$ 个弱学习器是 $\{h_1,h_2,...,h_T\}$。

## 1 平均法

对于数值类的回归预测问题，通常使用的策略是平均法，也就是说，对于若干个弱学习器的输出进行平均得到最终的预测输出。

1. 最简单的平均是算术平均，也就是说最终预测是

$$
H(x)=\frac1T\sum_{i=1}^Th_i(x)
$$

2. 如果每个个体学习器有一个权重 $\omega$，则最终预测是

$$
H(x)=\sum_{i=1}^T\omega_ih_i(x)
$$

其中 $\omega_i$ 是个体学习器 $h_i$ 的权重，通常有

$$
\omega_i\geq0, \sum_{i=1}^T\omega_i=1
$$

## 2 投票法

对于分类问题的预测，我们通常使用的是投票法。假设我们预测的类别是 ${c_1,c_2,...,c_k}$，对于任意一个预测样本 $x$，我们的 $T$ 个弱学习器的预测结果分别是 $(h_1(x),h_2(x),...,h_{T(x)})$。

1. 最简单的投票法是相对多数投票法，也就是我们常说的少数服从多数，也就是 $T$ 个弱学习器的对样本 $x$ 的预测结果中，数量最多的类别 $c_i$ 为最终的分类类别。如果不止一个类别获得最高票，则随机选择一个做最终类别。
2. 稍微复杂的投票法是绝对多数投票法，也就是我们常说的要票数过半。在相对多数投票法的基础上，不光要求获得最高票，还要求票过半数，否则会拒绝预测。
3. 更加复杂的是加权投票法，和加权平均法一样，每个弱学习器的分类票数要乘以一个权重，最终将各个类别的加权票数求和，最大的值对应的类别为最终类别。

## 3 学习法

上面提到的方法都是对弱学习器的结果做平均或者投票，相对比较简单，但是可能学习误差较大，于是就有了**学习法**这种方法。

* 对于学习法，代表的是**stacking**，但使用 stacking 的结合策略时，我们不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，也就是说，我们将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果。
* 在这种情况下，我们将弱学习器成为初级学习器，将用于结合的学习器称为次级学习器。
* 对于测试集，我们首先用初级学习器预测一次，得到次级学习器的输入样本，再用次级学习器预测一次，得到最终的预测结果。

## 4 参考文献

1. [集成学习原理小结](https://www.cnblogs.com/pinard/p/6131423.html)。