Ensemble
2020-12-30 本文已影响0人
shudaxu
集成学习（ensemble learning）：Stacking，boosting，bagging（bootstrap aggregating）
很多方法和思路可以其实都直接用到了dnn中，譬如Boosting，在参差神经网络。bagging用在了deep ensemble中。
区别：
- boosting，能减少bias与variance，其classifier是sequential的。（例如“AdaBoost(Adaptive Boosting)，GBM(Gradient Boosting Machine)，XGBoost*GDBT的一种实现）
- bagging，多个同构模型，能减少variance，其classifier是independent的。（Random forest）
- Stacking，多个异构classifier，训练meta model来获得最终output
