面试题：如何开展监督学习

关注微信公众号"百面机器学习"获取更多

---

主要步骤如下

步骤1：数据集的创建和分类 。

步骤2：数据增强（Data Augmentation） 

步骤3：特征工程（Feature Engineering） 

步骤4：构建预测模型和损失 

步骤5：训练

步骤6：验证和模型选择

步骤7：测试及应用

以上是大体的步骤，只需要记住大致的流程就可以，面试中遇到的话，自己在每一个部分再详细开展说明就好，记太多容易忘。

更多面试题----------------------

基础概念

逻辑回归与朴素贝叶斯有什么区别

机器学习学习方式主要有哪些？

监督学习的步骤主要有哪些?

逻辑回归与朴素贝叶斯有什么区别

线性回归和逻辑回归的区别

代价函数，损失函数和目标函数的区别？

随机梯度下降法、批量梯度下降法有哪些区别？

LDA和PCA区别？

降维的必要性和目的是什么？

误差、偏差和方差的区别是啥？

梯度下降法缺点

批量梯度下降和随机梯度下降法的缺点？

如何对梯度下降法进行调优?

如何解决欠拟合

过拟合原因

如何解决过拟合

GBM

简单介绍一下XGBoost

XGBoost与GBDT的联系和区别有哪些？

为什么XGBoost泰勒二阶展开后效果就比较好呢？

XGBoost对缺失值是怎么处理的？

XGBoost为什么快

XGBoost防止过拟合的方法

XGBoost为什么若模型决策树的叶子节点值越大，越容易过拟合呢？

XGBoost为什么可以并行训练？

XGBoost中叶子结点的权重如何计算出来

XGBoost中的一棵树的停止生长条件

Xboost中的min_child_weight是什么意思

Xgboost中的gamma是什么意思

Xgboost中的参数

RF和GBDT的区别

xgboost本质上是树模型，能进行线性回归拟合么

Xgboos是如何调参的

为什么xgboost/gbdt在调参时为什么树的深度很少就能达到很高的精度？

为什么常规的gbdt和xgboost不适用于类别特别多的特征?

怎么处理类别特征在树模型下？

集成学习方法

bagging和boosting区别

为什么bagging减少方差

什么场景下采用bagging集成方法

bagging和dropout区别

为什么说bagging是减少variance，而boosting是减少bias?

adaboost为什么不容易过拟合？

组合弱学习器的算法？

DL

基础理论

说一下局部最优与全局最优的区别？

深度学习里，如何判断模型陷入局部最优？

Transfomer

Transformer为何使用多头注意力机制？

Transformer 相比于 RNN/LSTM，有什么优势？为什么

Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？

Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？

为什么在进行softmax之前需要对attention进行scaled

说一下在计算attention score的时候如何对padding做mask操作？

为什么在进行多头注意力的时候需要对每个head进行降维？

大概讲一下Transformer的Encoder模块？

简单介绍一下Transformer的位置编码？有什么意义和优缺点？

你还了解哪些关于位置编码的技术，各自的优缺点是什么？

简单讲一下Transformer中的残差结构以及意义。

为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？

简答讲一下BatchNorm技术，以及它的优缺点。

简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？

Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？

Transformer的并行化提现在哪个地方？

Decoder端可以做并行化吗？

简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？

Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？

bert的mask为何不学习transformer在attention处进行屏蔽scor