机器学习可解释性01--shap
摘要
本文介绍shap原理，并给出一个简单的示例揭示shap值得计算过程；
然后介绍如何将shap值转化为我们更容易理解的概率。
什么是shap
image.png
让机器学习获得可解释性，能够计算出每个特征对结果的一个贡献度。
shap的论文
github链接
参考blog
shap的理论是什么
博弈论和机器学习
SHAP值基于Shapley值，Shapley值是博弈论中的一个概念。但博弈论至少需要两样东西：一个游戏和一些玩家。这如何应用于机器学习的可解释性？假设我们有一个预测模型，然后：
“游戏”是复现模型的结果
“玩家”是模型中包含的特征
Shapley所做的是量化每个玩家对游戏的贡献。SHAP所做的是量化每个特征对模型所做预测的贡献。
需要强调的是，我们所谓的“游戏”只涉及单一的观察样本。一个游戏：一个观察样本。实际上，SHAP是关于预测模型的局部可解释性的。
幂集
特征的power set（幂集）
举个例子，我们可以想象一个机器学习模型(假设是线性回归，但也可以是其他任何机器学习算法)，知道这个人的年龄、性别和工作，它可以预测一个人的收入。
Shapley值是基于这样一种想法，即应该考虑每个玩家可能的组合的结果来决定单个玩家的重要性。在我们的例子中，这对应于f特征的每个可能组合(f从0到F， F是所有可用特征的数量)。
在数学中，这被称为“power set”，可以用有向无环图表示
示例
通过年龄、工作、性别来预测收入的模型
-
第一步：对特征构建幂集如下：
image.png
- 第二步：根据构建的幂集分别构建模型
-
第三步：计算一个样本的关于年龄的shap值如下
将该样本输入模型得到不同的结果如下：
image.png
先计算年龄的贡献度
image.png
通过GAG计算权值
image.png
最后得到年龄的shap值
image.png
分别计算各个特征的shap值如下：
SHAP_Age(x₀) = -11.33k $
SHAP_Gender(x₀) = -2.33k $
SHAP_Job(x₀) = +46.66k $
给出计算shap值得公式如下：
image.png
-
通常情况下对于单个样本得到的shap值可以表示如下：
image.png
或者如下：
image.png
或者以表格的形式出现
image.png
如何将shap值以概率的形式进行展示
参考博文
示例：将shap值进行概率转换，然后计算差值，看该特征是否增加了生存的概率
image.png
让我们以一个个体为例。假设已知除年龄外的所有变量，其SHAP和为0。现在假设年龄的SHAP值是2。
我们只要知道f()函数就可以量化年龄对预测的生存概率的影响：它就是f(2)-f(0)。在我们的例子中，f(2)-f(0) = 80%-36% = 44%
毫无疑问，生存的概率比SHAP值更容易被理解。
概率计算公式：
image.png
最终得出每个样本的各个特征的shap值
image.png
为什么同样特征下不同样本的概率不一样？
拥有一张三等舱的票会降低第一个乘客的生存概率-4.48%(相当于-0.36 SHAP)。请注意，3号乘客和5号乘客也在三等舱。由于与其他特征的相互作用，它们对概率的影响(分别为-16.65%和-5.17%)是不同的。
将多个样本的单个特征列出进行分析：年龄对生存的影响
image.png
将多个样本的双个特征列出进行分析：乘客票价与客舱等级对生存的影响
image.png
可以得出的结论：
我们可以用概率来量化效果，而不是用SHAP值。例如，我们可以说，平均来说，60-70岁的人比0-10岁的人(从+14%到-13%)的存活率下降了27%
我们可以可视化非线性效应。例如，看看乘客票价，生存的可能性上升到一个点，然后略有下降
我们可以表示相互作用。例如，乘客票价与客舱等级。如果这两个变量之间没有相互作用，这三条线就是平行的。相反，他们表现出不同的行为。蓝线(头等舱乘客)的票价稍低。特别有趣的是红线(三等舱乘客)的趋势：在两个相同的人乘坐三等舱时，支付50 - 75英镑的人比支付50英镑的人更有可能生存下来(从-10%到+5%)。
