模型可解释性-LIME

最新推荐文章于 2026-05-25 09:48:13 发布

原创

最新推荐文章于 2026-05-25 09:48:13 发布 · 2w 阅读

131

收录于

在算法建模过程中，我们一般会用测试集的准确率与召回率衡量一个模型的好坏。但在和客户的实际沟通时，单单抛出一个数字就想要客户信任我们，那肯定是不够的，这就要求我们摆出规则，解释模型。但不是所有的模型都是规则模型，一些黑盒模型（比如神经网络）有着更高的准确率，但是无法给出具体的规则，无法让普通人理解和信任模型的预测结果。尤其当模型应用到银行业等金融领域时，透明度和可解释性是机器学习模型是否值得信任的重要考核标准。我们需要告诉业务人员如何营销，告诉风控人员如何识别风险点，而不仅仅告诉他们预测的结果。一个预测表现接近完美、却属于黑盒的人工智能模型，会容易产生误导的决策，还可能招致系统性风险，导致漏洞被攻击，因而变得不安全可靠。因此我们需要建立一个解释器来解释黑盒模型，并且这个解释器必须满足以下特征：

可解释性

要求解释器的模型与特征都必须是可解释的，像决策树、线性模型都是很适合拿来解释的模型；而可解释的模型必须搭配可解释的特征，才是真正的可解释性，让不了解机器学习的人也能通过解释器理解模型。

局部保真度

既然我们已经使用了可解释的模型与特征，就不可能期望简单的可解释模型在效果上等同于复杂模型（比如原始CNN分类器）。所以解释器不需要在全局上达到复杂模型的效果，但至少在局部上效果要很接近，而此处的局部代表我们想观察的那个样本的周围。

与模型无关

这里所指的是与复杂模型无关，换句话说无论多复杂的模型，像是SVM或神经网络，该解释器都可以工作。

除了传统的特征重要性排序外，ICE、PDP、SDT、LIME、SHAP都是揭开机器学习模型黑箱的有力工具。

特征重要性计算依据某个特征进行决策树分裂时，分裂前后的信息增益（基尼系数）；
ICE和PDP考察某项特征的不同取值对模型输出值的影响；
SDT用单棵决策树解释其它更复杂的机器学习模型；
LIME的核心思想是对于每条样本，寻找一个更容易解释的代理模型解释原模型；
SHAP的概念源于博弈论，核心思想是计算特征对模型输出的边际贡献；

LIME的原理

LIME（Local Interpretable Model-agnostic Explanations）的缩写。通过名字便可以看出，该模型是一个局部可解释模型，并且是一个与模型自身的无关的可解释方法。使用训练的局部代理模型来对单个样本进行解释。假设对于需要解释的黑盒模型，取关注的实例样本，在其附近进行扰动生成新的样本点，并得到黑盒模型的预测值，使用新的数据集训练可解释的模型（如线性回归、决策树），得到对黑盒模型良好的局部近似。名字的每一部分反映了我们进行解释的意图。其名称也很好的反应了它的特点：

Local: 基于想要解释的预测值及其附近的样本，构建局部的线性模型或其他代理模型；

Interpretable: LIME做出的解释易被人类理解。利用局部可解释的模型对黑盒模型的预测结果进行解释，构造局部样本特征和预测结果之间的关系；

Model-Agnostic: LIME解释的算法与模型无关，无论是用Random Forest、SVM还是XGBoost等各种复杂的模型，得到的预测结果都能使用LIME方法来解释；

Explanations: LIME是一种事后解释方法；

该作者提出了解释器需要满足的四个条件：

可解释性： 对模型和特征两个方面都有要求。决策树、线性回归和朴素贝叶斯都是具有可解释的模型，前提是特征也要容易解释才行。否则像是词嵌入（Word Embedding）的方式，即使是简单的线性回归也无法做到可解释性。而且解释性还要取决于目标群体，比如向不了解模型的业务人员去解释这些模型。相比之下，线性模型也要比简单的贝叶斯更容易理解。
局部忠诚（ local fidelity）：既然我们已经使用了可解释的模型与特征，就不可能期望简单的可解释模型在效果上等同于复杂模型（比如原始CNN分类器）。所以解释器不需要在全局上达到复杂模型的效果，但至少在局部上效果要很接近，而此处的局部代表我们想观察的那个样本的周围。
与模型无关： 任何其他模型，像是SVM或神经网络，该解释器都可以工作。
全局视角： 准确度，AUC等有时并不是一个很好的指标，我们需要去解释模型。解释器的工作在于提供对样本的解释，来帮助人们对模型产生信任。

LIME的思想很简单，我们希望使用简单的模型来对复杂的模型进行解释。这里简单的模型可以是线性模型，因为我们可以通过查看线性模型的系数大小来对模型进行解释，在这里，LIME只会对每一个样本进行解释(explain individual predictions)。LIME会产生一个新的数据集(这个数据集我们是通过对某一个样本数据进行变换得到)，接着在这个新的数据集上，我们训练一个简单模型(容易解释的模型)，我们希望简答模型在新数据集上的预测结果和复杂模型在该数据集上的预测结果是相似的。

LIME可处理不同类型的输入数据，如表格数据(Tabular Data)、图像数据（Image Data）或文本数据(Text Data)。对于表格数据，如用银行客户行为数据预测理财产品销售，训练完复杂模型后可以用LIME得到哪些特征影响理财产品销售；图像数据，如识别图片中的动物是否为猫，训练完复杂模型后可以用LIME得到图片中的动物被识别为猫是因为哪一个或几个像素块；文本数据，如识别短信是否为垃圾短信，训练完复杂模型后可以用LIME得到一条信息被判断为垃圾短信是因为哪一个或几个关键词。

为了做到与模型无关，LIME不会深入模型内部。为了搞清楚哪一部分输入对预测结果产生贡献，我们将输入值在其周围做微小的扰动，观察模型的预测行为。然后我们根据这些扰动的数据点距离原始数据的距离分配权重，基于它们学习得到一个可解释的模型和预测结果。

LIME具体计算步骤

（1）目标函数：

解释模型定义为模型g∈G，我们进一步使用πx（z）作为实例z与x之间的接近度，以定义x周围的局部性。定义一个目标函数ξ，这里的L函数作为一个度量，描述如何通过πx在局部定义中，不忠诚的g如何逼近f（复杂模型），在当Ω(g)(解释模型复杂度)足够低可以被人类理解时，我们最小化L函数得到目标函数的最优解。LIME产生的解释如下：