解释AI决策,这10个强大的 Python 库记得收藏!

本文整理了10个常用于可解释AI的Python库,方便我们更好的理解AI模型的决策。

什么是XAI?

XAI(Explainable AI)的目标是为模型的行为和决策提供合理的解释,这有助于增加信任、提供问责制和模型决策的透明度。XAI 不仅限于解释,还以一种使推理更容易为用户提取和解释的方式进行 ML 实验。

在实践中,XAI 可以通过多种方法实现,例如使用特征重要性度量、可视化技术,或者通过构建本质上可解释的模型,例如决策树或线性回归模型。方法的选择取决于所解决问题的类型和所需的可解释性水平。

AI 系统被用于越来越多的应用程序,包括医疗保健、金融和刑事司法,在这些应用程序中,AI 对人们生活的潜在影响很大,并且了解做出了决定特定原因至关重要。因为这些领域的错误决策成本很高(风险很高),所以XAI 变得越来越重要,因为即使是 AI 做出的决定也需要仔细检查其有效性和可解释性。

可解释性实践的步骤

数据准备: 这个阶段包括数据的收集和处理。数据应该是高质量的、平衡的并且代表正在解决的现实问题。拥有平衡的、有代表性的、干净的数据可以减少未来为保持 AI 的可解释性而付出的努力。

模型训练: 模型在准备好的数据上进行训练,传统的机器学习模型或深度学习神经网络都可以。模型的选择取决于要解决的问题和所需的可解释性水平。模型越简单就越容易解释结果,但是简单模型的性能并不会很高。

模型评估: 选择适当的评估方法和性能指标对于保持模型的可解释性是必要的。在此阶段评估模型的可解释性也很重要,这样确保它能够为其预测提供有意义的解释。

解释生成: 这可以使用各种技术来完成,例如特征重要性度量、可视化技术,或通过构建固有的可解释模型。

解释验证: 验证模型生成的解释的准确性和完整性。这有助于确保解释是可信的。

部署和监控: XAI 的工作不会在模型创建和验证时结束。它需要在部署后进行持续的可解释性工作。在真实环境中进行监控,定期评估系统的性能和可解释性非常重要。

技术交流

技术要学会交流、分享,不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

好的文章离不开粉丝的分享、推荐,资料干货、资料分享、数据、技术交流提升,均可加交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、添加微信号:dkl88194,备注:来自CSDN + 数据分析
方式②、微信搜索公众号:Python学习与数据挖掘,后台回复:数据分析

资料1
在这里插入图片描述
资料2

我们打造了《100个超强算法模型》,特点:从0到1轻松学习,原理、代码、案例应有尽有,所有的算法模型都是按照这样的节奏进行表述,所以是一套完完整整的案例库。

很多初学者是有这么一个痛点,就是案例,案例的完整性直接影响同学的兴致。因此,我整理了 100个最常见的算法模型,在你的学习路上助推一把!

在这里插入图片描述

1、SHAP (SHapley Additive exPlanations)

SHAP是一种博弈论方法,可用于解释任何机器学习模型的输出。它使用博弈论中的经典Shapley值及其相关扩展将最佳信用分配与本地解释联系起来。

在这里插入图片描述

2、LIME(Local Interpretable Model-agnostic Explanations)

LIME 是一种与模型无关的方法,它通过围绕特定预测在局部近似模型的行为来工作。LIME 试图解释机器学习模型在做什么。LIME 支持解释文本分类器、表格类数据或图像的分类器的个别预测。

在这里插入图片描述

3、Eli5

ELI5是一个Python包,它可以帮助调试机器学习分类器并解释它们的预测。它提供了以下机器学习框架和包的支持:

  • scikit-learn:ELI5可以解释scikit-learn线性分类器和回归器的权重和预测,可以将决策树打印为文本或SVG,显示特征的重要性,并解释决策树和基于树集成的预测。ELI5还可以理解scikit-learn中的文本处理程序,并相应地突出显示文本数据。

  • Keras -通过Grad-CAM可视化解释图像分类器的预测。

  • XGBoost -显示特征的重要性,解释XGBClassifier, XGBRegressor和XGBoost . booster的预测。

  • LightGBM -显示特征的重要性,解释LGBMClassifier和LGBMRegressor的预测。

  • CatBoost:显示CatBoostClassifier和CatBoostRegressor的特征重要性。

  • lightning -解释lightning 分类器和回归器的权重和预测。

  • sklearn-crfsuite。ELI5允许检查sklearn_crfsuite.CRF模型的权重。

基本用法:

Show_weights() 显示模型的所有权重,Show_prediction() 可用于检查模型的个体预测

在这里插入图片描述

ELI5还实现了一些检查黑盒模型的算法:

TextExplainer使用LIME算法解释任何文本分类器的预测。排列重要性法可用于计算黑盒估计器的特征重要性。

在这里插入图片描述

4、Shapash

Shapash提供了几种类型的可视化,可以更容易地理解模型。通过摘要来理解模型提出的决策。该项目由MAIF数据科学家开发。Shapash主要通过一组出色的可视化来解释模型。

Shapash通过web应用程序机制工作,与Jupyter/ipython可以完美的结合。

from shapash import SmartExplainerxpl = SmartExplainer(model=regressor,preprocessing=encoder, # Optional: compile step can use inverse_transform methodfeatures_dict=house_dict  # Optional parameter, dict specifies label for features name)xpl.compile(x=Xtest,y_pred=y_pred,y_target=ytest, # Optional: allows to display True Values vs Predicted Values)xpl.plot.contribution_plot("OverallQual")

图片

5、Anchors

Anchors使用称为锚点的高精度规则解释复杂模型的行为,代表局部的“充分”预测条件。该算法可以有效地计算任何具有高概率保证的黑盒模型的解释。

Anchors可以被看作为LIME v2,其中LIME的一些限制(例如不能为数据的不可见实例拟合模型)已经得到纠正。Anchors使用局部区域,而不是每个单独的观察点。它在计算上比SHAP轻量,因此可以用于高维或大数据集。但是有些限制是标签只能是整数。

在这里插入图片描述

6、BreakDown

BreakDown是一种可以用来解释线性模型预测的工具。它的工作原理是将模型的输出分解为每个输入特征的贡献。这个包中有两个主要方法。Explainer()和Explanation()

model = tree.DecisionTreeRegressor()model = model.fit(train_data,y=train_labels)#necessary importsfrom pyBreakDown.explainer import Explainerfrom pyBreakDown.explanation import Explanation#make explainer objectexp = Explainer(clf=model, data=train_data, colnames=feature_names)#What do you want to be explained from the data (select an observation)explanation = exp.explain(observation=data[302,:],direction="up")

在这里插入图片描述

7、Interpret-Text

Interpret-Text 结合了社区为 NLP 模型开发的可解释性技术和用于查看结果的可视化面板。可以在多个最先进的解释器上运行实验,并对它们进行比较分析。这个工具包可以在每个标签上全局或在每个文档本地解释机器学习模型。

以下是此包中可用的解释器列表:

  • Classical Text Explainer——(默认:逻辑回归的词袋)

  • Unified Information Explainer

  • Introspective Rationale Explainer

在这里插入图片描述

它的好处是支持CUDA,RNN和BERT等模型。并且可以为文档中特性的重要性生成一个面板。

from interpret_text.widget import ExplanationDashboardfrom interpret_text.explanation.explanation import _create_local_explanation# create local explanationlocal_explanantion = _create_local_explanation(classification=True,text_explanation=True,local_importance_values=feature_importance_values,method=name_of_model,model_task="classification",features=parsed_sentence_list,classes=list_of_classes,)# Dash itExplanationDashboard(local_explanantion)

图片

8、aix360 (AI Explainability 360)

AI Explainbability 360工具包是一个开源库,这个包是由IBM开发的,在他们的平台上广泛使用。AI Explainability 360包含一套全面的算法,涵盖了不同维度的解释以及代理解释性指标。

在这里插入图片描述

工具包结合了以下论文中的算法和指标:

  • Towards Robust Interpretability with Self-Explaining Neural Networks, 2018. ref

  • Boolean Decision Rules via Column Generation, 2018. ref

  • Explanations Based on the Missing: Towards Contrastive Explanations with Pertinent Negatives, 2018. ref

  • Improving Simple Models with Confidence Profiles, , 2018. ref

  • Efficient Data Representation by Selecting Prototypes with Importance Weights, 2019. ref

  • TED: Teaching AI to Explain Its Decisions, 2019. ref

  • Variational Inference of Disentangled Latent Concepts from Unlabeled Data, 2018. ref

  • Generating Contrastive Explanations with Monotonic Attribute Functions, 2019. ref

  • Generalized Linear Rule Models, 2019. ref

9、OmniXAI

OmniXAI (Omni explable AI的缩写),解决了在实践中解释机器学习模型产生的判断的几个问题。

它是一个用于可解释AI (XAI)的Python机器学习库,提供全方位的可解释AI和可解释机器学习功能,并能够解决实践中解释机器学习模型所做决策的许多痛点。OmniXAI旨在成为一站式综合库,为数据科学家、ML研究人员和从业者提供可解释的AI。

from omnixai.visualization.dashboard import Dashboard# Launch a dashboard for visualizationdashboard = Dashboard(instances=test_instances,                        # The instances to explainlocal_explanations=local_explanations,           # Set the local explanationsglobal_explanations=global_explanations,         # Set the global explanationsprediction_explanations=prediction_explanations, # Set the prediction metricsclass_names=class_names,                         # Set class namesexplainer=explainer                              # The created TabularExplainer for what if analysis)dashboard.show()    

图片

10、XAI (eXplainable AI)

XAI 库由 The Institute for Ethical AI & ML 维护,它是根据 Responsible Machine Learning 的 8 条原则开发的。它仍处于 alpha 阶段因此请不要将其用于生产工作流程。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/210291.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《深入浅出进阶篇》洛谷P3197 越狱——集合

洛谷P3197 越狱 题目大意: 监狱有 n 个房间,每个房间关押一个犯人,有 m 种宗教,每个犯人会信仰其中一种。如果相邻房间的犯人的宗教相同,就可能发生越狱,求有多少种状态可能发生越狱。 答案对100,003 取模。…

Temu卖家如何获取流量?Temu新手卖家流量来源哪里?——站斧浏览器

流量对于每个平台来说都是很重要的,那么Temu卖家如何获取流量?流量来源哪里? Temu卖家如何获取流量? 1、优化产品标题和描述:在Temu平台上,买家通常通过搜索关键词来寻找他们感兴趣的产品。因此&#xff…

【数电笔记】58-同步D触发器

目录 说明: 1. 电路组成 2. 逻辑功能 3. 特性表、特性方程 4. 状态转移图 例题 5. 同步D触发器的特点 6. 集成同步D触发器:74LS375 74LS375内部原理 说明: 笔记配套视频来源:B站本系列笔记并未记录所有章节,…

服务器部署网易开源TTS | EmotiVoice部署教程

一、环境 ubuntu 20.04 python 3.8 cuda 11.8二、部署 1、docker方式部署 1.1、安装docker 如何安装docker,可以参考这篇文章 1.2、拉取镜像 docker run -dp 127.0.0.1:8501:8501 syq163/emoti-voice:latest2、完整安装 安装python依赖 conda create -n Emo…

Web 开发的 20 个实用网站

Web 开发的 20 个实用网站 作为一名前端开发工程师,我们一定使用过很多工具来提高自己的工作效率。它们可以是网站、文档或 JavaScript 库。 本文将分享30个有趣的网站。 JavaScript正则表达式可视化工具 https://jex.im/regulex/#!flags&re%5E(a%7Cb)*%3F%…

Centos7及Ubuntu系统安装指定版本dockerdocker-compose安装

Centos7系统 docker指定版本安装【官方文档步骤】 官方文档地址:https://docs.docker.com/engine/install/centos/ # 1.安装yum工具及设置docker-ce镜像库 sudo yum install -y yum-utils# 国外的镜像下载太慢了改成阿里云镜像库 sudo yum-config-manager --add-rep…

★102. 二叉树的层序遍历

102. 二叉树的层序遍历 很巧妙的,又学习了一种层次遍历的方法,就是说根据当前的队列的长度去遍历,遍历的当前队列的长度就是该层次的节点个数。 /*** Definition for a binary tree node.* public class TreeNode {* int val;* Tr…

AIGC专题报告:AIGC助力大规模对象存储服务OSS的能效提升

今天分享的AIGC系列深度研究报告:《AIGC专题报告:AIGC助力大规模对象存储服务OSS的能效提升》。 (报告出品方:全球软件开发大会) 报告共计:18页 结合AI的智能运维助力能效提升 场景1:通过 AI…

SpringMVC-Servlet

依赖 <dependency><groupId>javax.servlet</groupId><artifactId>servlet-api</artifactId><version>2.5</version> </dependency>web.xml 4.0版本 <?xml version"1.0" encoding"UTF-8"?> <…

Python 网络爬虫(三):XPath 基础知识

《Python入门核心技术》专栏总目录・点这里 文章目录 1. XPath简介2. XPath语法2.1 选择节点2.2 路径分隔符2.3 谓语2.4 节点关系2.5 运算符3. 节点3.1 元素节点(Element Node)3.2 属性节点(Attribute Node)

前端vue3——实现二次元人物拼图校验

文章目录 ⭐前言⭐vue3拖拽实现拼图&#x1f496; 思路分解&#x1f496; 布局结构&#x1f496; 拖拽函数&#x1f496; 校验函数&#x1f496; inscode整体代码 ⭐运行效果&#x1f496; 随机顺序&#x1f496; 拖拽中&#x1f496; 校验失败&#x1f496; 校验通过 ⭐总结⭐…

IDEA中.java .class .jar的含义与联系

当使用IntelliJ IDEA这样的集成开发环境进行Java编程时&#xff0c;通常涉及.java源代码文件、.class编译后的字节码文件以及.jar可执行的Java存档文件。 1. .java 文件&#xff1a; 1.这些文件包含了Java源代码&#xff0c;以文本形式编写。它们通常位于项目中的源代码目录中…

苍穹外卖项目笔记(8)— 缓存商品、购物车功能

前言 代码链接&#xff1a; Echo0701/take-out⁤ (github.com) 1 缓存菜品 1.1 问题说明 【注】很多时候系统性能的瓶颈就在于数据库这端 1.2 实现思路 通过 Redis 来缓存数据&#xff0c;减少数据库查询操作 【注】Redis 基于内存来保存数据的&#xff0c;访问 Redis 数据…

LeetCode208.实现Trie(前缀树)

我一开始想题目叫前缀树&#xff0c;是要用树吗&#xff1f;但是不知道用树怎么写&#xff0c;然后我就花了10多分钟&#xff0c;用了HashMap解了。map的key是word&#xff0c;value是一个放了word的所有前缀的set&#xff0c;这样search方法就非常简单了&#xff0c;只要看has…

Leetcode—2048.下一个更大的数值平衡数【中等】

2023每日刷题&#xff08;五十四&#xff09; Leetcode—2048.下一个更大的数值平衡数 实现代码 class Solution { public:int nextBeautifulNumber(int n) {for(int x n 1; ; x) {vector<int> cnt(10, 0);for(int y x; y > 0; y / 10) {cnt[y%10];}bool ok tru…

C++ Div3、Sqrt 函数高性能实现(带汇编指令集)

均采用魔法数字&#xff08;Magic Number&#xff09;实现&#xff0c;一个是经典求平方根函数所使用的魔法数字&#xff1a;0x5f375a86、0x5f3759df。 float Sqrt(float x) noexcept { /* 0x5f3759df */float xhalf 0.5f * x;int32_t i *(int32_t*)&x;i 0x5f375a86 - …

TP5上传图片压缩尺寸

图片上传&#xff0c;最简单的就是&#xff0c; 方法一&#xff1a; 修改上传限制&#xff0c;不让上传大于多少多少的图片 改一下size即可&#xff0c;默认单位是B换算成M还需要除以两次1024 方法二&#xff1a; 对上传的图片进行缩放&#xff0c;此办法网上找了不少的代码…

如何在 Azure Cosmos DB 中使用缓存

Cosmos DB 是微软在 Azure 云中发布的新 NoSQL 数据库。与关系数据库不同&#xff0c;Cosmos DB 是一种托管数据库服务&#xff0c;因此具有可扩展性&#xff0c;因此在高事务性 .NET 和 .NET Core 应用程序中很受欢迎。 但是&#xff0c;使用 Cosmos DB 时&#xff0c;您需要…

pytorch 钩子函数hook 详解及实战

文章目录 1. 介绍1.1 pytorch hook 函数种类1.2 pytorch hook 种类1.3 hook的执行顺序2. torch.Tensor.register_hook()2.1 功能2.2 语法2.3 案例3. nn.Module.register_forward_pre_hook3.1 功能3.2 语法3.3 案例4. nn

连通分量提取

图像形态学操作中的提取连通分量是一种用于分离图像中相互连接的像素区域的技术。这些像素区域通常代表着图像中的不同物体、目标或者区域。连通分量提取通常用于图像分割、对象识别、特征提取等领域。 原理&#xff1a;   连通分量提取基于图像中像素的连接性。在这个过程中…