interpretability

以博弈论方法说明任何机器学习模型的输出。

精选的开源库列表，帮助部署、监控、版本管理与扩展机器学习系统。

先进的 AI 可解释性工具，支持计算机视觉的 CNN、Vision Transformers、分类、目标检测、分割、图像相似度等。

适配可解释模型。解释黑盒机器学习。

PyTorch 模型可解释性与理解

精选负责任机器学习资源列表

🔅 Shapash：用户友善的可解释性与可解读性工具，协助开发可靠且透明的机器学习模型

StellarGraph - 图上的机器学习

用于解释机器学习模型的算法

适用于 PyTorch 模型的类激活图（CAM、Grad-CAM、Grad-CAM++、Smooth Grad-CAM++、Score-CAM、SS-CAM、IS-CAM、XGrad-CAM、Layer-CAM、Finer-CAM、LeGrad、RefineCAM）

Responsible AI Toolbox 是一套提供模型与数据探索、评估用户界面及库的工具，能协助深入理解 AI 系统。这些界面与库赋能开发人员与 AI 系统利益相关者，使其能更负责任地开发与监控 AI，并采取更好的数据驱动行动。

可解释性 AI/ML 研究资料合集

可解释机器学习包 🔍，用于简洁、透明且准确的预测建模（兼容 sklearn）。

用于表示微调（ReFT）的斯坦福 NLP Python 库

用于探索与解释的模型无关语言

XAI - 机器学习的可解释性工具箱

开源可解释性平台 🧠

nnsight 套件能够解读与操纵深度学习模型的内部运作。

使用 Tensorflow 2.x 的 tf.keras 模型可解释性方法。

通过干预来理解并改善 PyTorch 模型的 Stanford NLP Python 库

异常检测方法集合（IID/基于点、图和时间序列），包含用于异常检测/发现的主动学习、贝叶斯规则挖掘、多样性/解释性/可解释性描述。分析结合标签反馈与集成及基于树的检测器。包含使用 Graph Convolutional Network 的对抗攻击。

用于机器学习的 Shapley 交互与 Shapley 值

在 GPT 中定位与编辑事实关联 (NeurIPS 2022)

近年深度学习关于神经网络模型解释性的相关高引用/顶会论文（附带代码）

👋 Xplique 是一个神经网络可解释性工具箱

用于 Keras 中决策森林 (Decision Forest) 模型训练、服务与解释的最先进算法集合。

训练可解释机器学习模型、解释模型以及调试模型准确性、歧视与安全性的技术示例。

[JMLR 2023] Quantus 是一个可解释 AI 工具包，用于负责任地评估神经网络解释

一个用于训练、评估、解释并将决策树模型（如随机森林和梯度提升树）投入生产的库。

TCAV ML 可解释性项目的代码