本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 SageMaker 澄清偏差检测和模型可解释性
本主题介绍如何配置亚马逊。 SageMaker 澄清能够计算偏见指标和功能归因的处理作业以获得可解释性。它是使用专门的 SageMaker 澄清容器映像。提供了有关如何查找和下载其中一个容器映像的说明。简要概述如何 SageMaker 草绘了澄清作品。本文介绍了配置处理作业所需的参数和分析类型。概述了先决条件以及有关消耗的计算资源的建议 SageMaker 提供了澄清处理作业。
示例笔记本
亚马逊 SageMaker 澄清为训练后偏差检测和模型可解释性提供了以下示例笔记本:
-
亚马逊 SageMaker 澄清处理
使用 — 使用 SageMaker 澄清以创建处理作业,以检测偏差并使用功能归因解释模型预测。示例包括使用 CSV 和JSON 行数据格式、自带容器以及使用 Spark 运行处理作业。
这款笔记本已经验证可在亚马逊上运行 SageMaker 仅限 Studio。如果您需要有关如何在亚马逊打开笔记本电脑的说明 SageMaker 工作室,请参阅创建或打开亚马逊 SageMaker Studio Notebook. 如果系统会提示您选择内核,请选择Python 3(数据科学).
主题
先决条件
在开始之前,您需要满足以下先决条件:
-
您需要在 CSV 中以表格文件的形式提供输入数据集或JSON 行格式的日期和时间。输入数据集必须包含用于偏差分析的标签列。数据集应为机器学习做好准备,并且任何需要的预处理(例如数据清理或要素工程)已经完成。
-
您需要提供一个支持 CSV 或 JSON Line 文件格式的模型工件作为其内容类型输入之一。为了获得训练后的偏差指标和可解释性,我们使用数据集来推断模型工件。减去标签列的每一行都必须准备好用作推断的负载。
-
使用创建处理作业时 SageMaker 容器镜像,你需要以下内容:
-
必须为处理作业禁用网络隔离。
-
如果模型在 VPC 中,则处理作业必须与模型在同一 VPC 中。
-
调用者的IAM 用户/角色必须有权限 SageMaker API。建议使用
"arn:aws:iam::aws:policy/AmazonSageMakerFullAccess"托管式策略。
-