本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
怎么样 SageMaker 澄清处理作业工作
一个 SageMaker 处理作业使用 SageMaker 在机器学习工作流程生命周期的几个阶段澄清容器。您可以使用 SageMaker 使用数据集和模型澄清容器以计算以下类型的分析:
-
预培训偏差指标
-
培训后偏差指标
-
SHAP 值的可解释性
-
部分依赖图(PDP)
在配置处理作业时,您可以控制计算哪些分析。对于预训练偏差指标,您需要提供数据集。通过提供数据集和模型名称,您可以在模型经过训练后计算训练后偏差指标和可解释性。您必须以 JSON 配置文件的形式配置必要的参数,并将其作为处理作业的输入提供。
处理作业完成后,分析结果将保存在ProcessingOutput处理作业的参数。然后,您可以从那里下载并查看输出结果,也可以在 Studio 中查看结果(如果你在那里运行了笔记本)。
为了计算训练后偏差指标和 SHAP 值,计算需要获得对所提供的模型名称的推断。为了实现这一目标,处理作业会创建一个具有模型名称的临时端点,称为影子端节点. 计算完成后,处理作业将删除影子端点。
在较高层次上,处理作业完成以下步骤:
-
验证输入和参数。
-
创建影子端点。
-
计算训练前偏差指标。
-
计算训练后偏差指标。
-
计算本地和全局功能属性。
-
删除影子终端节点。
-
生成输出文件。