怎么样 SageMaker 澄清处理作业工作 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

怎么样 SageMaker 澄清处理作业工作

一个 SageMaker 处理作业使用 SageMaker 在机器学习工作流程生命周期的几个阶段澄清容器。您可以使用 SageMaker 使用数据集和模型澄清容器以计算以下类型的分析:

  • 预培训偏差指标

  • 培训后偏差指标

  • SHAP 值的可解释性

  • 部分依赖图(PDP)

在配置处理作业时,您可以控制计算哪些分析。对于预训练偏差指标,您需要提供数据集。通过提供数据集和模型名称,您可以在模型经过训练后计算训练后偏差指标和可解释性。您必须以 JSON 配置文件的形式配置必要的参数,并将其作为处理作业的输入提供。

处理作业完成后,分析结果将保存在ProcessingOutput处理作业的参数。然后,您可以从那里下载并查看输出结果,也可以在 Studio 中查看结果(如果你在那里运行了笔记本)。

为了计算训练后偏差指标和 SHAP 值,计算需要获得对所提供的模型名称的推断。为了实现这一目标,处理作业会创建一个具有模型名称的临时端点,称为影子端节点. 计算完成后,处理作业将删除影子端点。

在较高层次上,处理作业完成以下步骤:

  1. 验证输入和参数。

  2. 创建影子端点。

  3. 计算训练前偏差指标。

  4. 计算训练后偏差指标。

  5. 计算本地和全局功能属性。

  6. 删除影子终端节点。

  7. 生成输出文件。