谱系跟踪实体 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

谱系跟踪实体

跟踪实体维护您的所有元素的表示 end-to-end 机器学习工作流程。您可以使用此表示法来建立模型治理、重现工作流程以及维护工作历史记录。

亚马逊 SageMaker 在创建试验组件时自动为试验组件及其关联的试验和实验创建跟踪实体 SageMaker 处理作业、训练作业和批量转换作业等作业。除了 auto 跟踪之外,你还可以手动创建跟踪实体为您的工作流程中的自定义步骤建模 有关更多信息,请参阅 使用亚马逊管理 Machine Learning SageMaker 实验

SageMaker 还会为工作流程中的其他步骤自动创建跟踪实体,以便您可以端到端跟踪工作流程。有关更多信息,请参阅 亚马逊 SageMaker — 创建的追踪实体

您可以创建其他实体来补充 SageMaker 创建的实体。有关更多信息,请参阅 手动创建跟踪实体

SageMaker 会重复使用任何现有实体,而不是创建新实体。例如,只能有一个具有唯一性的工件SourceUri.

查询世系的关键概念

  • 血统— 用于跟踪机器学习工作流中各个实体之间关系的元数据。

  • QueryLineage— 检查你的血统和发现实体之间关系的行动。

  • 谱系实体— 你的世系所构成的元数据元素。

  • 跨账户谱系— 您的机器学习工作流程可能跨越多个账户。借助跨账户世系,您可以配置多个账户,以便在共享实体资源之间自动创建世系关联。 QueryLineage 那么甚至可以从这些共享账户中返回实体。

定义了以下跟踪实体:

实验实体

  • 试验组件— 机器学习试用的阶段。包括处理作业、训练作业和批量转换作业。

  • 试用— 通常生成模型的试验组件的组合。

  • 试验— 一组试验通常专注于解决特定使用案例。

谱系实体

  • 试验组件— 代表世系中的处理、训练和转换工作。也是实验管理的一部分。

  • 上下文— 提供其他跟踪或实验实体的逻辑分组。从概念上讲,实验和试验都是上下文。一些示例是终端节点和模型包。

  • 操作— 表示操作或活动。通常,操作至少涉及一个输入工件或输出工件。一些示例是工作流程步骤和模型部署。

  • Artifact— 表示 URI 可寻址的对象或数据。工件通常是试验组件或操作的输入或输出。一些示例包括数据集(S3 存储桶 URI)或映像(Amazon ECR 注册表路径)。

  • 协会— 链接其他跟踪或实验实体,例如训练数据位置与培训作业之间的关联。

    关联有可选的AssociationType财产。提供以下值以及每种类型的建议用途。 SageMaker 对它们的使用没有限制:

    • ContributedTo— 来源为目的地做出了贡献或参与启用目的地。例如,培训数据为培训工作做出了贡献。

    • AssociatedWith— 源已连接到目的地。例如,批准工作流程与模型部署相关联。

    • DerivedFrom-目的地是对来源的修改。例如,处理作业的频道输入的摘要输出源于原始输入。

    • Produced— 源生成了目的地。例如,培训作业生成了模型工件。

    • SameAs— 当在不同账户中使用同一个世系实体时。

通用属性

  • 输入属性

    操作、对象和上下文实体具有类型财产,ActionTypeArtifactType, 和ContextType,分别为。此属性是一个自定义字符串,它可以将有意义的信息与实体关联起来,并用作 List API 中的过滤器。

  • 源属性

    操作、对象和上下文实体具有Source财产。此属性提供实体所代表的底层 URI。一些示例包括:

    • 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的UpdateEndpoint来源所在的操作EndpointArn.

    • 处理作业的图像工件,其中源是ImageUri.

    • 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的Endpoint来源所在的上下文EndpointArn.

  • 元数据属性

    动作和工件实体有可选的Metadata属性,该属性可提供以下信息:

    • ProjectId— 例如,的 ID SageMaker 模型所属的 mLOPS 项目。

    • GeneratedBy— 例如, SageMaker 注册模型包版本的管道执行。

    • Repository— 例如,包含算法的存储库。

    • CommitId— 例如,算法版本的提交 ID。