Amazon SageMaker 和 Application Auto Scaling
您可以使用目标跟踪扩缩策略、分步扩缩策略和计划的扩缩来扩展 SageMaker 终端节点变体。
使用以下信息可帮助您将 SageMaker 与 Application Auto Scaling 集成。
如果您刚刚开始扩缩 SageMaker 终端节点变体,则可以在以下文档中查看有关将 SageMaker 与 Application Auto Scaling 一起使用的示例配置和详细信息:
-
Amazon SageMaker Developer Guide 中的 Automatically scale Amazon SageMaker models
为 SageMaker 创建的服务相关角色
使用 Application Auto Scaling 将 SageMaker 资源注册为可扩展目标时,将在您的 Amazon Web Services 账户 中自动创建以下服务相关角色。此角色允许 Application Auto Scaling 在您的账户中执行受支持的操作。有关更多信息,请参阅 Application Auto Scaling 的服务相关角色。
-
AWSServiceRoleForApplicationAutoScaling_SageMakerEndpoint
服务相关角色使用的服务委托人
上一节中的服务相关角色只能由为角色定义的信任关系授权的服务委托人担任。Application Auto Scaling 使用的服务相关角色为以下服务委托人授予访问权限:
-
sagemaker.application-autoscaling.amazonaws.com
使用 Application Auto Scaling 将 SageMaker 终端节点变体注册为可扩展目标
Application Auto Scaling 需要一个可扩展目标,然后才能为 SageMaker xxx 创建扩缩策略或计划的操作。可扩展目标是 Application Auto Scaling 可以横向扩展或横向缩减的资源。可扩展目标由资源 ID、可扩展维度和命名空间的组合唯一标识。
如果您使用 SageMaker 控制台配置弹性伸缩,SageMaker 会自动为您注册一个可扩展的目标。
如果要使用 Amazon CLI 或 Amazon 软件开发工具包之一配置弹性伸缩,您可以使用以下选项:
-
Amazon CLI:
为 SageMaker 端点变体调用 register-scalable-target 命令。以下示例注册名为
my-variant的产品变体(在my-endpoint终端节点上运行)所需的 EC2 实例计数,最小容量为一个实例,最大容量为 8 个实例。aws application-autoscaling register-scalable-target \ --service-namespace sagemaker \ --scalable-dimension sagemaker:variant:DesiredInstanceCount \ --resource-id endpoint/my-endpoint/variant/my-variant\ --min-capacity1\ --max-capacity8 -
Amazon 软件开发工具包:
调用 RegisterScalableTarget 操作并提供
ResourceId、ScalableDimension、ServiceNamespace、MinCapacity和MaxCapacity作为参数。