TensorFlow 推理 Apache MXNet (孵化) 推理 PyTorch 推理

Inference

本节演示如何在上运行推理Amazon使用 Apache MXNet（孵化）、PyTorch、TensorFlow 和 TensorFlow 2 的 Deep Learning Containers。你也可以使用 Elastic Inference 来运行推理AmazonDeep Learning Containers。有关 Elastic Inference 的教程和更多信息，请参阅使用AmazonAmazon ECS 上的 Elastic Inference Deep Learning Containers.

有关 Deep Learning Containers 的完整列表，请参阅Deep Learning Containers 映像.

注意

MKL 用户：读取AmazonDeep Learning Containers 英特尔数学核心库 (MKL) 建议以获得最佳训练或推理性能。

重要

如果您的账户已创建 Amazon ECS 服务相关角色，则默认情况下会为您的服务使用该角色，除非您在此处指定一个角色。如果您的任务定义使用awsvpc网络模式。如果将服务配置为使用服务发现、外部部署控制器、多个目标组或 Elastic Inference 加速器（在这种情况下，您不应在此处指定角色），则需要该角色。有关更多信息，请参阅。对 Amazon ECS 使用服务相关角色中的Amazon ECS 开发人员指南.

TensorFlow 推理
Apache MXNet (孵化) 推理
PyTorch 推理

TensorFlow 推理

以下示例使用将 CPU 或 GPU 推理脚本从主机的命令行添加到 Deep Learning Containers 的示例 Docker 映像。

基于 CPU 的推理

使用以下示例运行基于 CPU 的推理。

使用以下内容创建名为 ecs-dlc-cpu-inference-taskdef.json 的文件。您可以将它与 TensorFlow 或 TensorFlow 2 一起使用。要将其与 TensorFlow 2 一起使用，请将 Docker 映像更改为 TensorFlow 2 映像，并克隆 r2.0 服务存储库分支而不是 r1.15。


{
	"requiresCompatibilities": [
		"EC2"
	],
	"containerDefinitions": [{
		"command": [
			"mkdir -p /test && cd /test && git clone -b r1.15 https://github.com/tensorflow/serving.git && tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=saved_model_half_plus_two --model_base_path=/test/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu"
		],
		"entryPoint": [
			"sh",
			"-c"
		],
		"name": "tensorflow-inference-container",
		"image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference:1.15.0-cpu-py36-ubuntu18.04",
		"memory": 8111,
		"cpu": 256,
		"essential": true,
		"portMappings": [{
				"hostPort": 8500,
				"protocol": "tcp",
				"containerPort": 8500
			},
			{
				"hostPort": 8501,
				"protocol": "tcp",
				"containerPort": 8501
			},
			{
				"containerPort": 80,
				"protocol": "tcp"
			}
		],
		"logConfiguration": {
			"logDriver": "awslogs",
			"options": {
				"awslogs-group": "/ecs/tensorflow-inference-gpu",
				"awslogs-region": "us-east-1",
				"awslogs-stream-prefix": "half-plus-two",
				"awslogs-create-group": "true"
			}
		}
	}],
	"volumes": [],
	"networkMode": "bridge",
	"placementConstraints": [],
	"family": "tensorflow-inference"
}

注册任务定义。记下输出中的修订号并在下一步中使用该修订号。


aws ecs register-task-definition --cli-input-json file://ecs-dlc-cpu-inference-taskdef.json

创建 Amazon ECS 服务指定任务定义时，请替换revision_id其中包含上一步的输出中任务定义的修订号。


aws ecs create-service --cluster ecs-ec2-training-inference \
                       --service-name cli-ec2-inference-cpu \
                       --task-definition Ec2TFInference:revision_id \
                       --desired-count 1 \
                       --launch-type EC2 \
                       --scheduling-strategy="REPLICA" \
                       --region us-east-1

通过完成以下步骤来验证服务并获取网络终端节点。
1. 打开 https://console.aws.amazon.com/ecs/ 上的 Amazon ECS 控制台。
2. 选择 ecs-ec2-training-inference 集群。
3. 在 Cluster (集群) 页面上，选择 Services (服务)，然后选择 cli-ec2-inference-cpu。
4. 晚于你的任务在 RUNNING州，选择任务标识符.
5. 在 Containers (容器) 下，展开容器详细信息。
6. 在名称然后网络绑定，在外部链接注意端口 8501 的 IP 地址并且在下一个步骤中使用它。
7. 在 Log Configuration (日志配置) 下，选择 View logs in CloudWatch (查看 CloudWatch 中的日志 )。这会将您转到 CloudWatch 控制台以查看训练进度日志。
要运行推理，请使用以下命令。将外部 IP 地址替换为上一步中的外部链接 IP 地址。
```
curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://<External ip>:8501/v1/models/saved_model_half_plus_two:predict
```
下面是示例输出。
```
{
    "predictions": [2.5, 3.0, 4.5
    ]
}
```
重要
如果您无法连接到外部 IP 地址，请确保您的企业防火墙不会阻止非标准端口，如 8501。您可以尝试切换至来宾网络来验证。

基于 GPU 的推理

使用以下示例运行基于 GPU 的推理。

使用以下内容创建名为 ecs-dlc-gpu-inference-taskdef.json 的文件。您可以将它与 TensorFlow 或 TensorFlow 2 一起使用。要将其与 TensorFlow 2 一起使用，请将 Docker 映像更改为 TensorFlow 2 映像，并克隆 r2.0 服务存储库分支而不是 r1.15。


{
	"requiresCompatibilities": [
		"EC2"
	],
	"containerDefinitions": [{
		"command": [
			"mkdir -p /test && cd /test && git clone -b r1.15 https://github.com/tensorflow/serving.git && tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=saved_model_half_plus_two --model_base_path=/test/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_gpu"
		],
		"entryPoint": [
			"sh",
			"-c"
		],
		"name": "tensorflow-inference-container",
		"image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference:1.15.0-gpu-py36-cu100-ubuntu18.04",
		"memory": 8111,
		"cpu": 256,
		"resourceRequirements": [{
			"type": "GPU",
			"value": "1"
		}],
		"essential": true,
		"portMappings": [{
				"hostPort": 8500,
				"protocol": "tcp",
				"containerPort": 8500
			},
			{
				"hostPort": 8501,
				"protocol": "tcp",
				"containerPort": 8501
			},
			{
				"containerPort": 80,
				"protocol": "tcp"
			}
		],
		"logConfiguration": {
			"logDriver": "awslogs",
			"options": {
				"awslogs-group": "/ecs/TFInference",
				"awslogs-region": "us-east-1",
				"awslogs-stream-prefix": "ecs",
				"awslogs-create-group": "true"
			}
		}
	}],
	"volumes": [],
	"networkMode": "bridge",
	"placementConstraints": [],
	"family": "TensorFlowInference"
}

注册任务定义。记下输出中的修订号并在下一步中使用该修订号。


aws ecs register-task-definition --cli-input-json file://ecs-dlc-gpu-inference-taskdef.json

创建 Amazon ECS 服务指定任务定义时，请替换revision_id其中包含上一步的输出中任务定义的修订号。


aws ecs create-service --cluster ecs-ec2-training-inference \
                       --service-name cli-ec2-inference-gpu \
                       --task-definition Ec2TFInference:revision_id \
                       --desired-count 1 \
                       --launch-type EC2 \
                       --scheduling-strategy="REPLICA" \
                       --region us-east-1

通过完成以下步骤来验证服务并获取网络终端节点。
1. 打开 https://console.aws.amazon.com/ecs/ 上的 Amazon ECS 控制台。
2. 选择 ecs-ec2-training-inference 集群。
3. 在 Cluster (集群) 页面上，选择 Services (服务)，然后选择 cli-ec2-inference-cpu。
4. 在你的任务进入RUNNING状态中，选择任务标识符。
5. 在 Containers (容器) 下，展开容器详细信息。
6. 在名称然后网络绑定，在外部链接记下端口 8501 的 IP 地址并在下一步中使用该 IP 地址。
7. 在 Log Configuration (日志配置) 下，选择 View logs in CloudWatch (查看 CloudWatch 中的日志 )。这会将您转到 CloudWatch 控制台以查看训练进度日志。
要运行推理，请使用以下命令。将外部 IP 地址替换为上一步中的外部链接 IP 地址。
```
curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://<External ip>:8501/v1/models/saved_model_half_plus_two:predict
```
下面是示例输出。
```
{
    "predictions": [2.5, 3.0, 4.5
    ]
}
```
重要
如果您无法连接到外部 IP 地址，请确保您的企业防火墙不会阻止非标准端口，如 8501。您可以尝试切换至来宾网络来验证。

Apache MXNet (孵化) 推理

您必须先注册任务定义，然后才能在 Amazon ECS 集群上运行任务。任务定义是分组在一起的一系列容器。以下示例使用将 CPU 或 GPU 推理脚本从主机的命令行添加到 Deep Learning Containers 的示例 Docker 映像。

基于 CPU 的推理

使用以下任务定义运行基于 CPU 的推理。

使用以下内容创建名为 ecs-dlc-cpu-inference-taskdef.json 的文件。


{
	"requiresCompatibilities": [
		"EC2"
	],
	"containerDefinitions": [{
		"command": [
			"mxnet-model-server --start --mms-config /home/model-server/config.properties --models squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model"
		],
		"name": "mxnet-inference-container",
		"image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/mxnet-inference:1.6.0-cpu-py36-ubuntu16.04",
		"memory": 8111,
		"cpu": 256,
		"essential": true,
		"portMappings": [{
				"hostPort": 8081,
				"protocol": "tcp",
				"containerPort": 8081
			},
			{
				"hostPort": 80,
				"protocol": "tcp",
				"containerPort": 8080
			}
		],
		"logConfiguration": {
			"logDriver": "awslogs",
			"options": {
				"awslogs-group": "/ecs/mxnet-inference-cpu",
				"awslogs-region": "us-east-1",
				"awslogs-stream-prefix": "squeezenet",
				"awslogs-create-group": "true"
			}
		}
	}],
	"volumes": [],
	"networkMode": "bridge",
	"placementConstraints": [],
	"family": "mxnet-inference"
}

注册任务定义。记下输出中的修订号并在下一步中使用该修订号。


aws ecs register-task-definition --cli-input-json file://ecs-dlc-cpu-inference-taskdef.json

创建 Amazon ECS 服务指定任务定义时，请替换revision_id其中包含上一步的输出中任务定义的修订号。


aws ecs create-service --cluster ecs-ec2-training-inference \
                       --service-name cli-ec2-inference-cpu \
                       --task-definition Ec2TFInference:revision_id \
                       --desired-count 1 \
                       --launch-type EC2 \
                       --scheduling-strategy REPLICA \
                       --region us-east-1

验证服务并获取终端节点。
1. 打开 https://console.aws.amazon.com/ecs/ 上的 Amazon ECS 控制台。
2. 选择 ecs-ec2-training-inference 集群。
3. 在 Cluster (集群) 页面上，选择 Services (服务)，然后选择 cli-ec2-inference-cpu。
4. 在你的任务进入RUNNING状态中，选择任务标识符。
5. 在 Containers (容器) 下，展开容器详细信息。
6. 在名称然后网络绑定，在外部链接记下端口 8081 的 IP 地址并在下一步中使用该 IP 地址。
7. 在 Log Configuration (日志配置) 下，选择 View logs in CloudWatch (查看 CloudWatch 中的日志 )。这会将您转到 CloudWatch 控制台以查看训练进度日志。

要运行推理，请使用以下命令。替换external IP上一步中的外部链接 IP 地址。


curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
curl -X POST http://<External ip>/predictions/squeezenet -T kitten.jpg

下面是示例输出。


[
  {
    "probability": 0.8582226634025574,
    "class": "n02124075 Egyptian cat"
  },
  {
    "probability": 0.09160050004720688,
    "class": "n02123045 tabby, tabby cat"
  },
  {
    "probability": 0.037487514317035675,
    "class": "n02123159 tiger cat"
  },
  {
    "probability": 0.0061649843119084835,
    "class": "n02128385 leopard, Panthera pardus"
  },
  {
    "probability": 0.003171598305925727,
    "class": "n02127052 lynx, catamount"
  }
]

重要

如果您无法连接到外部 IP 地址，请确保您的企业防火墙不会阻止非标准端口，如 8081。您可以尝试切换至来宾网络来验证。

基于 GPU 的推理

使用以下任务定义运行基于 GPU 的推理。


{
	"requiresCompatibilities": [
		"EC2"
	],
	"containerDefinitions": [{
		"command": [
			"mxnet-model-server --start --mms-config /home/model-server/config.properties --models  squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model"
		],
		"name": "mxnet-inference-container",
		"image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/mxnet-inference:1.6.0-gpu-py36-cu101-ubuntu16.04",
		"memory": 8111,
		"cpu": 256,
		"resourceRequirements": [{
			"type": "GPU",
			"value": "1"
		}],
		"essential": true,
		"portMappings": [{
				"hostPort": 8081,
				"protocol": "tcp",
				"containerPort": 8081
			},
			{
				"hostPort": 80,
				"protocol": "tcp",
				"containerPort": 8080
			}
		],
		"logConfiguration": {
			"logDriver": "awslogs",
			"options": {
				"awslogs-group": "/ecs/mxnet-inference-gpu",
				"awslogs-region": "us-east-1",
				"awslogs-stream-prefix": "squeezenet",
				"awslogs-create-group": "true"
			}
		}
	}],
	"volumes": [],
	"networkMode": "bridge",
	"placementConstraints": [],
	"family": "mxnet-inference"
}

使用以下命令注册任务定义。记下修订号的输出并在下一步中使用它。
```
aws ecs register-task-definition --cli-input-json file://<Task definition file>
```

要创建服务，请在以下命令中将 revision_id 替换为上一步中的输出。


aws ecs create-service --cluster ecs-ec2-training-inference \
                    --service-name cli-ec2-inference-gpu \
                    --task-definition Ec2TFInference:<revision_id> \
                    --desired-count 1 \
                    --launch-type "EC2" \
                    --scheduling-strategy REPLICA \
                    --region us-east-1

验证服务并获取终端节点。
1. 打开 https://console.aws.amazon.com/ecs/ 上的 Amazon ECS 控制台。
2. 选择 ecs-ec2-training-inference 集群。
3. 在 Cluster (集群) 页面上，选择 Services (服务)，然后选择 cli-ec2-inference-cpu。
4. 在你的任务进入RUNNING状态中，选择任务标识符。
5. 在 Containers (容器) 下，展开容器详细信息。
6. 在名称然后网络绑定，在外部链接记下端口 8081 的 IP 地址并在下一步中使用该 IP 地址。
7. 在 Log Configuration (日志配置) 下，选择 View logs in CloudWatch (查看 CloudWatch 中的日志 )。这会将您转到 CloudWatch 控制台以查看训练进度日志。

要运行推理，请使用以下命令。替换external IP上一步中的外部链接 IP 地址。


curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
curl -X POST http://<External ip>/predictions/squeezenet -T kitten.jpg

下面是示例输出。

[
  {
    "probability": 0.8582226634025574,
    "class": "n02124075 Egyptian cat"
  },
  {
    "probability": 0.09160050004720688,
    "class": "n02123045 tabby, tabby cat"
  },
  {
    "probability": 0.037487514317035675,
    "class": "n02123159 tiger cat"
  },
  {
    "probability": 0.0061649843119084835,
    "class": "n02128385 leopard, Panthera pardus"
  },
  {
    "probability": 0.003171598305925727,
    "class": "n02127052 lynx, catamount"
  }
]

重要

如果您无法连接到外部 IP 地址，请确保您的企业防火墙不会阻止非标准端口，如 8081。您可以尝试切换至来宾网络来验证。

PyTorch 推理

您必须先注册任务定义，然后才能在 Amazon ECS 集群上运行任务。任务定义是分组在一起的一系列容器。以下示例使用将 CPU 或 GPU 推理脚本添加到 Deep Learning Containers 的示例 Docker 映像。

基于 CPU 的推理

使用以下任务定义运行基于 CPU 的推理。

使用以下内容创建名为 ecs-dlc-cpu-inference-taskdef.json 的文件。


{
    "requiresCompatibilities": [
        "EC2"
    ],
    "containerDefinitions": [{
        "command": [
            "mxnet-model-server --start --mms-config /home/model-server/config.properties --models densenet=https://dlc-samples.s3.amazonaws.com/pytorch/multi-model-server/densenet/densenet.mar"
        ],
        "name": "pytorch-inference-container",
        "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:1.3.1-cpu-py36-ubuntu16.04",
        "memory": 8111,
        "cpu": 256,
        "essential": true,
        "portMappings": [{
                "hostPort": 8081,
                "protocol": "tcp",
                "containerPort": 8081
            },
            {
                "hostPort": 80,
                "protocol": "tcp",
                "containerPort": 8080
            }
        ],
        "logConfiguration": {
            "logDriver": "awslogs",
            "options": {
                "awslogs-group": "/ecs/densenet-inference-cpu",
                "awslogs-region": "us-east-1",
                "awslogs-stream-prefix": "densenet",
                "awslogs-create-group": "true"
            }
        }
    }],
    "volumes": [],
    "networkMode": "bridge",
    "placementConstraints": [],
    "family": "pytorch-inference"
}

注册任务定义。记下输出中的修订号并在下一步中使用该修订号。


aws ecs register-task-definition --cli-input-json file://ecs-dlc-cpu-inference-taskdef.json

创建 Amazon ECS 服务指定任务定义时，请替换revision_id其中包含上一步的输出中任务定义的修订号。


aws ecs create-service --cluster ecs-ec2-training-inference \
                       --service-name cli-ec2-inference-cpu \
                       --task-definition Ec2PTInference:revision_id \
                       --desired-count 1 \
                       --launch-type EC2 \
                       --scheduling-strategy REPLICA \
                       --region us-east-1

通过完成以下步骤来验证服务并获取网络终端节点。
1. 打开 https://console.aws.amazon.com/ecs/ 上的 Amazon ECS 控制台。
2. 选择 ecs-ec2-training-inference 集群。
3. 在 Cluster (集群) 页面上，选择 Services (服务)，然后选择 cli-ec2-inference-cpu。
4. 在你的任务进入RUNNING状态中，选择任务标识符。
5. 在 Containers (容器) 下，展开容器详细信息。
6. 在名称然后网络绑定，在外部链接记下端口 8081 的 IP 地址并在下一步中使用该 IP 地址。
7. 在 Log Configuration (日志配置) 下，选择 View logs in CloudWatch (查看 CloudWatch 中的日志 )。这会将您转到 CloudWatch 控制台以查看训练进度日志。
要运行推理，请使用以下命令。替换external IP上一步中的外部链接 IP 地址。
```
curl -O https://s3.amazonaws.com/model-server/inputs/flower.jpg
curl -X POST http://<External ip>/predictions/densenet -T flower.jpg
```
重要
如果您无法连接到外部 IP 地址，请确保您的企业防火墙不会阻止非标准端口，如 8081。您可以尝试切换至来宾网络来验证。

基于 GPU 的推理

使用以下任务定义运行基于 GPU 的推理。


{
    "requiresCompatibilities": [
        "EC2"
    ],
    "containerDefinitions": [{
        "command": [
            "mxnet-model-server --start --mms-config /home/model-server/config.properties --models densenet=https://dlc-samples.s3.amazonaws.com/pytorch/multi-model-server/densenet/densenet.mar"
        ],
        "name": "pytorch-inference-container",
        "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:1.3.1-gpu-py36-cu101-ubuntu16.04",
        "memory": 8111,
        "cpu": 256,
        "essential": true,
        "portMappings": [{
                "hostPort": 8081,
                "protocol": "tcp",
                "containerPort": 8081
            },
            {
                "hostPort": 80,
                "protocol": "tcp",
                "containerPort": 8080
            }
        ],
        "logConfiguration": {
            "logDriver": "awslogs",
            "options": {
                "awslogs-group": "/ecs/densenet-inference-cpu",
                "awslogs-region": "us-east-1",
                "awslogs-stream-prefix": "densenet",
                "awslogs-create-group": "true"
            }
        }
    }],
    "volumes": [],
    "networkMode": "bridge",
    "placementConstraints": [],
    "family": "pytorch-inference"
}

使用以下命令注册任务定义。记下修订号的输出并在下一步中使用它。
```
aws ecs register-task-definition --cli-input-json file://<Task definition file>
```

要创建服务，请在以下命令中将 revision_id 替换为上一步中的输出。


aws ecs create-service --cluster ecs-ec2-training-inference \
                    --service-name cli-ec2-inference-gpu \
                    --task-definition Ec2PTInference:<revision_id> \
                    --desired-count 1 \
                    --launch-type "EC2" \
                    --scheduling-strategy REPLICA \
                    --region us-east-1

通过完成以下步骤来验证服务并获取网络终端节点。
1. 打开 https://console.aws.amazon.com/ecs/ 上的 Amazon ECS 控制台。
2. 选择 ecs-ec2-training-inference 集群。
3. 在 Cluster (集群) 页面上，选择 Services (服务)，然后选择 cli-ec2-inference-cpu。
4. 一旦你的任务进入RUNNING状态中，选择任务标识符。
5. 在 Containers (容器) 下，展开容器详细信息。
6. 在名称然后网络绑定，在外部链接记下端口 8081 的 IP 地址并在下一步中使用该 IP 地址。
7. 在 Log Configuration (日志配置) 下，选择 View logs in CloudWatch (查看 CloudWatch 中的日志 )。这会将您转到 CloudWatch 控制台以查看训练进度日志。
要运行推理，请使用以下命令。替换external IP上一步中的外部链接 IP 地址。
```
curl -O https://s3.amazonaws.com/model-server/inputs/flower.jpg
curl -X POST http://<External ip>/predictions/densenet -T flower.jpg
```
重要
如果您无法连接到外部 IP 地址，请确保您的企业防火墙不会阻止非标准端口，如 8081。您可以尝试切换至来宾网络来验证。

后续步骤

要了解如何在 Amazon ECS 上将自定义入口点与 Deep Learning Containers 结合使用，请参阅自定义入口点.

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

培训

自定义入口点