pods 的安全组

要部署适用于 pods 的安全组

如果您使用的是仅适用于 Fargate pods 的安全组，而且集群上没有任何 Amazon EC2 节点，请跳至 部署示例应用程序。

1. 使用以下命令查看您当前的 CNI 插件版本：

   kubectl describe daemonset aws-node --namespace kube-system | grep Image | cut -d "/" -f 2

   输出示例如下。

   amazon-k8s-cni-init:1.7.5-eksbuild.1
   amazon-k8s-cni:1.7.5-eksbuild.1

   如果您的 CNI 插件版本低于 1.7.7，请将其更新到 1.7.7 或更高版本。有关更多信息，请参阅更新 Amazon VPC CNI plugin for Kubernetes 附加组件。

2. 将 AmazonEKSVPCResourceController 托管策略添加到与您的 Amazon EKS 集群关联的集群角色。策略允许角色管理网络接口、网络接口的私有 IP 地址以及与网络实例之间的连接和分离。

   1. 确定您的集群 IAM 角色的 ARN。将 my-cluster 替换为您的集群名称。

      aws eks describe-cluster --name my-cluster --query cluster.roleArn --output text

      输出示例如下。

      arn:aws:iam::111122223333:role/eksClusterRole

   2. 以下命令可将策略附加到名为 eksClusterRole 的集群角色。将 eksClusterRole 替换为您的角色的名称。

      aws iam attach-role-policy \
          --policy-arn arn:aws:iam::aws:policy/AmazonEKSVPCResourceController \
          --role-name eksClusterRole

3. 通过在 aws-node DaemonSet 中将 ENABLE_POD_ENI 变量设置为 true，启用 Amazon VPC CNI 附加组件来管理 pods 的网络接口。此设置一旦设置为 true 后，附加组件会为集群中的每个节点添加一个带有值 vpc.amazonaws.com/has-trunk-attached=true 的标注。VPC 资源控制器会创建并附加一个带有 aws-k8s-trunk-eni 描述且名为中继网络接口的特殊网络接口。

   kubectl set env daemonset aws-node -n kube-system ENABLE_POD_ENI=true

   注意

   中继网络接口包含在实例类型支持的最大网络接口数中。有关每种实例类型支持的最大网络接口数的列表，请参阅《适用于 Linux 实例的 Amazon EC2 用户指南》中的每种实例类型的每个网络接口的 IP 地址数。如果您的节点已经附加了最大数量的标准网络接口，则 VPC 资源控制器将预订一个空间。您将必须缩减您正在运行的 pods，以便控制器足以分离和删除标准网络接口、创建中继网络接口并将其附加到实例。

   您可以使用以下命令查看哪些节点的 aws-k8s-trunk-eni 设置为 true。如果返回 No resources found，则等几秒钟后重试。上一步需要重新启动 CNI pods，这需要几秒钟的时间。

   kubectl get nodes -o wide -l vpc.amazonaws.com/has-trunk-attached=true

   创建中继网络接口后，可以从中继或标准网络接口为 pods 分配辅助 IP 地址。如果节点被删除，中继接口将自动删除。

   当您在后面的步骤中部署适用于 pod 的安全组时，VPC 资源控制器会创建一个具有 aws-k8s-branch-eni 描述的名为分支网络接口的特殊网络接口，并将安全组与其关联。除了附加到节点的标准网络接口和中继网络接口之外，还会创建分支网络接口。如果您使用的是存活探测或就绪探测器，则您还需要禁用 TCP 早期解复用器，以便 kubelet 可以使用 TCP 连接到分支网络接口上的 pods。要禁用 TCP 早期解复用器，请运行以下命令：

   kubectl patch daemonset aws-node \
     -n kube-system \
     -p '{"spec": {"template": {"spec": {"initContainers": [{"env":[{"name":"DISABLE_TCP_EARLY_DEMUX","value":"true"}],"name":"aws-vpc-cni-init"}]}}}}'

   注意

   如果您使用的是 1.11.0 或更高版本的 Amazon VPC CNI plugin for Kubernetes 附加组件并设置 POD_SECURITY_GROUP_ENFORCING_MODE=standard，如下一步所述，则您就不需要运行上一个命令。

4. 如果您的集群使用 NodeLocal DNSCache，或者您想将 Calico 网络策略用于拥有自己的安全组的 pods，或者您有 NodePort 和 LoadBalancer 类型的 Kubernetes 服务，将 externalTrafficPolicy 设置为 Local 的实例目标用于您要将安全组分配到的 pods，则您必须使用版本 1.11.0 或更高版本的 Amazon VPC CNI plugin for Kubernetes 附加组件，并启用以下设置：

   kubectl set env daemonset aws-node -n kube-system POD_SECURITY_GROUP_ENFORCING_MODE=standard

   重要

   • Pod 安全组规则不适用于位于相同节点上的 pods 之间或介于 pods 和services之间之外的流量，例如 kubelet 或 nodeLocalDNS。

   • 从 pods 到 VPC 以外的地址的出站流量是转换为实例的主网络接口的 IP 地址的网络地址（除非您还设置了 AWS_VPC_K8S_CNI_EXTERNALSNAT=true）。对于此流量，将使用主网络接口的安全组中的规则，而不是 pod's 安全组中的规则。

   • 要将此设置应用于现有 pods，必须重新启动 pods 在其上运行的 pods 或节点。

5. 创建要将资源部署到该处的命名空间。

   kubectl create namespace my-namespace

6. 将 Amazon EKS SecurityGroupPolicy 部署到集群。

   1. 将以下示例安全策略保存到名为 my-security-group-policy.yaml 的文件中。如果您希望根据服务账户标签选择 pods，您可以将 podSelector 替换为 serviceAccountSelector。您必须指定一个或其他选择器。空的 podSelector（示例：podSelector: {}）会选择命名空间中的所有 pods。空的 serviceAccountSelector 会选择命名空间中的所有服务账户。您必须为 groupIds 指定 1-5 个安全组 ID。如果指定了多个 ID，则所有安全组中的所有规则的组合都会对选定的 pods 生效。

      apiVersion: vpcresources.k8s.aws/v1beta1
      kind: SecurityGroupPolicy
      metadata:
        name: my-security-group-policy
        namespace: my-namespace
      spec:
        podSelector: 
          matchLabels:
            role: my-role
        securityGroups:
          groupIds:
            - sg-abc123

      重要

      • 您在策略中指定的安全组必须是存在的。如果它们不存在，那么当您部署与选择器匹配的 pod 时，该 pod 会在创建过程中处于卡住状态。如果您描述 pod，则会看到类似于以下内容的错误消息：An error occurred (InvalidSecurityGroupID.NotFound) when calling the CreateNetworkInterface operation: The securityGroup ID 'sg-abc123' does not exist。

      • 安全组必须允许通过您为其配置了探测器的任何端口来自集群安全组的入站通信（对于 kubelet）。

      • 安全组必须允许与安全组进行出站通信。此安全组应允许来自其的入站 TCP 和 UDP 端口 53（针对 CoreDNS pods）。

      • 如果您将安全组策略与 Fargate 一起使用，请确保您的安全组具有允许 pods 与 Kubernetes 控制面板通信的规则。执行此操作的最简单方法是将集群安全组指定为安全组之一。

      • 安全组策略仅适用于新调度的 pods。不影响正在运行的 pods。

   2. 部署策略。

      kubectl apply -f my-security-group-policy.yaml

7. 部署其标注与上一步中指定的 podselector 的 my-role 值相匹配的示例应用程序。

   1. 将以下内容保存到一个文件中。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: my-deployment
        namespace: my-namespace
        labels:
          app: my-app
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: my-app
        template:
          metadata:
            labels:
              app: my-app
              role: my-role
          spec:
            containers:
            - name: my-container
              image: my-image
              ports:
              - containerPort: 80

   2. 使用以下命令部署应用程序。当您部署应用程序时，Amazon VPC CNI plugin for Kubernetes 插件将匹配 role 标注，并且您在上一步中指定的安全组将应用到 pod。

      kubectl apply -f my-security-group-policy.yaml

      注意

      • 如果您的 pod 卡在 Waiting 状态，而且您在描述 pod 时看到了 Insufficient permissions: Unable to create Elastic Network Interface.，请确认您已在上一步中将 IAM policy 添加到 IAM 集群角色。

      • 如果您的 pod 卡在 Pending 状态，请确认您的节点实例类型在 Github 上的 limits.go 中 IsTrunkingCompatible: true，并且尚未达到实例类型支持的最大分支网络接口数乘以节点组中节点数得到的数值。例如，m5.large 实例支持 9 个分支网络接口。如果节点组有 5 个节点，则最多可以为节点组创建 45 个分支网络接口。在删除另一个具有关联安全组的 pod 前，您尝试部署的第 46 个 pod 将会处于 Pending 状态。

      如果您运行 kubectl describe pod my-deployment-xxxxxxxxxx-xxxxx -n my-namespace 并看到类似于以下消息内容的消息，则可以安全地忽略该消息。当 CNI 插件尝试在创建网络接口时设置主机联网并失败时，可能会出现此消息。Amazon VPC CNI plugin for Kubernetes 会记录此事件，直到创建了网络接口为止。

      Failed to create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "e24268322e55c8185721f52df6493684f6c2c3bf4fd59c9c121fd4cdc894579f" network for pod "my-deployment-59f5f68b58-c89wx": networkPlugin
      cni failed to set up pod "my-deployment-59f5f68b58-c89wx_my-namespace" network: add cmd: failed to assign an IP address to container

      您不能超过可在实例类型上运行的 pods 的最大数量。有关可在每种实例类型上运行的 pods 的最大数量的列表，请参阅 GitHub 上的 eni-max-pods.txt。当您删除具有关联安全组的 pod 或删除运行该 pod 的节点时，VPC 资源控制器会删除分支网络接口。如果您使用适用于安全组的 pods 删除带有 pods 的集群，则该控制器不会删除分支网络接口，因此您需要自行删除它们。

要使用安全组部署示例 pod

1. 创建要与 pod 一起使用的安全组。后续步骤可帮助您创建一个简单的安全组，仅用于说明目的。在生产集群中，您的规则可能会有所不同。

   1. 检索集群的 VPC 和集群安全组的 ID。将 my-cluster 替换为您的集群名称。

      my_cluster_name=my-cluster
      my_cluster_vpc_id=$(aws eks describe-cluster \
          --name $my_cluster_name \
          --query cluster.resourcesVpcConfig.vpcId \
          --output text)
      my_cluster_security_group_id=$(aws eks describe-cluster \
          --name $my_cluster_name \
          --query cluster.resourcesVpcConfig.clusterSecurityGroupId \
          --output text)

   2. 为 pod 创建安全组。将 my-pod-security-group 替换为您自己的值。请记下运行命令后在输出中返回的安全组的 ID。您将在后面的步骤中用到它。

      my_pod_security_group_name=my-pod-security-group
      aws ec2 create-security-group \
          --vpc-id $my_cluster_vpc_id \
          --group-name $my_pod_security_group_name \
          --description "My pod security group"
      my_pod_security_group_id=$(aws ec2 describe-security-groups \
          --filters Name=group-name,Values=$my_pod_security_group_name \
          --query 'SecurityGroups[].GroupId' \
          --output text)
      echo $my_pod_security_group_id

   3. 允许 TCP 和 UDP 端口 53 流量从您在上一步中创建的 pod 安全组发送到您的集群安全组。如果您希望 DNS 流量从您的 pod 流向与集群安全组不同的安全组，则将 $my_cluster_security_group_id 替换为您自己的安全组 ID。记下每个命令返回的输出中的 SecurityGroupRuleId 返回的值。您将在后面的步骤中用到它们。

      aws ec2 authorize-security-group-ingress \
          --group-id $my_cluster_security_group_id \
          --protocol tcp --port 53 --source-group $my_pod_security_group_id
      aws ec2 authorize-security-group-ingress \
          --group-id $my_cluster_security_group_id \
          --protocol udp --port 53 --source-group $my_pod_security_group_id

   4. 允许通过任何协议和端口从与安全组关联的任何 pod 到您的 pod 安全组的入站流量。安全组具有默认出站规则，允许通过任何协议和端口从与安全组关联的 pods 到您的任何目的地的出站流量。

      aws ec2 authorize-security-group-ingress \
          --group-id $my_pod_security_group_id \
          --protocol -1 --port -1 --source-group $my_pod_security_group_id

2. 创建要将资源部署到该处的 Kubernetes 命名空间。

   kubectl create namespace my-namespace

3. 将 Amazon EKS SecurityGroupPolicy 部署到集群。

   1. 将以下示例安全策略保存到名为 my-security-group-policy.yaml 的文件中。如果您希望根据服务账户标签选择 pods，您可以将 podSelector 替换为 serviceAccountSelector。您必须指定一个或其他选择器。空的 podSelector（示例：podSelector: {}）会选择命名空间中的所有 pods。空的 serviceAccountSelector 会选择命名空间中的所有服务账户。您必须为 groupIds 指定 1-5 个安全组 ID。如果指定了多个 ID，则所有安全组中的所有规则的组合都会对选定的 pods 生效。将 sg-05b1d815d1EXAMPLE 替换为您在为 pod 创建安全组时在上一步中注明的安全组的 ID。

      apiVersion: vpcresources.k8s.aws/v1beta1
      kind: SecurityGroupPolicy
      metadata:
        name: my-security-group-policy
        namespace: my-namespace
      spec:
        podSelector: 
          matchLabels:
            role: my-role
        securityGroups:
          groupIds:
            - sg-05b1d815d1EXAMPLE

      重要

      您为 pod 指定的一个或多个安全组必须符合以下标准：

      • 它们必须存在。如果它们不存在，那么当您部署与选择器匹配的 pod 时，该 pod 会在创建过程中处于卡住状态。如果您描述 pod，则会看到类似于以下内容的错误消息：An error occurred (InvalidSecurityGroupID.NotFound) when calling the CreateNetworkInterface operation: The securityGroup ID 'sg-05b1d815d1EXAMPLE' does not exist。

      • 它们必须允许通过您为其配置了探测器的任何端口从集群安全组进行入站通信（对于 kubelet）。

      • 它们必须允许通过 TCP 和 UDP 端口 53 对分配到运行 CoreDNS 的 pods 的安全组的出站通信。您的 CoreDNS pods 的安全组必须允许来自您的安全组的入站 TCP 和 UDP 端口 53 流量。

      • 它们必须具备必要的入站和出站规则才能与它们需要与其通信的其他 pods 进行通信。

      • 如果您将安全组与 Fargate 一起使用，它们必须具有允许 pods 与 Kubernetes 控制面板通信的规则。执行此操作的最简单方法是将集群安全组指定为安全组之一。

      安全组策略仅适用于新调度的 pods。不影响正在运行的 pods。

   2. 部署策略。

      kubectl apply -f my-security-group-policy.yaml

4. 部署其标注与上一步中指定的 podSelector 的 my-role 值相匹配的示例应用程序。

   1. 将以下内容保存到名为 sample-application.yaml 的文件中。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: my-deployment
        namespace: my-namespace
        labels:
          app: my-app
      spec:
        replicas: 4
        selector:
          matchLabels:
            app: my-app
        template:
          metadata:
            labels:
              app: my-app
              role: my-role
          spec:
            terminationGracePeriodSeconds: 120
            containers:
            - name: nginx
              image: public.ecr.aws/nginx/nginx:1.21
              ports:
              - containerPort: 80
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: my-app
        namespace: my-namespace
        labels:
          app: my-app
      spec:
        selector:
          app: my-app
        ports:
          - protocol: TCP
            port: 80
            targetPort: 80

   2. 使用以下命令部署应用程序。当您部署应用程序时，Amazon VPC CNI plugin for Kubernetes 插件将匹配 role 标注，并且您在上一步中指定的安全组将应用到 pod。

      kubectl apply -f sample-application.yaml

      注意

      • 如果您的 pod 卡在 Waiting 状态，而且您在描述 pod 时看到了 Insufficient permissions: Unable to create Elastic Network Interface.，请确认您已在上一步中将 IAM policy 添加到 IAM 集群角色。

      • 如果您的 pod 卡在 Pending 状态，请确认您的节点实例类型已列在 limits.go 中，并且尚未达到实例类型支持的最大分支网络接口数乘以节点组中节点数得到的数值。例如，m5.large 实例支持 9 个分支网络接口。如果节点组有 5 个节点，则最多可以为节点组创建 45 个分支网络接口。在删除另一个具有关联安全组的 pod 前，您尝试部署的第 46 个 pod 将会处于 Pending 状态。

      如果您运行 kubectl describe pod my-deployment-xxxxxxxxxx-xxxxx -n my-namespace 并看到类似于以下消息内容的消息，则可以安全地忽略该消息。当 CNI 插件尝试在创建网络接口时设置主机联网并失败时，可能会出现此消息。CNI 插件会记录此事件，直到创建了网络接口为止。

      Failed to create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "e24268322e55c8185721f52df6493684f6c2c3bf4fd59c9c121fd4cdc894579f" network for pod "my-deployment-5df6f7687b-4fbjm": networkPlugin
      cni failed to set up pod "my-deployment-5df6f7687b-4fbjm-c89wx_my-namespace" network: add cmd: failed to assign an IP address to container

      您不能超过可在实例类型上运行的 pods 的最大数量。有关可在每种实例类型上运行的 pods 的最大数量的列表，请参阅 GitHub 上的 eni-max-pods.txt。当您删除具有关联安全组的 pod 或删除运行该 pod 的节点时，VPC 资源控制器会删除分支网络接口。如果您使用适用于安全组的 pods 删除带有 pods 的集群，则该控制器不会删除分支网络接口，因此您需要自行删除它们。

5. 查看使用示例应用程序部署的 pods。对于本主题的其余部分，此终端称为 TerminalA。

   kubectl get pods -n my-namespace -o wide

   输出示例如下。

   NAME                             READY   STATUS    RESTARTS   AGE     IP               NODE                                            NOMINATED NODE   READINESS GATES
   my-deployment-5df6f7687b-4fbjm   1/1     Running   0          7m51s   192.168.53.48    ip-192-168-33-28.region-code.compute.internal   <none>           <none>
   my-deployment-5df6f7687b-j9fl4   1/1     Running   0          7m51s   192.168.70.145   ip-192-168-92-33.region-code.compute.internal   <none>           <none>
   my-deployment-5df6f7687b-rjxcz   1/1     Running   0          7m51s   192.168.73.207   ip-192-168-92-33.region-code.compute.internal   <none>           <none>
   my-deployment-5df6f7687b-zmb42   1/1     Running   0          7m51s   192.168.63.27    ip-192-168-33-28.region-code.compute.internal   <none>           <none>

6. 在单独的终端中，shell 进入其中一个 pods。对于本主题的其余部分，此终端称为 TerminalB。将 5df6f7687b-4fbjm 替换为您在上一步输出中返回的其中一个 pods 的 ID。

   kubectl exec -it -n my-namespace my-deployment-5df6f7687b-4fbjm -- /bin/bash

7. 从 TerminalB 的 shell 中，确认示例应用程序是否有效。

   curl my-app

   输出示例如下。

   <!DOCTYPE html>
   <html>
   <head>
   <title>Welcome to nginx!</title>
   ...

   您收到了输出，因为运行该应用程序的所有 pods 与您创建的安全组关联。该组包含一条规则，允许安全组所关联的所有 pods 之间的所有流量。允许 DNS 流量从该安全组出站到与您的节点关联的集群安全组。节点正在运行 CoreDNS pods，您的 pods 对该 DNS 进行了名称查找。

8. 从 TerminalA 中，删除允许从安全组与集群安全组进行 DNS 通信的安全组规则。如果您在上一步中没有将 DNS 规则添加到集群安全组中，请将 $my_cluster_security_group_id 替换为您在其中创建规则的安全组的 ID。将 sgr-0407e21efdEXAMPLE 和 sgr-04dedf9701EXAMPLE 替换为您在上一步中注明的安全组规则的 ID。

   aws ec2 revoke-security-group-ingress --group-id $my_cluster_security_group_id --security-group-rule-ids sgr-0407e21efdEXAMPLE
   aws ec2 revoke-security-group-ingress --group-id $my_cluster_security_group_id --security-group-rule-ids sgr-04dedf9701EXAMPLE

9. 从 TerminalB 中，尝试再次访问该应用程序。

   curl my-app

   由于 pod 不再能够访问具有与其关联的集群安全组的 CoreDNS pods，尝试失败。集群安全组不再具有安全组规则，该规则允许从与 pod 关联的安全组进行 DNS 通信。

   如果您尝试使用上一步中的其中一个 pods 返回的 IP 地址访问应用程序，您仍然会收到响应，因为在与安全组相关联的所有 pods 之间允许所有端口，并且不需要名称查找。

10. 完成实验后，您可以删除使用以下命令创建的示例安全组策略、应用程序和安全组。

    kubectl delete namespace my-namespace
    aws ec2 delete-security-group --group-id $my_pod_security_group_id