日志记录

您可以将 Apache Kafka 代理日志传送到以下一种或多种目标类型：亚马逊 CloudWatch 日志、Amazon S3、Amazon Kinesis Data Firehose 您也可以使用以下方式记录亚马逊 MSK API 调用Amazon CloudTrail.

代理日志

代理日志使您能够对 Apache Kafka 应用程序进行故障排除，并分析它们与 MSK 集群的通信。您可以配置新的或现有的 MSK 集群，将信息级别的代理日志传送到以下一种或多种类型的目标资源：a CloudWatch 日志组、S3 存储桶、Kinesis Data Firehose 传输流。然后，您可以通过 Kinesis Data Firehose 将日志数据从传输流传输到 OpenSearch 服务。必须先创建目标资源，然后才能将群集配置为向其传送代理日志。Amazon MSK 不会为您创建这些目标资源。有关这三种类型的目标资源以及如何创建这些资源的信息，请参阅以下文档：

注意

Amazon MSK 不支持将代理日志传输到亚太（大阪）区域的 Kinesis Data Firehose。

所需权限

要为 Amazon MSK 代理日志配置目的地，您用于 Amazon MSK 操作的 IAM 身份必须具有中所述的权限Amazon托管策略：AmazonMSKFullAccess策略。

要将代理日志流式传输到 S3 存储桶，您还需要s3:PutBucketPolicy权限。有关 S3 存储桶策略的信息，请参阅如何添加 S3 存储桶策略？Amazon S3 控制台用户指南中《Amazon S 有关 IAM policy 的一般信息，请参阅访问管理IAM 用户指南中。

与 SSE-KMS 存储桶结合使用时必需的 KMS 密钥策略

如果您使用为 S3 存储桶启用了服务器端加密Amazon KMS-托管密钥 (SSE-KMS) 使用客户托管密钥，将以下内容添加到 KMS 密钥的密钥策略中，以便Amazon MSK 可以将代理文件写入存储桶。


{
  "Sid": "Allow Amazon MSK to use the key.",
  "Effect": "Allow",
  "Principal": {
    "Service": [
      "delivery.logs.amazonaws.com"
    ]
  },
  "Action": [
    "kms:Encrypt",
    "kms:Decrypt",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*",
    "kms:DescribeKey"
  ],
  "Resource": "*"
}

使用 Amazon Web Services Management Console配置代理日志

如果您正在创建新集群，请查找代理日志传送正在前进监控部分。您可以指定您希望 Amazon MSK 将您的代理日志传送到的目的地。

对于现有集群，从集群列表中选择集群，然后选择属性选项卡。向下滚动到日志传输部分，然后选择它的编辑按钮。您可以指定您希望 Amazon MSK 将您的代理日志传送到的目的地。

使用 Amazon CLI配置代理日志

使用 create-cluster 或 update-monitoring 命令时，您可以选择指定 logging-info 参数并将类似如下的 JSON 结构传递给该参数。在此 JSON 中，所有三种目标类型都是可选的。


{
  "BrokerLogs": {
    "S3": {
      "Bucket": "ExampleBucketName",
      "Prefix": "ExamplePrefix",
      "Enabled": true
    },
    "Firehose": {
      "DeliveryStream": "ExampleDeliveryStreamName",
      "Enabled": true
    },
    "CloudWatchLogs": {
      "Enabled": true,
      "LogGroup": "ExampleLogGroupName"
    }
  }
}

使用 API 配置代理日志

可以指定可选的loggingInfo你传递给的 JSON 中的结构CreateCluster要么UpdateMonitoring操作。

注意

默认情况下，启用代理日志记录时，Amazon MSK 会日志INFO到指定目的地的级别日志。但是，Apache Kafka 2.4.X 及更高版本的用户可以动态地将代理日志级别设置为任何log4j 日志级别. 有关动态设置代理日志级别的信息，请参阅KIP-412：扩展管理员 API 以支持动态应用程序日志级别. 如果您将日志级别动态设置为DEBUG要么TRACE，我们建议使用 Amazon S3 或 Kinesis Data Firehose 作为日志目标。如果您使用 CloudWatch 将日志作为日志目的地，您可以动态启用DEBUG要么TRACE级别日志，Amazon MSK 可能会持续提供日志样本。这可能会显著影响经纪商的表现，只能在经纪人业绩时使用INFO日志级别不够详细，不足以确定问题的根本原因。

使用 Amazon CloudTrail 记录 API 调用

注意

Amazon CloudTrail只有当您使用时，日志才可用于亚马逊 MSKIAM 访问控制.

亚马逊 MSK 已集成到Amazon CloudTrail，一种提供用户、角色或角色所采取操作的记录的服务Amazon亚马逊 MSK 中的服务。 CloudTrail 将的 API 调用作为事件捕获 API 调用。这些捕获包括通过 Amazon MSK 控制台的调用和对 Amazon MSK API 操作的代码调用。它还捕获 Apache Kafka 的操作，例如创建和修改主题和群组。

如果您创建了跟踪，则可以使持续传输 CloudTrail Amazon S3 存储桶的事件，包括Amazon MSK 的事件。如果您不配置跟踪，则仍可在 CloudTrail 控制台输入事件历史. 使用收集的信息 CloudTrail，您可以确定向 Amazon MSK 发出了什么请求、何人发出的请求、请求的发出时间以及其他详细信息。

了解相关更多信息 CloudTrail，包括如何对其进行配置和启用，请参阅Amazon CloudTrail用户指南.

Amazon MSK 信息位于 CloudTrail

CloudTrail 在您创建Amazon Web Services 账户时，将在该账户上启用。当 MSK 集群中发生受支持的事件活动时，该活动将记录在 CloudTrail 活动以及其他Amazon中的服务事件事件历史. 您可以在 Amazon Web Services 账户中查看、搜索和下载最新事件。有关更多信息，请参阅使用 CloudTrail 事件历史记录查看事件。

要持续记录 Amazon Web Services 账户中的事件（包括 Amazon MSK 的事件），请创建跟踪记录。一个踪迹启用 CloudTrail 将日志文件传送至 Amazon S3 存储桶。默认情况下，在控制台中创建跟踪时，此跟踪应用于所有区域。此跟踪记录在 Amazon 分区中记录所有区域中的事件，并将日志文件传送至您指定的 Simple Storage Service（Amazon S3）存储桶。此外，您可以配置其他 Amazon 服务，进一步分析在中收集的事件数据并采取操作 CloudTrail 日志。有关更多信息，请参阅下列内容：

AmazonAmazon作为事件在 CloudTrail 日志文件。此外，它还会记录以下 Apache Kafka 操作。

kafka 集群：DescribeClusterDynamicConfiguration
kafka 集群：AlterClusterDynamicConfiguration
kafka 集群：CreateTopic
kafka 集群：DescribeTopicDynamicConfiguration
kafka 集群：AlterTopic
kafka 集群：AlterTopicDynamicConfiguration
kafka 集群：DeleteTopic

每个事件或日志条目都包含有关生成请求的人员信息。身份信息可帮助您确定以下内容：

请求是使用根用户凭证还是 Amazon Identity and Access Management（IAM）用户凭证发出的。
请求是使用角色还是联合身份用户的临时安全凭证发出的。
请求是否由其它 Amazon 服务发出。

有关更多信息，请参阅 CloudTrail userIdentity 元素。

示例：Amazon MSK 日志文件条目

跟踪是一种配置，可用于将事件作为日志文件传送到您指定的 Amazon S3 存储桶。 CloudTrail 日志文件包含一个或多个日志条目。一个事件表示来自任何源的一个请求，包括有关所请求的操作、操作的日期和时间、请求参数等方面的信息。 CloudTrail 日志文件不是公用 API 调用和 Apache Kafka 操作的有序堆栈跟踪，因此它们不会按任何特定顺序显示。

下面的示例演示如何操作 CloudTrail 演示以下内容的日志条目DescribeCluster和DeleteClusterAmazon MSK 操作。


{
  "Records": [
    {
      "eventVersion": "1.05",
      "userIdentity": {
        "type": "IAMUser",
        "principalId": "ABCDEF0123456789ABCDE",
        "arn": "arn:aws:iam::012345678901:user/Joe",
        "accountId": "012345678901",
        "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
        "userName": "Joe"
      },
      "eventTime": "2018-12-12T02:29:24Z",
      "eventSource": "kafka.amazonaws.com",
      "eventName": "DescribeCluster",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "192.0.2.0",
      "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
      "requestParameters": {
        "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
      },
      "responseElements": null,
      "requestID": "bd83f636-fdb5-abcd-0123-157e2fbf2bde",
      "eventID": "60052aba-0123-4511-bcde-3e18dbd42aa4",
      "readOnly": true,
      "eventType": "AwsApiCall",
      "recipientAccountId": "012345678901"
    },
    {
      "eventVersion": "1.05",
      "userIdentity": {
        "type": "IAMUser",
        "principalId": "ABCDEF0123456789ABCDE",
        "arn": "arn:aws:iam::012345678901:user/Joe",
        "accountId": "012345678901",
        "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE",
        "userName": "Joe"
      },
      "eventTime": "2018-12-12T02:29:40Z",
      "eventSource": "kafka.amazonaws.com",
      "eventName": "DeleteCluster",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "192.0.2.0",
      "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20",
      "requestParameters": {
        "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2"
      },
      "responseElements": {
        "clusterArn": "arn:aws:kafka:us-east-1:012345678901:cluster/examplecluster/01234567-abcd-0123-abcd-abcd0123efa-2",
        "state": "DELETING"
      },
      "requestID": "c6bfb3f7-abcd-0123-afa5-293519897703",
      "eventID": "8a7f1fcf-0123-abcd-9bdb-1ebf0663a75c",
      "readOnly": false,
      "eventType": "AwsApiCall",
      "recipientAccountId": "012345678901"
    }
  ]
}

下面的示例介绍一个 CloudTrail 演示以下内容的日志条目kafka-cluster:CreateTopic操作。


{
  "eventVersion": "1.08",
  "userIdentity": {
    "type": "IAMUser",
    "principalId": "ABCDEFGH1IJKLMN2P34Q5",
    "arn": "arn:aws:iam::111122223333:user/Admin",
    "accountId": "111122223333",
    "accessKeyId": "CDEFAB1C2UUUUU3AB4TT",
    "userName": "Admin"
  },
  "eventTime": "2021-03-01T12:51:19Z",
  "eventSource": "kafka-cluster.amazonaws.com",
  "eventName": "CreateTopic",
  "awsRegion": "us-east-1",
  "sourceIPAddress": "198.51.100.0/24",
  "userAgent": "aws-msk-iam-auth/unknown-version/aws-internal/3 aws-sdk-java/1.11.970 Linux/4.14.214-160.339.amzn2.x86_64 OpenJDK_64-Bit_Server_VM/25.272-b10 java/1.8.0_272 scala/2.12.8 vendor/Red_Hat,_Inc.",
  "requestParameters": {
    "kafkaAPI": "CreateTopics",
    "resourceARN": "arn:aws:kafka:us-east-1:111122223333:topic/IamAuthCluster/3ebafd8e-dae9-440d-85db-4ef52679674d-1/Topic9"
  },
  "responseElements": null,
  "requestID": "e7c5e49f-6aac-4c9a-a1d1-c2c46599f5e4",
  "eventID": "be1f93fd-4f14-4634-ab02-b5a79cb833d2",
  "readOnly": false,
  "eventType": "AwsApiCall",
  "managementEvent": true,
  "eventCategory": "Management",
  "recipientAccountId": "111122223333"
}

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

控制对 Apache 的访问 ZooKeeper

合规性验证