设置 CloudWatch 使用控制台日志记录设置 CloudWatch 使用 CLI 日志记录应用程序监控级别日志记录最佳实践日志记录故障排除下一个步骤

设置应用程序日志记录

通过添加亚马逊 CloudWatch 日志记录选项到 Kinesis Data Analytics 应用程序，您可以监控应用程序事件或配置问题。

此主题介绍了如何配置应用程序，以将应用程序事件写入到 CloudWatch 日志流。一个 CloudWatch 日志记录选项是一个应用程序设置和权限集合，应用程序使用这些设置和权限配置它将应用程序事件写入到的方式 CloudWatch 日志。你可以添加和配置 CloudWatch 日志记录选项使用Amazon Web Services Management Console或者Amazon Command Line Interface(Amazon CLI)。

添加时，注意以下事项 CloudWatch 日志记录选项到您的应用程序：

当你添加一个 CloudWatch 日志记录选项使用控制台，Kinesis Data Analytics 会创建 CloudWatch 日志组和日志流，并添加应用程序写入到日志流所需的权限。
当你添加一个 CloudWatch 日志记录选项时，您还必须创建应用程序的日志组和日志流，并添加应用程序写入到日志流所需的权限。

本主题包含下列部分：

设置 CloudWatch 使用控制台日志记录
设置 CloudWatch 使用 CLI 日志记录
应用程序监控级别
日志记录最佳实践
日志记录故障排除
下一个步骤

设置 CloudWatch 使用控制台日志记录

当你启用 CloudWatch 在控制台中记录您的应用程序， CloudWatch 日志组和日志流已启用。此外，还会使用写入到流的权限更新应用程序的权限策略。

以下屏幕截图显示了CloudWatch 记录设置在配置应用程序页.

Kinesis Data Analytics 创建一个使用以下约定命名的日志组，其中ApplicationName是您的应用程序的名称。


/aws/kinesis-analytics/ApplicationName

Kinesis Data Analytics 使用以下名称在新日志组中创建一个日志流。


kinesis-analytics-log-stream

您可以使用设置应用程序监视指标级别和监控日志级别监控日志级别的部分配置应用程序页. 有关应用程序日志级别的信息，请参阅应用程序监控级别。

设置 CloudWatch 使用 CLI 日志记录

添加 CloudWatch 使用日志记录选项Amazon CLI中，执行以下操作：

创建 CloudWatch 日志组和日志流。
使用创建应用程序时添加日志记录选项CreateApplication操作或添加日志组成的现有应用程序添加日志记录选项AddApplicationCloudWatchLoggingOptionaction.
在应用程序的策略中添加权限以写入到日志。

本节包含以下主题：

创建 CloudWatch 日志组和日志流
使用应用程序 CloudWatch 日志记录选项
将写入权限添加到 CloudWatch 日志流

创建 CloudWatch 日志组和日志流

你创建了一个 CloudWatch 日志组和流 CloudWatch 日志控制台或 API。有关创建的信息 CloudWatch 日志组和日志流，请参阅使用日志组和日志流.

使用应用程序 CloudWatch 日志记录选项

使用以下 API 操作来添加 CloudWatch 将日志选项记录到新的或现有的应用程序中，或者更改现有应用程序的日志选项。有关如何将 JSON 文件用于 API 操作输入的信息，请参阅 Kinesis Data Analytics API 示例代码。

添加组 CloudWatch 在创建应用程序时记录选项

以下示例了如何使用CreateApplication操作来添加 CloudWatch 创建应用程序时的 log 选项。在此示例中的 Amazon 资源名称 (ARN) CloudWatch 要添加到新应用程序的日志流使用资源。有关该操作的更多信息，请参阅 CreateApplication。


{
    "ApplicationName": "test",
    "ApplicationDescription": "test-application-description",
    "RuntimeEnvironment": "FLINK-1_13",
    "ServiceExecutionRole": "arn:aws:iam::123456789123:role/myrole",
    "ApplicationConfiguration": {
        "ApplicationCodeConfiguration": {
            "CodeContent": {
                "S3ContentLocation":{
                              "BucketARN": "arn:aws:s3:::mybucket",
                              "FileKey": "myflink.jar"
                }
            },
            "CodeContentType": "ZIPFILE"
        }
    },
    "CloudWatchLoggingOptions": [{
      "LogStreamARN": "<Amazon Resource Name (ARN) of the CloudWatch log stream to add to the new application>"
	}]
}

添加组 CloudWatch 将选项记录到现有应用程序

以下示例了如何使用AddApplicationCloudWatchLoggingOption操作来添加 CloudWatch 日志选项到现有应用程序。在该示例中，将每个用户输入占位符替换为您自己的信息。有关该操作的更多信息，请参阅 AddApplicationCloudWatchLoggingOption。


{
   "ApplicationName": "<Name of the application to add the log option to>",
   "CloudWatchLoggingOption": { 
      "LogStreamARN": "<ARN of the log stream to add to the application>"
   },
   "CurrentApplicationVersionId": <Version of the application to add the log to>
}

更新现有的 CloudWatch 日志选项

以下示例了如何使用UpdateApplication操作以修改现有的 CloudWatch 日志选项。在该示例中，将每个用户输入占位符替换为您自己的信息。有关该操作的更多信息，请参阅 UpdateApplication。


{
   "ApplicationName": "<Name of the application to update the log option for>",
   "CloudWatchLoggingOptionUpdates": [ 
         { 
            "CloudWatchLoggingOptionId": "<ID of the logging option to modify>",
            "LogStreamARNUpdate": "<ARN of the new log stream to use>"
         }
      ],
   "CurrentApplicationVersionId": <ID of the application version to modify>
}

删除集群 CloudWatch 应用程序中的日志选项

以下示例了如何使用DeleteApplicationCloudWatchLoggingOption删除现有的 CloudWatch 日志选项。在该示例中，将每个用户输入占位符替换为您自己的信息。有关该操作的更多信息，请参阅 DeleteApplicationCloudWatchLoggingOption。


{
   "ApplicationName": "<Name of application to delete log option from>",
   "CloudWatchLoggingOptionId": "<ID of the application log option to delete>",
   "CurrentApplicationVersionId": <Version of the application to delete the log option from>
}

设置应用程序日志记录级别

要设置应用程序日志记录的级别，请使用MonitoringConfigurationParameterCreateApplication动作或MonitoringConfigurationUpdateParameterUpdateApplicationaction.

有关应用程序日志级别的信息，请参阅应用程序监控级别。

在创建应用程序时设置应用程序日志记录级别

CreateApplication 操作的以下示例请求将应用程序日志级别设置为 INFO。


{
   "ApplicationName": "MyApplication",                    
   "ApplicationDescription": "My Application Description",
   "ApplicationConfiguration": {
      "ApplicationCodeConfiguration":{
      "CodeContent":{
        "S3ContentLocation":{
          "BucketARN":"arn:aws:s3:::mybucket",
          "FileKey":"myflink.jar",
          "ObjectVersion":"AbCdEfGhIjKlMnOpQrStUvWxYz12345"
        }
      },
      "CodeContentType":"ZIPFILE"
      },
      "FlinkApplicationConfiguration": 
         "MonitoringConfiguration": { 
            "ConfigurationType": "CUSTOM",
            "LogLevel": "INFO"
         }
      },
   "RuntimeEnvironment": "FLINK-1_13",
   "ServiceExecutionRole": "arn:aws:iam::123456789123:role/myrole"
}

更新应用程序日志记录级别

UpdateApplication 操作的以下示例请求将应用程序日志级别设置为 INFO。


{
   "ApplicationConfigurationUpdate": {
      "FlinkApplicationConfigurationUpdate": { 
         "MonitoringConfigurationUpdate": { 
            "ConfigurationTypeUpdate": "CUSTOM",
            "LogLevelUpdate": "INFO"
         }
      }
   }
}

将写入权限添加到 CloudWatch 日志流

Kinesis Data Analytics 需要权限才能将配置错误写入到中 CloudWatch. 您可以将这些权限添加到Amazon Identity and Access Management(IAM) 角色由 Kinesis Data Analytics 担任。

有关将 IAM 角色用于 Kinesis Data Analytics 的更多信息，请参阅Amazon Kinesis Data Analytics for Apache Flink.

信任策略

要向 Kinesis Data Analytics 授予权限以担任 IAM 角色，您可以将以下信任策略附加到服务执行角色。


{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "kinesisanalytics.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

权限策略

为应用程序授予权限以将日志事件写入到 CloudWatch 在 Kinesis Data Analytics 资源中，您可以使用以下 IAM 权限策略。为日志组和流提供正确的 Amazon 资源名称 (ARN)。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt0123456789000",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams"
            ],
            "Resource": [
                "arn:aws:logs:us-east-1:123456789012:log-group:my-log-group:log-stream:my-log-stream*",
                "arn:aws:logs:us-east-1:123456789012:log-group:my-log-group:*",
                "arn:aws:logs:us-east-1:123456789012:log-group:*",
            ]
        }
    ]
}

应用程序监控级别

您可以使用应用程序的监控指标级别和监控日志级别，以控制生成应用程序日志消息的过程。

应用程序的监控指标级别控制日志消息的粒度。监控指标级别定义如下：

应用程序：指标范围是整个应用程序。
任务：指标范围是每个任务。有关任务的信息，请参阅Apache Flink 的 Kinesis Data Analytics 中的应用程序扩展。
运算符：指标范围是每个操作符。有关操作符的信息，请参阅使用 Apache Flink 在 Kinesis Data Analytics Data Analytics 中使用操作符以使用DataStreamAPI。
Parallelism：指标范围是应用程序并行度。您只能使用 MonitoringConfigurationUpdateParameter UpdateApplicationAPI。您无法使用控制台设置该指标级别。有关并行度的信息，请参阅Apache Flink 的 Kinesis Data Analytics 中的应用程序扩展。

应用程序的监控日志级别控制应用程序日志的详细程度。监控日志级别定义如下：

错误：应用程序的潜在灾难性事件。
警告：应用程序的可能有害情况。
Info：应用程序的信息性和暂时性故障事件。我们建议您使用该日志记录级别。
Debug：对调试应用程序非常有用的精细信息性事件。注意：仅将该级别用于临时调试目的。

日志记录最佳实践

我们建议您的应用程序使用信息日志记录级别。我们建议您使用该级别，以确保您看到 Apache Flink 错误，这些错误是在信息级别而不是错误级别记录的。

我们建议您仅在调查应用程序问题时临时使用调试级别。在解决问题后，请切换回信息级别。使用调试日志记录级别将严重影响应用程序的性能。

过多的日志记录也可能会严重影响应用程序性能。例如，我们建议您不要为每个处理的记录写入一个日志条目。过多的日志记录可能会导致严重的数据处理瓶颈，并且可能会导致从源中读取数据时出现反向压力。

日志记录故障排除

如果没有将应用程序日志写入到日志流，请验证以下内容：

验证应用程序的 IAM 角色和策略是否正确。应用程序的策略需要具有以下权限以访问日志流：
- logs:PutLogEvents
- logs:DescribeLogGroups
- logs:DescribeLogStreams
有关更多信息，请参阅将写入权限添加到 CloudWatch 日志流。
验证应用程序是否正在运行。要检查应用程序的状态，请在控制台中查看应用程序的页面，或者使用DescribeApplication要么ListApplications行动。
显示器 CloudWatch 指标，如downtime以诊断其他应用程序问题。有关阅读的信息 CloudWatch 指标，请参阅指标与维度.

下一个步骤

启用后 CloudWatch 登录你的应用程序，你可以使用 CloudWatch 记录 Insights 以分析您的应用程序日志。有关更多信息，请参阅使用分析日志 CloudWatch 日志分析。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

监控

分析日志