日志记录 - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

日志记录

日志记录对于生产应用程序了解错误和失败非常重要。但是,日志子系统需要收集日志条目并将其转发到 CloudWatch 日志虽然有些日志记录很好而且很理想,但大量的日志记录可能会使服务超负荷并导致 Flink 应用程序落后。记录异常和警告当然是个好主意。但是您无法为 Flink 应用程序处理的每条消息生成日志消息。Flink 针对高吞吐量和低延迟进行了优化,但日志子系统不是。如果确实需要为每条已处理的消息生成日志输出,请使用额外的 DataStream 在 Flink 应用程序中,还有一个适当的接收器来将数据发送到 Amazon S3 或 CloudWatch. 请勿将 Java 日志记录系统用于此目的。此外,Kinesis Data AnalyticsDebug Monitoring Log Level设置会产生大量流量,这可能会产生反压。您只能在积极调查应用程序问题时使用它。

查询日志 CloudWatch 日志分析

CloudWatch Logs Insights 是一项功能强大的服务,可大规模查询日志。客户应利用其功能快速搜索日志,以识别和缓解运营事件期间的错误。

以下查询会在所有任务管理器日志中查找异常,并根据异常发生的时间对它们进行排序。

fields @timestamp, @message | filter isPresent(throwableInformation.0) or isPresent(throwableInformation) or @message like /(Error|Exception)/ | sort @timestamp desc

有关其他有用查询,请参阅示例查询.