Amazon Athena Google BigQuery 连接器

可以使用 Athena 控制台或 Amazon Serverless Application Repository 将该连接器部署到您的 Amazon Web Services 账户。有关更多信息，请参阅 部署连接器和连接到数据源 或 使用 Amazon Serverless Application Repository 部署数据源连接器。

使用此连接器前，应先设置 VPC 和安全组。有关更多信息，请参阅为数据源连接器创建 VPC。

Lambda 函数的最大超时值为 15 分钟。每次拆分都会在 BigQuery 上执行一次查询，并且必须有足够的时间来存储结果，以便 Athena 读取。如果 Lambda 函数超时，查询将失败。

Google BigQuery 区分大小写。连接器尝试更正数据集名称和表名的大小写，但不对项目 ID 进行任何大小写更正。这很有必要，因为 Athena 所有元数据均采用小写形式。这些更正对 Google BigQuery 进行了许多额外的调用。

不支持 Binary 数据类型。

不支持复杂数据类型，例如 map、list 和 struct。

由于 Google BigQuery 的并发和配额限制，连接器可能会遇到 Google 配额限制问题。为了避免这些问题，请尽可能多地向 Google BigQuery 施加限制。有关 BigQuery 配额的信息，请参阅 Google BigQuery 文档中的 配额和限制。

spill_bucket - 为超出 Lambda 函数限制的数据指定 Amazon S3 存储桶。

spill_prefix -（可选）默认为指定 spill_bucket（称为 athena-federation-spill）中的子文件夹。我们建议您在此位置配置 Amazon S3 存储生命周期，以删除早于预定天数或小时数的溢出内容。

spill_put_request_headers -（可选）用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射（例如，{"x-amz-server-side-encryption" : "AES256"})。有关其他可能的标头，请参阅《Amazon Simple Storage Service API 参考》中的 PutObject。

kms_key_id -（可选）默认情况下，将使用经过 AES-GCM 身份验证的加密模式和随机生成的密钥对溢出到 Amazon S3 的任何数据进行加密。要让您的 Lambda 函数使用 KMS 生成的更强的加密密钥（如 a7e63k4b-8loc-40db-a2a1-4d0en2cd8331），您可以指定 KMS 密钥 ID。

disable_spill_encryption -（可选）当设置为 True 时，将禁用溢出加密。默认值为 False，此时将使用 AES-GCM 对溢出到 S3 的数据使用进行加密 - 使用随机生成的密钥，或者使用 KMS 生成密钥。禁用溢出加密可以提高性能，尤其是当您的溢出位置使用服务器端加密时。

gcp_project_id - 项目 ID（不是项目名称），包含连接器应从中读取的数据集（例如 semiotic-primer-1234567)。

secret_manager_gcp_creds_name - Amazon Secrets Manager 中的密钥名称，包含 JSON 格式的 BigQuery 凭证（例如 GoogleCloudPlatformCredentials)。