Amazon Athena SAP HANA 连接器 - Amazon Athena
先决条件限制术语参数数据类型支持数据类型转换分区和拆分性能优化许可证信息另请参阅
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

Amazon Athena SAP HANA 连接器

先决条件

限制

  • 不支持写入 DDL 操作。

  • 在多路复用器设置中，溢出桶和前缀在所有数据库实例之间共享。

  • 任何相关的 Lambda 限制。有关更多信息，请参阅《Amazon Lambda 开发人员指南》中的 Lambda 配额。

  • 在 SAP HANA 中，当对象名称存储在 SAP HANA 数据库中时，它们会转换为大写形式。但是，由于引号中的名称区分大小写，因此两个表能分别以小写和大写形式具有相同的名称（例如 EMPLOYEE 和 employee)。

    在 Athena 联合查询中，架构表名称以小写形式提供给 Lambda 函数。要解决此问题，您可以提供 @schemaCase 查询提示，用于从名称区分大小写的表中检索数据。以下是两个带有查询提示的示例查询。

    SELECT * 
FROM "lambda:saphanaconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=upper"     
    SELECT * 
FROM "lambda:saphanaconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=lower"

术语

以下术语与 SAP HANA 连接器有关。

  • 数据库实例 — 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。

  • 处理程序 — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。

  • 元数据处理程序 — 从您的数据库实例中检索元数据的 Lambda 处理程序。

  • 记录处理程序 — 从您的数据库实例中检索数据记录的 Lambda 处理程序。

  • 复合处理程序 — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。

  • 属性或参数 — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。

  • 连接字符串 — 用于建立数据库实例连接的文本字符串。

  • 目录 — 向 Athena 注册的非 Amazon Glue 目录，是 connection_string 属性的必要前缀。

  • 多路复用处理程序 — 可以接受和使用多个数据库连接的 Lambda 处理程序。

参数

使用本节中的 Lambda 环境变量来配置 SAP HANA 连接器。

连接字符串

使用以下格式的 JDBC 连接字符串连接到数据库实例。

saphana://${jdbc_connection_string}

使用多路复用处理程序

您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。

Handler 类
复合处理程序 SaphanaMuxCompositeHandler
元数据处理程序 SaphanaMuxMetadataHandler
记录处理程序 SaphanaMuxRecordHandler

多路复用处理程序参数

参数 描述
$catalog_connection_string 必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为字符串前缀。例如，如果向 Athena 注册的目录是 mysaphanacatalog，则环境变量名称是 mysaphanacatalog_connection_string。
default 必需。默认连接字符串。目录为 lambda:${AWS_LAMBDA_FUNCTION_NAME} 时使用此字符串。

以下示例属性适用于支持两个数据库实例的 Saphana MUX Lambda 函数：saphana1（默认）和 saphana2。

属性 值
default saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/ Saphana1}
saphana_catalog1_connection_string saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/ Saphana1}
saphana_catalog2_connection_string saphana://jdbc:sap://saphana2.host:port/?user=sample2&password=sample2

提供凭证

要在 JDBC 连接字符串中为数据库提供用户名和密码，可以使用连接字符串属性或 Amazon Secrets Manager。

  • 连接字符串 — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。

  • Amazon Secrets Manager - 要将 Athena 联合查询功能与 Amazon Secrets Manager 配合使用，连接到您的 Lambda 函数的 VPC 应该拥有互联网访问权限或者 VPC 端点，以连接到 Secrets Manager。

    您可以将 Amazon Secrets Manager 中的密钥名称放入您的 JDBC 连接字符串中。连接器将该密钥名称替换为来自 Secrets Manager 的 username 和 password 值。

    对于 Amazon RDS 数据库实例，将紧密集成这种支持。如果您使用 Amazon RDS，我们强烈建议您使用 Amazon Secrets Manager 和凭证轮换。如果您的数据库不使用 Amazon RDS，请按以下格式将凭证存储为 JSON：

    {"username": "${username}", "password": "${password}"}

带有密钥名称的示例连接字符串

以下字符串带有密钥名称 ${Test/RDS/Saphana1}。

saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/Saphana1}&...

该连接器使用该密钥名称来检索密钥，并提供用户名和密码，如以下示例所示。

saphana://jdbc:sap://saphana1.host:port/?user=sample2&password=sample2&...

目前，SAP HANA 连接器可以识别 user 和 password JDBC 属性。

使用单个连接处理程序

您可以使用以下单个连接元数据和记录处理程序连接到单个 SAP HANA 实例。

处理程序类型 类
复合处理程序 SaphanaCompositeHandler
元数据处理程序 SaphanaMetadataHandler
记录处理程序 SaphanaRecordHandler

单个连接处理程序参数

参数 描述
default 必需。默认连接字符串。此字符串在无法识别目录时使用。

单个连接处理程序支持一个数据库实例，并且必须提供 default 连接字符串参数。将忽略所有其他连接字符串。

以下示例属性适用于 Lambda 函数支持的单个 SAP HANA 实例。

属性 值
default saphana://jdbc:sap://saphana1.host:port/?secret=Test/RDS/Saphana1

溢出参数

Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。

参数 描述
spill_bucket 必需。溢出桶名称。
spill_prefix 必需。溢出桶密钥前缀。
spill_put_request_headers （可选）用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射（例如，{"x-amz-server-side-encryption" : "AES256"})。有关其他可能的标头，请参阅《Amazon Simple Storage Service API 参考》中的 PutObject。

数据类型支持

下表显示了适用于 JDBC 和 Apache Arrow 的相应数据类型。

JDBC 箭头
布尔值 位
整数 Tiny
短型 Smallint
整数 Int
长整型 Bigint
float Float4
Double Float8
日期 DateDay
时间戳 DateMilli
字符串 Varchar
字节 Varbinary
BigDecimal 小数
ARRAY List

数据类型转换

除了 JDBC 到 Arrow 的转换外，连接器还执行某些其他转换，以使 SAP HANA 源和 Athena 数据类型兼容。这些转换有助于确保成功执行查询。下表显示了这些转换。

源数据类型 (SAP HANA) 转换后的数据类型 (Athena)
DECIMAL BIGINT
INTEGER INT
DATE DATEDAY
TIMESTAMP DATEMILLI

所有其他不支持的数据类型都转换为 VARCHAR。

分区和拆分

分区由类型为 Integer 的单个分区列表示。该列包含在 SAP HANA 表上定义的分区的分区名称。对于没有分区名称的表，返回 *，相当于单个分区。分区等同于拆分。

名称 类型 描述
PART_ID 整数 SAP HANA 中的命名分区。

性能优化

SAP HANA 支持本机分区。Athena Lambda 连接器可从这些分区并行检索数据。如果您想查询具有统一分区分布的超大型数据集，强烈建议使用本机分区。

许可证信息

使用此连接器，即表示您确认包含第三方组件（这些组件的列表可在此连接器的 pom.xml 文件中找到），并同意 GitHub.com 上的 LICENSE.txt 文件中提供的相应第三方许可证中的条款。

另请参阅

有关最新 JDBC 驱动程序版本信息，请参见 GitHub.com 上适用于 SAP HANA 连接器的 pom.xml 文件。

有关此连接器的更多信息，请访问 GitHub.com 上的相应站点。