在 Amazon Glue 中使用 Avro 格式
此值指定 Apache Avro
您可以将以下 format_options 值与 format="avro" 结合使用：
version– 指定要支持的 Apache Avro 读取器/写入器格式的版本。默认值为“1.7”。您可以指定format_options={"version": “1.8”}以启用 Avro 逻辑类型读取和写入。有关更多信息，请参阅 Apache Avro 1.7.7 规范和 Apache Avro 1.8.2 规范 。 Apache Avro 1.8 连接器支持以下逻辑类型转换：
对于读取器：此表显示 Avro 数据类型（逻辑类型和 Avro 基元类型）与 Avro 阅读器 1.7 和 1.8 的 Amazon Glue DynamicFrame 数据类型之间的转换。
| Avro 数据类型： 逻辑类型 |
Avro 数据类型： Avro 基元类型 |
GlueDynamicFrame 数据类型： Avro 读取器 1.7 |
GlueDynamicFrame 数据类型： Avro 读取器 1.8 |
|---|---|---|---|
| 小数 | bytes | BINARY | 小数 |
| 小数 | 固定 | BINARY | 小数 |
| 日期 | int | INT | 日期 |
| 时间（毫秒） | int | INT | INT |
| 时间（微秒） | long | LONG | LONG |
| 时间戳（毫秒） | long | LONG | 时间戳 |
| 时间戳（微秒） | long | LONG | LONG |
| 持续时间（不是逻辑类型） | 固定为 12 | BINARY | BINARY |
对于写入器：此表显示 Avro 写入器 1.7 和 1.8 在 Amazon Glue DynamicFrame 数据类型与 Avro 数据类型之间的转换。
Amazon Glue DynamicFrame 数据类型 |
Avro 数据类型： Avro 写入器 1.7 |
Avro 数据类型： Avro 写入器 1.8 |
|---|---|---|
| 小数 | 字符串 | decimal |
| 日期 | 字符串 | date |
| 时间戳 | 字符串 | timestamp-micros |