爬网程序属性

使用 Amazon Glue 控制台或 Amazon Glue API 定义爬网程序时，您可以指定以下信息：

爬网程序源类型

爬网程序可以直接访问数据存储作为爬取的源，也可以使用现有目录表作为源。如果爬网程序使用现有目录表，它将爬取由这些目录表指定的数据存储。

将目录表指定为源的常见原因是在您手动创建该表（因为您已经知道数据存储的结构）时，您希望爬网程序让表保持更新，包括添加新分区。有关其他原因的讨论，请参阅使用爬网程序更新手动创建的数据目录表。

当您指定现有表作为爬网程序源类型时，以下条件适用：

包含和排除模式

在评估要在爬取中包含或排除的内容时，爬网程序首先评估所需的包含路径。对于 Amazon S3、MongoDB、Amazon DocumentDB (with MongoDB compatibility) 和关系数据存储，您必须指定包含路径。

对于 Amazon S3 数据存储，包含路径语法为 bucket-name/folder-name/file-name.ext。要网络爬取存储桶中的所有对象，只需在包含路径中指定存储桶名称。排除模式与包含路径是相对的

对于 MongoDB 和 Amazon DocumentDB (with MongoDB compatibility)，语法为 database/collection。

对于 JDBC 数据存储，语法为 database-name/schema-name/table-name 或 database-name/table-name。语法取决于数据库引擎是否支持数据库中的架构。例如，对于 MySQL 或 Oracle 等数据库引擎，请不要在包含路径中指定 schema-name。您可以用百分号 (%) 取代包含路径中的架构或表，以表示数据库中的所有架构或所有表。您不能用百分号 (%) 取代包含路径中的数据库。排除路径与包含路径是相对的。例如，要排除 JDBC 数据存储中的一个表，请在排除路径中键入该表的名称。

爬网程序使用包含 JDBC URI 连接字符串的 Amazon Glue 连接连接到 JDBC 数据存储。该爬网程序只能使用 Amazon Glue 连接中的 JDBC 用户名和密码来访问数据库引擎中的对象。爬网程序只能创建它通过 JDBC 连接可以访问的表。在爬网程序使用 JDBC URI 访问数据库引擎后，包含路径用于确定在数据目录中创建了数据库引擎中的哪些表。例如，对于 MySQL，如果您指定包含路径 MyDatabase/%，则 MyDatabase 中的所有表都是在数据目录中创建的。访问 Amazon Redshift 时，如果您指定包含路径 MyDatabase/%，则数据库 MyDatabase 的所有架构中的所有表都是在数据目录中创建的。如果您指定包含路径 MyDatabase/MySchema/%，则会创建数据库 MyDatabase 和架构 MySchema 中的所有表。

指定包含路径后，您可以通过指定一个或多个 Unix 样式 glob 排除模式，从网络爬取中排除对象 (否则您的包含路径会包括它)。这些模式应用于您的包含路径，以确定哪些对象被排除。这些模式也会存储为由爬网程序创建的表的属性。Amazon GluePySpark 扩展（例如 create_dynamic_frame.from_catalog）读取表属性并排除由排除模式定义的对象。

Amazon Glue 在排除模式中支持以下类型的 glob 模式。

Amazon Glue 解释 glob 排除模式，如下所示：

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table