设置 Amazon Lake Formation

使用创建资源Amazon CloudFormation模板

你也可以使用Amazon CloudFormation模板用于在您的账户中执行最初的Lake Formation 设置。

1. 登录到Amazon CloudFormation控制台处的https://console.aws.amazon.com/cloudformation作为美国东部（弗吉尼亚北部）区域的 IAM 用户。

2. 选择启动堆栈.

3. 选择下一步在创建堆栈屏幕。

4. 输入堆栈名称。

5. 适用于DatalakeAdminName和DatalakeAdminPassword，输入您的 IAM 用户名和密码。

6. 适用于DatalakeUser1 个名字和DatalakeUser1 个密码，输入您的 IAM 用户名和数据湖分析师用户的密码。

7. 适用于DataLakeBucketName，输入将要创建的新存储桶名称。

8. 选择 Next（下一步）。

9. 在下一页上，选择下一步.

10. 查看最后一页上的详细信息，然后选择我承认这一点Amazon CloudFormation可能会创建 IAM 资源。

11. 选择Create（创建）。

    创建堆栈可能需要长达两分钟。

清理资源

如果你想清理Amazon CloudFormation堆栈资源：

1. 取消注册您的堆栈创建并注册为数据湖位置的 Amazon S3 存储桶。

2. 删除存储在设备上的Amazon CloudFormation堆栈。这将删除堆栈创建的所有资源。

创建 Amazon Web Services 账户

1. 打开 https://portal.aws.amazon.com/billing/signup。

2. 按照屏幕上的说明进行操作。

   在注册时，您将接到一通电话，要求您使用电话键盘输入一个验证码。

自行创建管理员用户并将该用户添加到管理员组（控制台）

1. 选择 Root user（根用户）并输入您的 Amazon Web Services 账户 电子邮件地址，以账户拥有者身份登录 IAM 控制台。在下一页上，输入您的密码。

   注意

   强烈建议您遵守以下使用 Administrator IAM 用户的最佳实践，妥善保存根用户凭证。只在执行少数账户和服务管理任务时才作为根用户登录。

2. 在导航窗格中，选择 Users（用户），然后选择 Add users（添加用户）。

3. 对于 User name（用户名），输入 Administrator。

4. 选中 Amazon Web Services Management Console access (Amazon Web Services Management Console 管理控制台访问）旁边的复选框。然后选择自定义密码，并在文本框中输入新密码。

5. （可选）默认情况下，Amazon要求新用户在首次登录时创建新密码。您可以清除 User must create a new password at next sign-in（用户必须在下次登录时创建新密码）旁边的复选框以允许新用户在登录后重置其密码。

6. 选择 Next:。Permissions (下一步：权限)。

7. 在设置权限下，选择将用户添加到组。

8. 选择创建组。

9. 在 Create group（创建组）对话框中，对于 Group name（组名称），输入 Administrators。

10. 选择 Filter policies（筛选策略），然后选择 Amazon managed - job function（Amazon 托管 – 工作职能）以筛选表内容。

11. 在策略列表中，选中AdministratorAccess. 然后选择 Create group（创建组）。

    注意

    您必须先激活 IAM 用户和角色对账单的访问权限，然后才能使用 AdministratorAccess 权限访问 Amazon Billing and Cost Management 控制台。为此，请按照“向账单控制台委派访问权限”教程第 1 步中的说明进行操作。

12. 返回到组列表中，选中您的新组所对应的复选框。如有必要，选择 Refresh（刷新）以在列表中查看该组。

13. 选择 Next:。标签。

14. (可选) 通过以键值对的形式附加标签来向用户添加元数据。有关在 IAM 中使用标签的更多信息，请参阅 IAM 用户指南中的标记 IAM 实体。

15. 选择 Next:。审核查看要添加到新用户的组成员资格的列表。如果您已准备好继续，请选择 Create user（创建用户）。

为工作流创建 IAM 角色

1. 使用打开 IAM 控制台https://console.amazonaws.cn/iam并以您在中创建的 IAM 管理员用户身份登录创建 IAM 管理员用户或者作为 IAM 用户使用AdministratorAccess Amazon托管策略。

2. 在导航窗格中，选择角色，那么创建角色.

3. 在存储库的创建角色页面，选择Amazon服务，然后选择Glue. 选择 Next（下一步）。

4. 在存储库的添加权限页面上，搜索AWSGlueServiceRole托管策略，然后选中列表中策略名称旁边的复选框。然后完成创建角色向导，命名角色LakeFormationWorkflowRole. 要完成，请选择创建角色.

5. Back角色页面，搜索LakeFormationWorkflowRole然后选择角色名称。

6. 关于角色摘要页面，在Permissions (权限)选项卡，选择添加内联策略，然后添加以下内联策略。该策略的建议名称为LakeFormationWorkflow.

   重要

   在以下策略中，替换<account-id>使用有效的Amazon Web Services 账户数字。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                    "lakeformation:GetDataAccess",
                    "lakeformation:GrantPermissions"
                ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": ["iam:PassRole"],
               "Resource": [
                   "arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }

   以下是此策略中权限的简要描述：

   • lakeformation:GetDataAccess允许工作流创建的作业写入目标位置。

   • lakeformation:GrantPermissions使工作流程能够授予SELECT对目标表的权限。

   • iam:PassRole使服务能够代入该角色LakeFormationWorkflowRole创建搜寻器和作业（工作流实例），并将角色附加到创建的搜寻器和作业。

7. 验证该角色LakeFormationWorkflowRole附加了两种策略。

8. 如果您要摄取数据湖位置之外的数据，请添加一个内联策略，授予读取源数据的权限。

创建数据湖管理员（控制台）

1. 如果要成为数据湖管理员的 IAM 用户尚不存在，请使用 IAM 控制台创建该用户。否则，请查看将担任数据湖管理员的现有 IAM 用户。

   注意

   建议您不要选择 IAM 管理用户 (用户)AdministratorAccess Amazon托管策略）成为数据湖管理员。

   附加以下内容Amazon向用户提供托管策略：

   策略	必需？	注意
   AWSLakeFormationDataAdmin	必需	基本的数据湖管理员权限。
   AWSGlueConsoleFullAccess, CloudWatchLogsReadOnlyAccess	可选	如果数据湖管理员要对根据 Lake Formation 蓝图创建的工作流进行故障排除，请附上这些策略。这些策略使数据湖管理员能够在Amazon Glue控制台和Amazon CloudWatch Logs控制台。有关工作流的信息，请参阅。使用 Lake Formation 中的工作流导入数据.
   AWSLakeFormationCrossAccountManager	可选	附加此策略以使数据湖管理员能够授予和撤销对 Data Catalog 资源的跨账户权限。有关更多信息，请参阅 Lake Formation 中的跨账户访问。
   AmazonAthenaFullAccess	可选	如果数据湖管理员要在中运行查询，请附上此策略Amazon Athena.

2. 附上以下内联策略，该策略授予数据湖管理员创建 Lake Formation 服务相关角色的权限。该策略的建议名称为LakeFormationSLR.

   服务相关角色使数据湖管理员可以更轻松地向 Lake Formation 注册 Amazon S3 位置。有关 Lake Formation 服务相关角色的更多信息，请参阅对 Lake Formation 使用服务相关角色.

   重要

   在以下所有政策中，替换<account-id>使用有效的Amazon账号。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "iam:CreateServiceLinkedRole",
               "Resource": "*",
               "Condition": {
                   "StringEquals": {
                       "iam:AWSServiceName": "lakeformation.amazonaws.com"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PutRolePolicy"
               ],
               "Resource": "arn:aws:iam::<account-id>:role/aws-service-role/lakeformation.amazonaws.com/AWSServiceRoleForLakeFormationDataAccess"
           }
       ]
   }
   

3. （可选）附加以下内容PassRole将内联策略发送到用户。此策略允许数据湖管理员创建和运行工作流程。这些区域有：iam:PassRole权限使工作流程能够代入该角色LakeFormationWorkflowRole创建爬虫和作业，并将角色附加到创建的搜寻器和作业。该策略的建议名称为UserPassRole.

   重要

   Replace<account-id>使用有效的Amazon账号。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "PassRolePermissions",
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": [
                   "arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }

4. （可选）如果您的账户将授予或接收跨账户 Lake Formation 权限，请附上此额外的内联政策。此策略允许数据湖管理员查看和接受Amazon Resource Access Manager(Amazon RAM) 资源共享邀请。另外，对于数据湖管理员来说Amazon Organizations管理账户，该政策包括允许向组织提供跨账户授予的权限。有关更多信息，请参阅 Lake Formation 中的跨账户访问。

   该策略的建议名称为RAMAccess.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:AcceptResourceShareInvitation",
                   "ram:RejectResourceShareInvitation",
                   "ec2:DescribeAvailabilityZones",
                   "ram:EnableSharingWithAwsOrganization"
               ],
               "Resource": "*"
           }
       ]
   }

5. 打开Amazon Lake Formation控制台处的https://console.aws.amazon.com/lakeformation/并以您在中创建的 IAM 管理员用户身份登录创建 IAM 管理员用户或者以任何 IAM 管理用户身份。

6. 如果欢迎来到Lake Formation窗口出现，选择您在步骤 1 中创建或选择的 IAM 用户，然后选择试用.

7. 如果您没有看到欢迎来到Lake Formation窗口，然后执行以下步骤来配置 Lake Formation 管理器。

   1. 在导航窗格中的下，Permissions (权限)，选择管理角色和任务. 在数据湖管理员控制台页面上的，选择选择管理员.

   2. 在管理数据湖管理员对话框，为IAM 用户和角色，选择您在步骤 1 中创建或选择的 IAM 用户，然后选择Save（保存）.

更改原定设置数据目录设置

1. 在 Lake Formation 控制台中继续https://console.aws.amazon.com/lakeformation/. 确保您以您在中创建的 IAM 管理员用户身份登录创建 IAM 管理员用户或者作为 IAM 用户使用AdministratorAccess Amazon托管策略。

2. 修改数据目录设置：

   1. 在导航窗格中的下，Data Cat，选择设置.

   2. 清除两个复选框并选择Save（保存）.

      

3. REVOIAMAllowedPrincipals数据库创建者的权限。

   1. 在导航窗格中的下，Permissions (权限)，选择管理角色和任务.

   2. 在管理角色和任务控制台页面，在数据库创建者部分，选择IAMAllowedPrincipals分组，然后选择REVO.

      这些区域有：REVO出现权限对话框，显示IAMAllowedPrincipals有创建数据库权限。

   3. 选择REVO.

创建有权访问 Lake ForMation 数据的非管理员用户

1. 使用打开 IAM 控制台https://console.amazonaws.cn/iam并以您在中创建的 IAM 管理员用户身份登录创建 IAM 管理员用户或者作为 IAM 用户使用AdministratorAccess Amazon管理的策略。

2. 选择用户，然后添加用户.

3. 输入用户的名称，然后选择密码-Amazon Web Services Management Console访问访问方法。配置用户密码要求。您还可选择启用访问密钥-编程访问对于这个用户。

   选择下一步：权限。

4. 在 Set permissions (设置权限) 下，选择 Attach existing policies directly (直接附加现有策略)。EnterAthena中的筛选策略文本字段。在结果列表中，选中AmazonAthenaFullAccess.

5. 选择创建策略按钮。在创建策略页面上，选择JSON选项卡。将下面的代码复制并粘贴到策略编辑器中。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"
               ],
               "Resource": "*"
           }
       ]
   }

6. 选择下一步按钮在底部，直到您看到查看策略页. 输入策略的名称，例如DatalakeUserBasic. 选择创建策略，然后关闭 “策略” 选项卡或浏览器窗口。

7. 回到 IAM添加用户窗口，输入datalake中的筛选策略搜索字段。如果新创建的策略未出现在结果列表中，请选择 “刷新” 或 “页面重新加载” 按钮。选中复选框中的DatalakeUserBasic政策。

8. 选择下一篇：标签和下一步：Review.

9. 在 Review (检查) 页面上，您应该看到两个DatalakeUserBasic政策和AmazonAthenaFullAccess为用户选择了策略。选择创建用户以完成设置。

为用户创建和使用受管理的表创建和分配角色

1. 使用打开 IAM 控制台https://console.amazonaws.cn/iam并以您在中创建的 IAM 管理员用户身份登录创建 IAM 管理员用户或者作为 IAM 用户使用 IAM 用户AdministratorAccess Amazon托管策略。

2. 在导航窗格中，选择角色，那么创建角色.

3. 在附加权限策略部分，选择创建策略. 在新打开的浏览器窗口中，创建用于您的角色的新策略。

   1. 在创建策略页面上，选择 JSON 选项卡。将以下 JSON 代码复制到策略编辑器字段中。

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "glue:GetTable", 
                      "glue:GetPartitions",
                      "glue:UpdateTable"
                  ],
                  "Resource": "*"
              },
              {
                  "Effect": "Allow",
                  "Action": [
                      "lakeformation:StartQueryPlanning",
                      "lakeformation:GetQueryState", 
                      "lakeformation:GetWorkUnits", 
                      "lakeformation:GetWorkUnitResults",
                      "lakeformation:GetQueryStatistics",
                      "lakeformation:StartTransaction",
                      "lakeformation:CommitTransaction",
                      "lakeformation:CancelTransaction",
                      "lakeformation:ExtendTransaction",
                      "lakeformation:DescribeTransaction",
                      "lakeformation:ListTransactions",
                      "lakeformation:GetTableObjects",
                      "lakeformation:UpdateTableObjects",
                      "lakeformation:DeleteObjectsOnCancel"
                  ],
                  "Resource": "*"
              }
          ]
      }

      以下是此策略中权限的简要描述：

      • lakeformation:StartQueryPlanning允许委托人提交请求以处理查询语句。

      • lakeformation:GetQueryState允许委托人查看先前提交的查询的状态。

      • lakeformation:GetWorkUnits允许负责人检索由生成的工作单元StartQueryPlanningoperation.

      • lakeformation:GetWorkUnitResults允许委托人查看查询生成的工作单元。

      • lakeformation:GetQueryStatistics允许委托人检索有关计划和执行查询的统计信息。

      • lakeformation:StartTransaction允许委托人和作业启动事务。

      • lakeformation:CommitTransaction允许委托人和任务提交事务。

      • lakeformation:CancelTransaction允许委托人和任务在提交之前停止事务。

      • lakeformation:ExtendTransaction允许委托人和任务指明指定的交易仍处于活动状态，不应取消。

      • lakeformation:DescribeTransaction允许委托人和任务列出有关交易的信息。

      • lakeformation:ListTransactions允许委托人和作业查看有关事务及其状态的元数据。

      • lakeformation:GetTableObjects允许负责人和作业列出存储在数据湖中的表对象。

      • lakeformation:UpdateTableObjects允许委托人和作业更新存储在数据湖中的表对象。

      • lakeformation:DeleteObjectsOnCancel允许委托人和任务指定 Amazon S3 对象的列表，这些对象将在当前事务期间写入，如果交易被取消，则可以自动删除。

   2. 对于需要管理受管表的数据压缩和垃圾收集设置的用户，请向上述策略添加以下权限：

      "lakeformation:UpdateTableStorageOptimizer",
      "lakeformation:ListTableStorageOptimizers"

   3. 选择 Next:Tags (下一步: 标签)。

   4. 您可以选择性地添加标签，然后选择后续：审核。

   5. 在 Review policy (查看策略) 页面上，输入策略的名称，例如LakeFormationGovernedTables，然后选择创建策略.

   6. 您可以关闭此窗口，然后返回创建角色页.

4. 在存储库的创建角色页面，选择刷新按钮，然后搜索LakeFormationGovernedTables您在上一步中创建的策略。选中列表中策略名称旁边的复选框。

5. 完成创建角色通过选择向导下一步直到你到达审核页. 输入角色的名称，例如LakeFormationTransactionsRole. 要完成，请选择创建角色.

6. Back角色页面，搜索LakeFormationTransactionsRole然后选择角色名称。

7. 关于角色摘要页面，在Permissions (权限)选项卡，验证该角色是否具有LakeFormationGovernedTables附加了策略。

为表配置行级别安全性

1. 确定您要限制访问的内容并创建数据筛选器。有关创建数据筛选器的说明，请参阅创建数据筛选器.

2. GrantDESCRIBE向能够查看数据筛选器的用户提供数据筛选器的权限。

   创建数据筛选器时，只有您可以查看它。要允许其他委托人查看和使用数据筛选器，您可以授予DESCRIBE许可。

3. 在授予数据筛选器时指定数据筛选器SELECT允许校长在桌子上使用 Lake Formation。

4. 向将使用单元级筛选器查询表的委托人分配 IAM 权限。使用单元格级筛选查询表的委托人必须具有以下 IAM 权限：

   lakeformation:StartQueryPlanning
                       lakeformation:GetQueryState
                       lakeformation:GetWorkUnits
                       lakeformation:GetWorkUnitResults

选择允许第三方引擎访问和筛选数据（控制台）

1. 在 Lake Formation 控制台中继续https://console.aws.amazon.com/lakeformation/. 确保您以拥有 Lake Formation 的 IAM 权限的委托人身份登录PutDataLakeSettingsAPI 操作。您在中创建的 IAM 管理员用户创建 IAM 管理员用户有这个权限。

2. 在导航窗格中的下，Permissions (权限)，选择外部数据筛选.

3. 在存储库的外部数据筛选页面上，请执行以下操作：

   1. 选中复选框允许外部引擎筛选向 Lake Formation 注册的 Amazon S3 位置的数据.

   2. Enter会话标签值为第三方引擎定义。

   3. 适用于Amazon账户 ID，输入允许第三方引擎访问在 Lake Formation 注册的地点的账户 ID。按Enter在每个账户 ID 之后。

   4. 选择Save（保存）。