第 4 步：配置cqlsh COPY FROM设置 - Amazon Keyspaces (for Apache Cassandra)
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

第 4 步：配置cqlsh COPY FROM设置

本部分概述如何确定参数值cqlsh COPY FROM. 这些区域有：cqlsh COPY FROM命令会读取您之前准备的 CSV 文件，然后使用 CQL 将数据插入到 Amazon Keyspaces 中。该命令将行分开并分发INSERT一组工作人员之间的操作。每个工作人员都与 Amazon Keyspaces 建立连接并发送INSERT沿此频道的请求。

这些区域有：cqlsh COPY命令没有内部逻辑来在其工作线程之间均匀分配工作。但是，您可以手动配置它，以确保工作均匀分布。首先查看以下关键 cqlsh 参数：

  • 分隔符— 如果使用逗号以外的分隔符，则可以设置此参数，默认为逗号。

  • 吸收— 目标行数cqlsh COPY FROM每秒尝试处理的次数。如果未设置，则默认为 100,000。

  • 数字进程— clsh 为其创建的子工作进程的数量COPY FROM任务。此设置的最大值为 16，默认值为num_cores - 1，其中num_cores是运行 cqlsh 的主机上的处理内核数。

  • 最大批量大小— 批处理大小将确定单个批次中插入到目标表的最大行数。如果未设置，cqlsh 将使用一批 20 个插入的行。

  • CHUNKSIZE— 传递给童工的工作单位的大小。默认情况下，将它设置为 5,000。

  • MAX ATT— 重试失败的工作程序区块的最大次数。达到最大尝试次数后，失败的记录将写入新的 CSV 文件，您可以在调查故障后再次运行该文件。

SetINGESTRATE基于您预配到目标目标表的 WCU 的数量。这些区域有：INGESTRATE的cqlsh COPY FROM命令不是限制，而是目标平均值。这意味着它可以（而且经常）突破你设定的数字。要允许爆发并确保有足够的容量来处理数据加载请求，请将INGESTRATE到表写入容量的 90%。

INGESTRATE = WCUs * .90

接下来，将NUMPROCESSES参数等于比系统上的内核数少一。要了解系统的内核数量，可以运行以下代码。

python -c "import multiprocessing; print(multiprocessing.cpu_count())"

在本教程中，我们使用以下值。

NUMPROCESSES = 4

每个进程都会创建一个工作进程，每个工作进程都建立一个与 Amazon Keyspaces 的连接。Amazon Keyspaces 在每个连接上每秒最多可支持 3,000 个 CQL 请求。这意味着您必须确保每个 worker 每秒处理的请求少于 3,000 个。

和INGESTRATE，workers 通常会突然超过你设置的数字，不受时钟秒数的限制。因此，要考虑突发情况，请将 cqlsh 参数设置为每秒处理 2,500 个请求。要计算分配给工作人员的工作量，请使用以下指南。

  • DivideINGESTRATE通过NUMPROCESSES.

  • 如果INGESTRATE/NUMPROCESSES > 2,500，降低INGESTRATE使这个公式成真。

INGESTRATE / NUMPROCESSES <= 2,500

在配置设置以优化样本数据的上传之前，让我们先查看cqlsh默认设置，并了解使用它们如何影响数据上传流程。由于cqlsh COPY FROM使用CHUNKSIZE来创建大块的作品（INSERT语句）分配给工作人员，则工作不会自动均匀分配。有些工作人员可能会闲置，这取决于INGESTRATE设置。

要在工作人员之间均匀分配工作并使每个工作程序保持在每秒 2,500 个请求的最佳速率，您必须设置CHUNKSIZE、MAXBATCHSIZE, 和INGESTRATE通过更改输入参数。要在数据加载期间优化网络流量利用率，请为MAXBATCHSIZE这接近最大值 30。通过更改CHUNKSIZE到 100 和MAXBATCHSIZE到 25 时，这 10,000 行在四个工作进程中均匀分布（10,000/2500 = 4）。

以下代码示例对此进行了说明。

INGESTRATE = 10,000
NUMPROCESSES = 4
CHUNKSIZE = 100
MAXBATCHSIZE. = 25
Work Distribution:
Connection 1 / Worker 1 : 2,500 Requests per second
Connection 2 / Worker 2 : 2,500 Requests per second
Connection 3 / Worker 3 : 2,500 Requests per second
Connection 4 / Worker 4 : 2,500 Requests per second

要进行总结，请在设置时使用以下公式cqlsh COPY FROM参数：

  • 吸收= write_capacity_units * .90

  • 数字进程= num_cores -1（默认）

  • 吸收/NUMPROCESS= 2,500（这必须是真实的陈述。）

  • 最大批量大小= 30（默认为 20。 亚马逊Keyspaces 最多可接受 30 个批次。）

  • CHUNKSIZE= (INGESTRATE/NUMPROCESS)/MAXBATCHSIZE

现在你已经计算好了NUMPROCESSES、INGESTRATE, 和CHUNKSIZE，您已准备好加载数据。