亚马逊 DocumentDB 数据源设置指南

有关如何将亚马逊 DocumentDB 设置为 ClickPipes 数据源的分步指南

​

支持的 DocumentDB 版本

ClickPipes 支持 DocumentDB 5.0。

​

配置变更流日志保留期

默认情况下，亚马逊 DocumentDB 的变更流日志保留期为 3 小时，而初始加载所需时间可能会更长，具体取决于 DocumentDB 中现有数据量。我们建议将变更流日志保留期设置为 72 小时或更长，以确保在初始快照完成之前不会被截断。

​

通过 AWS 控制台更新变更流日志保留期

1. 在左侧面板中点击 Parameter groups，找到你的 DocumentDB 集群使用的参数组 (如果你使用的是默认参数组，则需要先创建一个新的参数组才能修改) 。

2. 搜索 change_stream_log_retention_duration，选中后将其编辑为 259200 (72 小时)

3. 点击 Apply Changes，立即将修改后的参数组应用到你的 DocumentDB 集群。你应该会看到参数组的状态先变为 applying，变更应用后再变为 in-sync。

​

通过 AWS CLI 更新变更流日志保留期

或者，你也可以通过 AWS CLI 来配置。

要检查当前的变更流日志保留期：

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

要将变更流日志保留期设为 72 小时：

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

​

配置数据库用户

使用管理员用户连接到您的 DocumentDB 集群，并执行以下命令，为 MongoDB CDC ClickPipes 创建数据库用户：

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

请务必将 clickpipes_user 和 some_secure_password 替换为你要使用的用户名和密码。

​

下一步是什么？

您现在可以创建您的 ClickPipe，并开始将数据从您的 DocumentDB 实例摄取到 ClickHouse Cloud。 请务必记下您在设置 DocumentDB 集群时使用的连接信息，因为在创建 ClickPipe 的过程中需要用到这些信息。