Guia de configuração da fonte Amazon DocumentDB

Guia passo a passo para configurar o Amazon DocumentDB como fonte no ClickPipes

​

Versões compatíveis do DocumentDB

O ClickPipes é compatível com a versão 5.0 do DocumentDB.

​

Configurar a retenção de logs do change stream

Por padrão, o Amazon DocumentDB mantém os logs do change stream por 3 horas, enquanto a carga inicial pode levar bem mais tempo, dependendo do volume de dados já existente no seu DocumentDB. Recomendamos definir a retenção dos logs do change stream para 72 horas ou mais, para garantir que eles não sejam truncados antes da conclusão do snapshot inicial.

​

Atualize a retenção de logs do change stream no AWS Console

1. Clique em Parameter groups no painel esquerdo e localize o grupo de parâmetros usado pelo seu cluster do DocumentDB (se você estiver usando o grupo de parâmetros padrão, primeiro será necessário criar um novo grupo de parâmetros para poder modificá-lo).

2. Procure por change_stream_log_retention_duration, selecione o parâmetro e altere-o para 259200 (72 horas)

3. Clique em Apply Changes para aplicar imediatamente o grupo de parâmetros modificado ao seu cluster do DocumentDB. Você deverá ver o status do grupo de parâmetros mudar para applying e, em seguida, para in-sync quando a alteração for aplicada.

​

Atualize a retenção de logs do change stream pela AWS CLI

Como alternativa, você pode configurar isso pela AWS CLI.

Para verificar o período atual de retenção de logs do change stream:

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

Para definir o período de retenção do log do change stream para 72 horas:

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

​

Configure um usuário de banco de dados

Conecte-se ao cluster do DocumentDB como um usuário administrador e execute o comando a seguir para criar um usuário de banco de dados para o CDC do MongoDB no ClickPipes:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Certifique-se de substituir clickpipes_user e some_secure_password pelo nome de usuário e pela senha que você deseja usar.

​

O que vem a seguir?

Agora você pode criar seu ClickPipe e começar a fazer a ingestão de dados da sua instância do DocumentDB para o ClickHouse Cloud. Anote os detalhes da conexão usados na configuração do seu cluster do DocumentDB, pois você precisará deles durante o processo de criação do ClickPipe.