Приём данных из MySQL в ClickHouse Cloud через ClickPipes доступен в рамках публичной бета-версии.
Предварительные требования
Поддерживаемые источники данных
После настройки исходной базы данных MySQL можно перейти к созданию ClickPipe.
Создайте ClickPipe
- В консоли ClickHouse Cloud перейдите к своему сервису ClickHouse Cloud.
- Выберите кнопку
Data Sourcesв меню слева и нажмите «Set up a ClickPipe»
- Выберите плитку
MySQL CDC
Добавьте подключение к исходной базе данных MySQL
- Заполните сведения о подключении к вашей исходной базе данных MySQL, которую вы настроили на этапе предварительной подготовки.
Прежде чем добавлять сведения о подключении, убедитесь, что IP-адреса ClickPipes добавлены в список разрешённых в правилах брандмауэра. На следующей странице вы найдёте список IP-адресов ClickPipes.
Дополнительные сведения см. в руководствах по настройке исходной базы данных MySQL, ссылки на которые приведены в верхней части этой страницы.
(Необязательно) Настройте SSH-туннелирование
- Включите переключатель “Use SSH Tunnelling”.
- Заполните сведения для SSH-подключения.
-
Чтобы использовать аутентификацию по ключу, нажмите “Revoke and generate key pair”, чтобы создать новую пару ключей, и скопируйте сгенерированный открытый ключ на ваш SSH-сервер в
~/.ssh/authorized_keys. - Нажмите “Verify Connection”, чтобы проверить подключение.
Убедитесь, что IP-адреса ClickPipes добавлены в список разрешённых в правилах вашего брандмауэра для SSH-бастиона, чтобы ClickPipes мог установить SSH-туннель.
Next.
Настройка расширенных параметров
- Интервал синхронизации: интервал, с которым ClickPipes будет опрашивать исходную базу данных на предмет изменений. Это влияет на целевой сервис ClickHouse, поэтому пользователям, чувствительным к затратам, рекомендуется задавать здесь более высокое значение (свыше
3600). - Параллельные потоки для начальной загрузки: количество параллельных воркеров, которые будут использоваться для получения начального снимка. Это полезно, если у вас много таблиц и вы хотите управлять числом параллельных воркеров, используемых для получения начального снимка. Этот параметр задается отдельно для каждой таблицы.
- Размер батча Pull: количество строк, извлекаемых за один батч. Это параметр best effort, поэтому он может соблюдаться не во всех случаях.
- Количество строк снимка на партицию: количество строк, которое будет извлекаться в каждой партиции во время начального снимка. Это полезно, если в ваших таблицах много строк и вы хотите управлять количеством строк, извлекаемых в каждой партиции.
- Количество таблиц в снимке, обрабатываемых параллельно: количество таблиц, которые будут извлекаться параллельно во время начального снимка. Это полезно, если у вас много таблиц и вы хотите управлять количеством таблиц, извлекаемых параллельно.
Настройте таблицы
- Здесь вы можете выбрать целевую базу данных для вашего ClickPipe. Можно выбрать существующую базу данных или создать новую.
- Вы можете выбрать таблицы, которые хотите реплицировать из исходной базы данных MySQL. При выборе таблиц также можно переименовать их в целевой базе данных ClickHouse и исключить отдельные столбцы.
Проверьте разрешения и запустите ClickPipe
- Выберите роль “Full access” в раскрывающемся списке разрешений и нажмите “Complete Setup”.