#вести_с_полей Настройка CDC на примере Kafka Connect, Debezium и Postgres 1/2 🔸 Итак, что такое CDC и зачем это надо. Change data capture это технология захвата изменений данных с источника, для реляционных СУБД — обычно через лог базы данных. В таком случае таблица не блокируется, нагружается именно компонент, отвечающий за репликацию. В отличие от батч загрузок, которые запускаются по расписанию и теряют промежуточные изменения, CDC подтягивает все операции. Это и благо, если такая детализация нужна, и головная боль, если надо схлопывать эти изменения и сохранять только состояние, например, на закрытие операционного дня. 🔸 CDC создаёт поток изменений, который можно использовать для стриминговой загрузки. Но как связаны между собой Kafka Connect, Debezium и Kafka? Для ознакомления допустим, что Debezium CDC коннекторы используются как компоненты Kafka Connect для подключения к источникам. Для приёмников используются внутренние компоненты Kafka Connect (Sink). Данные между Debezium CDC и Kafka Connect Sink лежат в топиках кафки. 🔸 Как это может выглядеть на практике? * Считаем, что сервисы уже развёрнуты и доступны по сети, и у тебя есть ко всему доступ и данные для входа (credentials). Плагины на Kafka Connect установлены для всех источников и приёмников, которые нам понадобятся. * Создай слот репликации в базе, такой же как для обычных реплик. * Подготовь конфигурацию для Кафка коннекта — о ней будет ниже. * Отправь POST запрос на API endpoint сервиса Kafka Connect для публикации коннектора, где указываются конфиг и имя. * Проверь статус самого коннектора через GET запрос или UI, он должен быть "up and running". * Зайди через UI или CLI в список топиков, найди по topic.prefix и имени таблицы нужный, проверь что сообщения появились и в них содержатся данные из таблички. Теперь данные попадают в кафку и накапливаются в ней. Осталось аналогично настроить Sink для выгрузки данных в нужное место из топика, передав там маппинг топик-таблица.