Ну может через восемь месяцев

На русском

Спасибо, эх жаль что на русском, коллегам не пошарить (((

Попроси у Димы слайды и пошарь их?

Да, хорошая идея но на до будет сначала самому посмотреть )))

Если в скале шаришь то код скажет все
https://github.com/zuynew/smartdata-fp-spark

О супер, спасибо!

Добрый день, подскажите, пожалуйста. При включении kafka коннектора через debezium к PostgreSQL(в облаке), после прогрузки исторических данных и перехода в real-time возникает ошибка:
"Caused by: io.debezium.DebeziumException: Failed to start replication stream at LSN{343/B0014C0}; when setting up multiple connectors for the same database host, please make sure to use a distinct replication slot name for each
Caused by: org.postgresql.util.PSQLException: ERROR: replication slot "*_kfk_slot" is active for PID 2504505". База показывает, что слот не занят. С чем может быть связано подобное поведение коннектора?
Заранее спасибо

Имя репликейшн слота должно быть уникальным. В жсоне с коннектором указать можно через slot.name вроде

Оно уникально для данной базы

Упс, пропустил этот момент. Там вообще слота нет или он стоит неактивный?

Стоит неактивный

Если есть вариант выгрузить снэпшот и начать после него онлайн выгрузку, я бы попробовал слот дропнуть в базе и опять кинуть в дебезиум коннектор. У нас пару раз дебезиум не хотел подхватывать старый слот, но глубоко не копали

Причем, насколько помню, запрос в саму постгрю выдавал active = false для слота

Слот дропали, reinit делали
Или ты имеешь в виду снэпшот отдельно от рил-тайм прогрузить?

Не, вместе просто. Чо-то у вас проклятый слот какой-то. Как костыль я бы попробовал слот переименовать в коннекторе, чтобы он точно новый создал

можете посмотреть на вопрос пожалуйста? может кто-то сталкивался с подобным?

Попытка провалилась, к сожалению:(

У меня при такой ошибке помогал просто перезапуск коннектора. Причину выяснить не удалось.

Рибята, тем временем спарк 3.2.0 @ 2.13 https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.13/3.2.0/