Size: a a a

2021 October 12

ПФ

Паша Финкельштейн... in Data Engineers
Ну может через восемь месяцев
источник

ПФ

Паша Финкельштейн... in Data Engineers
На русском
источник

T

T in Data Engineers
Спасибо, эх жаль что на русском, коллегам не пошарить (((
источник

ПФ

Паша Финкельштейн... in Data Engineers
Попроси у Димы слайды и пошарь их?
источник

T

T in Data Engineers
Да, хорошая идея но на до будет сначала самому посмотреть )))
источник

DZ

Dmitry Zuev in Data Engineers
Если в скале шаришь то код скажет все
https://github.com/zuynew/smartdata-fp-spark
источник

T

T in Data Engineers
О супер, спасибо!
источник

S

Sergey in Data Engineers
Добрый день, подскажите, пожалуйста. При включении kafka коннектора через debezium к PostgreSQL(в облаке), после прогрузки исторических данных и перехода в real-time возникает ошибка:
"Caused by: io.debezium.DebeziumException: Failed to start replication stream at LSN{343/B0014C0}; when setting up multiple connectors for the same database host, please make sure to use a distinct replication slot name for each
Caused by: org.postgresql.util.PSQLException: ERROR: replication slot "*_kfk_slot" is active for PID 2504505". База показывает, что слот не занят. С чем может быть связано подобное поведение коннектора?
Заранее спасибо
источник

1

117th in Data Engineers
Имя репликейшн слота должно быть уникальным. В жсоне с коннектором указать можно через slot.name вроде
источник

S

Sergey in Data Engineers
Оно уникально для данной базы
источник

1

117th in Data Engineers
Упс, пропустил этот момент. Там вообще слота нет или он стоит неактивный?
источник

S

Sergey in Data Engineers
Стоит неактивный
источник

1

117th in Data Engineers
Если есть вариант выгрузить снэпшот и начать после него онлайн выгрузку, я бы попробовал слот дропнуть в базе и опять кинуть в дебезиум коннектор. У нас пару раз дебезиум не хотел подхватывать старый слот, но глубоко не копали
источник

1

117th in Data Engineers
Причем, насколько помню, запрос в саму постгрю выдавал active = false для слота
источник

S

Sergey in Data Engineers
Слот дропали, reinit делали
Или ты имеешь в виду снэпшот отдельно от рил-тайм прогрузить?
источник

1

117th in Data Engineers
Не, вместе просто. Чо-то у вас проклятый слот какой-то. Как костыль я бы попробовал слот переименовать в коннекторе, чтобы он точно новый создал
источник

ES

Evgeny Sanevich in Data Engineers
можете посмотреть на вопрос пожалуйста? может кто-то сталкивался с подобным?
источник

S

Sergey in Data Engineers
Попытка провалилась, к сожалению:(
источник

A

Anton in Data Engineers
У меня при такой ошибке помогал просто перезапуск коннектора. Причину выяснить не удалось.
источник

GP

Grigory Pomadchin in Data Engineers
Рибята, тем временем спарк 3.2.0 @ 2.13 https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.13/3.2.0/
источник