Size: a a a

2021 April 27

GP

Grigory Pomadchin in Data Engineers
если она закончилась и кильнулась достаточно грейсфули)0
источник

NN

No Name in Data Engineers
Ну вот да
источник

ИК

Иван Калининский... in Data Engineers
А может вам на клаудеру тикет завести? Если суппорт куплен, пусть помогают!
источник

A

Aleksandra in Data Engineers
Подкину ещё одну улику) наш tech lead говорит, что это вообще связано с неким network latency на железе. Но тогда не очень понятно, почему ребут помогает
источник

GP

Grigory Pomadchin in Data Engineers
а посмотри ради интереса жстек на нодах, время гц всякое и ганглию (или чтото похожее чо там у кладуеры?) скок в пике перед падением дисков и рамы на нодах
источник

NN

No Name in Data Engineers
Ну чёт странно. С чего вдруг тогда этот лэтенси уходит после ребута?
источник

GP

Grigory Pomadchin in Data Engineers
независимую от спарка над метрику он может слегка искажать инфу
источник

NN

No Name in Data Engineers
А без этого вообще ничего не поймёшь, надо сидеть смотреть на метрики нод, и по-любому что-то скакнет
источник

GP

Grigory Pomadchin in Data Engineers
ага
источник

A

Aleksandra in Data Engineers
Хорошо, спасибо всем, завтра буду смотреть внимательнее
источник
2021 April 28

D

Den in Data Engineers
Кстати по поводу шафл блоков в свое время помогало количество ритраев и таймауты сетевые
источник

D

Den in Data Engineers
Если совсем безнадега можно speculative execution попробовать  но это скорее воркэраунд
источник

A

Aleksey in Data Engineers
Коллеги, подскажите пож кто как делал интеграцию с SAP NetWeaver (SAP PO) 7.5? Есть SAP и не только системы, которые общаются по SAP PO хочется:
1. построить technical lineage (какие физические сущности в какие системы и как переходят)
2. в будущем этот поток зарулить в «дата Лэйк».
источник

A

Aleksey in Data Engineers
Ну и до кучи - компания работает в нескольких странах и как результат некоторые системы имеют региональные экземпляры (развёрнуты в стране присутствия)
источник

DM

Dmitry Mischenko in Data Engineers
Всем привет! Вопрос по Kafka
Можно ли как-то “отписать” Consumer Group от конкретного топика? Кейс - раньше читали топик, теперь не читаем , лаг растёт (алерты летят).
Ничего кроме как 1) постоянно смещать оффсет в конец или 2) поменять consumer-group на новую не нашел =(
источник

AZ

Anton Zadorozhniy in Data Engineers
источник

DM

Dmitry Mischenko in Data Engineers
да, это я почитал)
Но ответа на вопрос, как заставить группу забыть о том, что ей не надо больше знать про этот топик, не нашел)
источник

ИШ

Игорь Шевцов... in Data Engineers
Привет
источник

ИШ

Игорь Шевцов... in Data Engineers
источник

DM

Dmitry Mischenko in Data Engineers
хотя возможно невнимательно прочитал)  --delete-offsets похоже на то, что нужно
источник