Size: a a a

2019 August 25

ПФ

Паша Финкельштейн in Data Engineers
А потом кто-нибудь придёт и скажет что "пацаны, всё гавно, надо юзать зинг"
источник

ПФ

Паша Финкельштейн in Data Engineers
Потому что пик перфоманс там зашкаливает и гц перестаёт играть такую роль :)
источник

GP

Grigory Pomadchin in Data Engineers
ну да почему нет
источник

DM

Daniel Matveev in Data Engineers
Grigory Pomadchin
мне кажется тут @optician_owl использовал шеннаду я хз чем кончилось все
Z юзаю, но там ничего интересного пока нет по нагрузкам
источник

λ

λoλdog in Data Engineers
Имхо, для Спарк приложении не важен latency. Можно смело юзать параллел
источник

DM

Daniel Matveev in Data Engineers
я и не со спарком)
источник

A

Alex in Data Engineers
Grigory Pomadchin
не знаю кто пробовал лонгрнаинг шенаду для больших обемов памяти и для монгих процессоров
У нас на неймноде гоняли, 200+ гб хип, все отлично с первого взгляда, но пару раз в день вылетают очень долгие паузы, пока сильно этим не занимались почему и в каких условиях это происходит. За исключением этих пауз в остальном себя неплохо показывал
источник

ПФ

Паша Финкельштейн in Data Engineers
Alex
У нас на неймноде гоняли, 200+ гб хип, все отлично с первого взгляда, но пару раз в день вылетают очень долгие паузы, пока сильно этим не занимались почему и в каких условиях это происходит. За исключением этих пауз в остальном себя неплохо показывал
логи гц офигенно было бы Шипилёву заслать
источник

A

Alex in Data Engineers
Я сам их не смотрел ещё толком :) поддержкой другая команда занимается
источник

SO

Simon Osipov in Data Engineers
Spam ^
источник

AA

Andrew Atamanyuk in Data Engineers
всем привет
дал двум операторам в даге один таск айди
источник

AA

Andrew Atamanyuk in Data Engineers
они повисли
источник

AA

Andrew Atamanyuk in Data Engineers
даг удалил
источник

AA

Andrew Atamanyuk in Data Engineers
и из аирфлоу, и из папки гугл компоузера
источник

AA

Andrew Atamanyuk in Data Engineers
а они висят и не дают отрабатывать другим таскам
источник

AA

Andrew Atamanyuk in Data Engineers
как их убить? kubectl get pods не показывает ничего из того, что было запущено после этих зависших таск
источник

AA

Andrew Atamanyuk in Data Engineers
как и эти сами зависшие таски
источник

PA

Polina Azarova in Data Engineers
t.me/ruairflow есть сообщество любителей аирфлоу, возможно, они подскажут
источник

PA

Polina Azarova in Data Engineers
А это по куберу
t.me/devops_ru
источник

СХ

Старый Хрыч in Data Engineers
https://t.me/kubernetes_ru вот по куберу
источник