A
А есть какие треды в running?
Size: a a a
2021 September 07
OI
на драйвере вот
OI
на экзекуторах тож работает
OI
видимо, надо было туда врываться пока висело
OI
сейчас типа всё ок
A
Да, обычно там видно что где-то что-то висит или ждёт
Зачастую на планировании самого dag
Зачастую на планировании самого dag
A
Директории листятся вроде как
1) часть на драйвере (запрос у хайва партиций, тут видно в драйвере),
2) а потом по каждой партиции уже на воркерах (тут видно уже на них запросы в хдфс)
Первую часть только на драйвере в треддампах ловить
Вторую уже видно, как stage
1) часть на драйвере (запрос у хайва партиций, тут видно в драйвере),
2) а потом по каждой партиции уже на воркерах (тут видно уже на них запросы в хдфс)
Первую часть только на драйвере в треддампах ловить
Вторую уже видно, как stage
A
У вас её нету, так что вполне возможно что и не листилось, но план долго строило
OI
прост странно, как так может быть, чтобы час строился план
A
Одна из причин почему нетфликсы придумывали айсберг
А
посмотри план, может там километр текста
A
При большом количестве партиций может и час =/
A
В одной из предыдущих контор там условно по пользователям сделали партиции, потом удивлялись почему стриминг начал проседать, а он само планирование 15+ минут делал
OI
жоска)
A
На тестах все хорошо, а в проде стрельнуло :)
OI
ну всё относительно) план большой, но не слишком))
ЕГ
А есть строчка в логах чёт типа partition cache evicted due to size over 256mb?
A
Кстати да, там же по логам и таймингам строк можно что-то ещё поискать
OI
в логе драйвера нет такого
но надо дебаг включить, так не оч понятно
но надо дебаг включить, так не оч понятно
OI