GP
это как
Size: a a a
2021 April 27
KS
И 299 воркеров кажись
GP
ну тебя 300 воркеров и ты им кормишь 50к партиций;
GP
скок каждый воркер партиций за раз обрабатывает?
GP
Параллелизм какой?
N
На 51 тачке 30-40 тыс партиций при инициирующей загрузке вполне норм едет.
GP
ну и что в жобах делается над знать
KS
Зависит от количества данных, в среднем 50-100 партиций, но иногда попадается data skew от 50 тысяч до 6 млн.
GP
чел ну ты сча спросил мета вопрос
GP
а сча вскрывается что у тебя и данных перекос
AZ
Только если потом пишете это все в Glue таблицу - там стоит квота 20тыс партиций на таблицу, ее можно приподнять (но будет больно)
GP
и тд и тп
GP
и что глю а не баре ярн/ спарк
GP
Гавно партицирование у тебя а не то что у тебя 50к партиций
KS
Согласен, решение так себе, тяжелое наследие с которым приходится работать.
KS
Вот теперь ломаю голову как разрулить это.
GP
ну короче ты выясни из за чего медленно
GP
или какая-то партиция большая оч и долго процессиями
GP
Или у тебя какой-то один екзек обрабатывает все партиции
GP
Почему медленно типа