AA
Какой именно метод использовал? Треды на локальной тачке?
На кластере из 3-х машинок
Size: a a a
2019 April 23
PK
А какого размер датасет?
PK
И на сколько партиций побит датафрейм?
AA
Окей, сейчас уточню
AA
А какого размер датасет?
Запускаю параллельно через треды, два теста. Один логрегрессию обучает и делает предикт.
Размеры входных датасетов
rows X columns X partitions
(896, 3, 5) и длинна векторов фичей внутри фрейма 16340
Второй тест делает кастомный процессинг, с джойнами и подсчетом статистик. На входе
rows X columns X partitions
(14652288, 3, 8) и (14640640, 3, 10)
Я понимаю что без кода это гадание, но мне интересны общие практики.
Размеры входных датасетов
rows X columns X partitions
(896, 3, 5) и длинна векторов фичей внутри фрейма 16340
Второй тест делает кастомный процессинг, с джойнами и подсчетом статистик. На входе
rows X columns X partitions
(14652288, 3, 8) и (14640640, 3, 10)
Я понимаю что без кода это гадание, но мне интересны общие практики.
PK
Ну первый тест вообще смешной. В каждой партиции, если повезет, не больше 200 записей. Там накладных расходов на старт джобы и планирование тасков сильно больше
AA
А да, я не уточнил, там логрегрессия учится OvR, тоесть порядка 10 логрегрессий обучается, если это важно.
PK
Второй не очень понимаю. Без кода реально сложно. Но обшая практика такая, что если влезает на одну тачку, то делай на одной тачки (потоками, процессами, пофиг). Хотя в питоне с CPU-интенсив вычислениями лучше многопоточностью не пользоваться. Если не влезает, то можно и спарк заюзать. Пример в статье про UDAF - нормальный, так постоянно делают
AA
Второй не очень понимаю. Без кода реально сложно. Но обшая практика такая, что если влезает на одну тачку, то делай на одной тачки (потоками, процессами, пофиг). Хотя в питоне с CPU-интенсив вычислениями лучше многопоточностью не пользоваться. Если не влезает, то можно и спарк заюзать. Пример в статье про UDAF - нормальный, так постоянно делают
Я так понял, что засабмитив джобу через треды на спарк датафрейме, они будут распределённо исполнятся, а не на драйвере. Logit из Pyspark ml беру.
AA
Ну это как вы написали больше оверхеда вызовет для старта джобы.
E
Anton Alekseev
Я так понял, что засабмитив джобу через треды на спарк датафрейме, они будут распределённо исполнятся, а не на драйвере. Logit из Pyspark ml беру.
Нет. Это все упадёт в FIFO очередь.
E
На крайнем Москоу спарке было выступление про FAIR.
PK
Нет. Это все упадёт в FIFO очередь.
Да, тут другой вопрос. Надо fair scheduler тогда запускать. У Андрея титова на последнем митапе про это было в презентации
AA
Нет. Это все упадёт в FIFO очередь.
Хм, странно а оутпут тестов падает вперемешку как будто и правда независимо исполняются.
E
Скорее всего - это аутпуты из потоков на драйвере.
E
Они могут сыпать в перемешку, пока таски обрабатываются последовательно.
AA
Да, тут другой вопрос. Надо fair scheduler тогда запускать. У Андрея титова на последнем митапе про это было в презентации
Мне про fair scheduler надо почитать или мне это не поможет?
PK
Anton Alekseev
Мне про fair scheduler надо почитать или мне это не поможет?
Лучше код показать )
E
На всякий случай.)