GP
Size: a a a
2019 July 11
РА
в идее только один и будет, у тебя же небось там стоит мастер локал, нет?
M
в идее только один и будет, у тебя же небось там стоит мастер локал, нет?
Ага
РА
ну так при мастер локал нельзя задавать количество экзекьютеров
РА
только память и кол-во CPU
РА
экзекьютеры можно задавать только когда у тебя Spark Cluster, Yarn, Mezos или кубик
GP
да, в локал моде нельзя сетить колво экзекуторов, это всегда 1
M
При этом он хотя бы по ядрам потоки параллелит, если указано local[*]?
M
Или все в один поток?
GP
он сможет запускать n тасок одновременно где n колво спу твоих
M
Гуд, спасибо!
DG
Кто-нибудь есть на Hydra?)
GP
Mikhail
Гуд, спасибо!
ты единственное чего лишаешься это шафлов (почти лишаешься конечно же, ты можешь форсить руками репартишены), поэтому локальная разработка иногда не позволяет понять насолько корректно написана задача; держи это в голове
GP
потом свалишься с task not serializable
GP
Кто-нибудь есть на Hydra?)
спроси лучше в скала чате, там вроде был кто-то
РА
потом свалишься с task not serializable
было когда-то 🙂
M
ты единственное чего лишаешься это шафлов (почти лишаешься конечно же, ты можешь форсить руками репартишены), поэтому локальная разработка иногда не позволяет понять насолько корректно написана задача; держи это в голове
А бест практис какой вместо локальной разработки?
GP
локально рзрабатывать и писать все так, что бы несериализуемые вещи не шафлились
GP
ну и можно делать в тестах репартишены конечно всякие; после операций которые возможно могли что-то опасное подтянуть - но это такое себе занятие
VM
всем привет! есть ли у кого-нибудь опыт сбора логов со спарка в азуре(HDinsight) или AWS EMR в EFK стек(elastic, fluentd, kibana)?? что то не получается найти ничего.