Size: a a a

2019 July 11

GP

Grigory Pomadchin in Moscow Spark
источник

РА

Рамиль Ахмадеев... in Moscow Spark
в идее только один и будет, у тебя же небось там стоит мастер локал, нет?
источник

M

Mikhail in Moscow Spark
Рамиль Ахмадеев
в идее только один и будет, у тебя же небось там стоит мастер локал, нет?
Ага
источник

РА

Рамиль Ахмадеев... in Moscow Spark
ну так при мастер локал нельзя задавать количество экзекьютеров
источник

РА

Рамиль Ахмадеев... in Moscow Spark
только память и кол-во CPU
источник

РА

Рамиль Ахмадеев... in Moscow Spark
экзекьютеры можно задавать только когда у тебя Spark Cluster, Yarn, Mezos или кубик
источник

GP

Grigory Pomadchin in Moscow Spark
да, в локал моде нельзя сетить колво экзекуторов, это всегда 1
источник

M

Mikhail in Moscow Spark
При этом он хотя бы по ядрам потоки параллелит, если указано local[*]?
источник

M

Mikhail in Moscow Spark
Или все в один поток?
источник

GP

Grigory Pomadchin in Moscow Spark
он сможет запускать n тасок одновременно где n колво спу твоих
источник

M

Mikhail in Moscow Spark
Гуд, спасибо!
источник

DG

Denis Gabaydulin in Moscow Spark
Кто-нибудь есть на Hydra?)
источник

GP

Grigory Pomadchin in Moscow Spark
Mikhail
Гуд, спасибо!
ты единственное чего лишаешься это шафлов (почти лишаешься конечно же, ты можешь форсить руками репартишены), поэтому локальная разработка иногда не позволяет понять насолько корректно написана задача; держи это в голове
источник

GP

Grigory Pomadchin in Moscow Spark
потом свалишься с task not serializable
источник

GP

Grigory Pomadchin in Moscow Spark
Denis Gabaydulin
Кто-нибудь есть на Hydra?)
спроси лучше в скала чате, там вроде был кто-то
источник

РА

Рамиль Ахмадеев... in Moscow Spark
Grigory Pomadchin
потом свалишься с task not serializable
было когда-то 🙂
источник

M

Mikhail in Moscow Spark
Grigory Pomadchin
ты единственное чего лишаешься это шафлов (почти лишаешься конечно же, ты можешь форсить руками репартишены), поэтому локальная разработка иногда не позволяет понять насолько корректно написана задача; держи это в голове
А бест практис какой вместо локальной разработки?
источник

GP

Grigory Pomadchin in Moscow Spark
локально рзрабатывать и писать все так, что бы несериализуемые вещи не шафлились
источник

GP

Grigory Pomadchin in Moscow Spark
ну и можно делать в тестах репартишены конечно всякие; после операций которые возможно могли что-то опасное подтянуть - но это такое себе занятие
источник

VM

Vitaliy M in Moscow Spark
всем привет! есть ли у кого-нибудь опыт сбора логов со спарка в азуре(HDinsight) или AWS EMR в EFK стек(elastic, fluentd, kibana)?? что то не получается найти ничего.
источник