Size: a a a

2019 June 27

GP

Grigory Pomadchin in Data Engineers
Victor Mikhaylov
Я как-то все это встроил в мавеновский pom и гонят интеграционные тесты на spark прямо из идеи
просто зависмости спарк кора чтоли в тесты?)
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
никто никада так не делал
источник

GP

Grigory Pomadchin in Data Engineers
для локальнй разработки, даже архив спарка качать не надо
источник

GP

Grigory Pomadchin in Data Engineers
создание спарк контекста уже разворачивание драйвера
источник

SB

Sergey Bilenko in Data Engineers
Victor Mikhaylov
Тогда докер спасёт отца русской демократии 😁
У меня уже стоят в докерах обе песочницы от Хортона 🙂 Я хотел именно Аренадату глянуть
источник

AE

Alexey Evdokimov in Data Engineers
нуачо. удобно же локально гонять спарк для отладки
источник

UD

Uncel Duk in Data Engineers
Grigory Pomadchin
всегда просто забывают как распаковать архив
собрать же
источник

VM

Victor Mikhaylov in Data Engineers
Grigory Pomadchin
просто зависмости спарк кора чтоли в тесты?)
Запуск джарника со спарк джобой на небольшом тестовом сете
источник

GP

Grigory Pomadchin in Data Engineers
Uncel Duk
собрать же
mvn -DskipTests clean package или что-то такое там
источник

GP

Grigory Pomadchin in Data Engineers
зачем собирать ток (ток если конечно забыл таргз комманды)
источник

UD

Uncel Duk in Data Engineers
Grigory Pomadchin
зачем собирать ток (ток если конечно забыл таргз комманды)
ну например нетлиб и еще что-нибудь жпльное
источник

VM

Victor Mikhaylov in Data Engineers
Sergey Bilenko
У меня уже стоят в докерах обе песочницы от Хортона 🙂 Я хотел именно Аренадату глянуть
И в чём же разница для разраба?
источник

GP

Grigory Pomadchin in Data Engineers
Uncel Duk
ну например нетлиб и еще что-нибудь жпльное
а зачем спарку собирать то всю?)
источник

UD

Uncel Duk in Data Engineers
Grigory Pomadchin
а зачем спарку собирать то всю?)
ну можно напихать джарники конечно
источник

SB

Sergey Bilenko in Data Engineers
Victor Mikhaylov
И в чём же разница для разраба?
А как узнаешь, пока не посмотришь и то и это? 🙂
источник

VM

Victor Mikhaylov in Data Engineers
Sergey Bilenko
А как узнаешь, пока не посмотришь и то и это? 🙂
А как узнаешь, где искать? Разница будет в очень специфичных вещах, которые  в общем случае никак себя не проявляют
источник

SB

Sergey Bilenko in Data Engineers
Victor Mikhaylov
А как узнаешь, где искать? Разница будет в очень специфичных вещах, которые  в общем случае никак себя не проявляют
Понятно. Спасибо
источник

GP

Grigory Pomadchin in Data Engineers
Uncel Duk
ну можно напихать джарники конечно
да, это уже логика приложения
источник

SB

Sergey Bilenko in Data Engineers
И ещё вопрос, если дискуссия зашла - собственные ванильные сборки реально лучше готовых дистрибутивов? Стоит на них время тратить?
источник