E
ну или костыляешь и потом городишь ;)
Size: a a a
2019 August 23
S
Evgeny
проще доку открыть. умеет standalone, много разных шаблонов чтения\записи из которых городишь то, что нужно
да вот доку открыл
она большая )
какой-нибудь семпл бы )
хотя уже нашел с хайлоада 17 доклад от рамблера, вполне себе
правда пока до критики не дошел, а все хорошее каждый умеет рассказать )
она большая )
какой-нибудь семпл бы )
хотя уже нашел с хайлоада 17 доклад от рамблера, вполне себе
правда пока до критики не дошел, а все хорошее каждый умеет рассказать )
E
да вот доку открыл
она большая )
какой-нибудь семпл бы )
хотя уже нашел с хайлоада 17 доклад от рамблера, вполне себе
правда пока до критики не дошел, а все хорошее каждый умеет рассказать )
она большая )
какой-нибудь семпл бы )
хотя уже нашел с хайлоада 17 доклад от рамблера, вполне себе
правда пока до критики не дошел, а все хорошее каждый умеет рассказать )
ну вот у нас оно все так же и работает. Не помню, чтобы с ним особые проблемы были, но тут важно что вы будете использовать, у нас это, в основном, кафка и hdfs
S
кейс примерно такой же
в наличии много всяких штук, но достаточно и кафки с хдфс
только еще непонятно, где профит относительно какой-нибудь кафка-стримс на обработку + самопис кафка-хдфс
в наличии много всяких штук, но достаточно и кафки с хдфс
только еще непонятно, где профит относительно какой-нибудь кафка-стримс на обработку + самопис кафка-хдфс
ПФ
я о нём только негатив читал
Прям вот только что на Moscow spark говорили что пока не надо гонять натив на каждую сторону pyspark вполне норм
A
ну тут же вопрос что ты хочешь
хочешь шустрее - скала
хочешь чтобы датасатанистам привычней - пайспарк
часто качество менее важно чем value которое может принести код
хочешь шустрее - скала
хочешь чтобы датасатанистам привычней - пайспарк
часто качество менее важно чем value которое может принести код
A
это как с jupyter notebook:
все плюются что в продакшен пихать их это боль
но никого это не останавливает, так как цикл
“датасатанист наговнякол-ушло в прод” более быстрый чем
“датасатанист наговнякал - объянил программисту и он переписал на scala/java - ушло в прод”
все плюются что в продакшен пихать их это боль
но никого это не останавливает, так как цикл
“датасатанист наговнякол-ушло в прод” более быстрый чем
“датасатанист наговнякал - объянил программисту и он переписал на scala/java - ушло в прод”
A
@erzentd поэтому красота кода и красота для бизнеса не всегда совпадают =)
AK
а потом прод взрывается, потому что у дс и у разработчиков немного разные представления об устройстве мира
AN
а потом прод взрывается, потому что у дс и у разработчиков немного разные представления об устройстве мира
СХ
а потом прод взрывается, потому что у дс и у разработчиков немного разные представления об устройстве мира
а виноваты потом во всём девупсы, потому что не написали спасительных хелсчеков
СХ
данные мертвы, копий нет за 12 часов, а реплика умерла тоже следом
АЖ
а потом прод взрывается, потому что у дс и у разработчиков немного разные представления об устройстве мира
Тут уже писпарк не виноват :)
K
Тут уже писпарк не виноват :)
А Девопсы
S
у писпарка фамилии нет, у девопса есть
виноват девопс, инфа сотка
виноват девопс, инфа сотка
ПФ
девопс — это не человек
АЖ
А Девопсы
Все там молодцы!
S
девопс — это не человек
прально
АЖ
девопс — это не человек
Это Хрыч?
ПФ
Это Хрыч?
Это может быть. Но обычно это всё-таки процесс )