Size: a a a

2021 March 17

ПФ

Паша Финкельштейн... in Data Engineers
KrivdaTheTriewe
Фреймворки не поддерживает
Это да, мы про поддержку языка говорили. Не должно быть такого, что что-то компилится в ultimate и не компилится в community. Если есть - надо репортить
источник

ПБ

Повелитель Бури... in Data Engineers
Anton Zadorozhniy
Команда умеет писать и деплоить обычные спарк пайплайны?
нет, все с 0 делать будем
источник

ПФ

Паша Финкельштейн... in Data Engineers
Повелитель Бури
нет, все с 0 делать будем
Звучит как хороший кейс для флинка или бима
источник

ПБ

Повелитель Бури... in Data Engineers
Паша Финкельштейн
Звучит как хороший кейс для флинка или бима
с флинком идет некий кальцит )
https://calcite.apache.org/
источник

ПФ

Паша Финкельштейн... in Data Engineers
Повелитель Бури
с флинком идет некий кальцит )
https://calcite.apache.org/
Ну это вас вроде ни к чему не обязывает
источник

K

KrivdaTheTriewe in Data Engineers
Паша Финкельштейн
Это да, мы про поддержку языка говорили. Не должно быть такого, что что-то компилится в ultimate и не компилится в community. Если есть - надо репортить
компилит sbt )
источник

ПФ

Паша Финкельштейн... in Data Engineers
KrivdaTheTriewe
компилит sbt )
Ну идея не должна подчёркивать если всё хорошо. Раньше подчёркивала, сейчас уже давно не видел
источник

AZ

Anton Zadorozhniy in Data Engineers
Повелитель Бури
нет, все с 0 делать будем
Можно конечно погрузиться в детали кейса, но я бы рекомендовал взять спарк, написать пару пайплайнов, посмотреть где жмёт и если что - прыгнуть на флинк

По моему опыту стриминговые пайплайны постоянно переписываются и перепрыгнуть конечно займёт время, но оно будет не такое бездарное потраченное, как если сейчас сидеть на берегу и выбирать фреймворк
источник

GP

Grigory Pomadchin in Data Engineers
Повелитель Бури
нет, все с 0 делать будем
разницы не особо есть; особенно если такой вопрос появился
если есть возможность и то и то попробовать - пробуйте так и сделаете выбор что конкретно для вшаих процессов подходит
источник

GP

Grigory Pomadchin in Data Engineers
какойнить мвп напилите небольшой и сравните + и - для вас конкретно
источник

GP

Grigory Pomadchin in Data Engineers
есть же какойто процесс принятия решений внутри?)
источник

ПБ

Повелитель Бури... in Data Engineers
Grigory Pomadchin
есть же какойто процесс принятия решений внутри?)
Как показывает практика, если сделать mvp и оно будет работать, на второе mvp никто время не даст )
источник

VP

Vitaly Pismarev in Data Engineers
Повелитель Бури
нет, все с 0 делать будем
По моему опыту во флинк выше порог вхождения. Особенно если нет большого опыта в jvm что бывает в DE довольно часто

ПО флинку меньше инфы, почти все ссылки ведут на китайские форумы. Спарк в этом плане гораздо более хорошо  "изучен"
источник

GP

Grigory Pomadchin in Data Engineers
Повелитель Бури
Как показывает практика, если сделать mvp и оно будет работать, на второе mvp никто время не даст )
к чему душа лежит с того начни
по старости флинк еще более дрвений чем спарки если у тебя про новизну какието были консерны
источник

GP

Grigory Pomadchin in Data Engineers
источник

T

T in Data Engineers
Надо брать спилнк :3
источник
2021 March 18

KS

K S in Data Engineers
Кто-нибудь может рассказать как в pyspark происходит магия исполнения питон кода? Мой коллега думает, что на каждом ноде выполняется питон интерпретатор и настаивает на

def main():
   blah

if __name__ == "__main__":
   main()
источник

GP

Grigory Pomadchin in Data Engineers
на каждой ноде дейсвительно выполняется пейтоноинтерпретатор
через пу4ж (грустно очень) гоняются партиции из петона в жвм
источник

GP

Grigory Pomadchin in Data Engineers
только я не знаю как это связано с кодом который ты вбросил)
источник

KS

K S in Data Engineers
Grigory Pomadchin
только я не знаю как это связано с кодом который ты вбросил)
Ну идёт спор о том,  как нужно писать код для pyspark
источник