ПФ
Фреймворки не поддерживает
Это да, мы про поддержку языка говорили. Не должно быть такого, что что-то компилится в ultimate и не компилится в community. Если есть - надо репортить
Size: a a a
2021 March 17
ПБ
Команда умеет писать и деплоить обычные спарк пайплайны?
нет, все с 0 делать будем
ПФ
нет, все с 0 делать будем
Звучит как хороший кейс для флинка или бима
ПБ
Звучит как хороший кейс для флинка или бима
с флинком идет некий кальцит )
https://calcite.apache.org/
https://calcite.apache.org/
ПФ
с флинком идет некий кальцит )
https://calcite.apache.org/
https://calcite.apache.org/
Ну это вас вроде ни к чему не обязывает
K
Это да, мы про поддержку языка говорили. Не должно быть такого, что что-то компилится в ultimate и не компилится в community. Если есть - надо репортить
компилит sbt )
ПФ
компилит sbt )
Ну идея не должна подчёркивать если всё хорошо. Раньше подчёркивала, сейчас уже давно не видел
AZ
нет, все с 0 делать будем
Можно конечно погрузиться в детали кейса, но я бы рекомендовал взять спарк, написать пару пайплайнов, посмотреть где жмёт и если что - прыгнуть на флинк
По моему опыту стриминговые пайплайны постоянно переписываются и перепрыгнуть конечно займёт время, но оно будет не такое бездарное потраченное, как если сейчас сидеть на берегу и выбирать фреймворк
По моему опыту стриминговые пайплайны постоянно переписываются и перепрыгнуть конечно займёт время, но оно будет не такое бездарное потраченное, как если сейчас сидеть на берегу и выбирать фреймворк
GP
нет, все с 0 делать будем
разницы не особо есть; особенно если такой вопрос появился
если есть возможность и то и то попробовать - пробуйте так и сделаете выбор что конкретно для вшаих процессов подходит
если есть возможность и то и то попробовать - пробуйте так и сделаете выбор что конкретно для вшаих процессов подходит
GP
какойнить мвп напилите небольшой и сравните + и - для вас конкретно
GP
есть же какойто процесс принятия решений внутри?)
ПБ
есть же какойто процесс принятия решений внутри?)
Как показывает практика, если сделать mvp и оно будет работать, на второе mvp никто время не даст )
VP
нет, все с 0 делать будем
По моему опыту во флинк выше порог вхождения. Особенно если нет большого опыта в jvm что бывает в DE довольно часто
ПО флинку меньше инфы, почти все ссылки ведут на китайские форумы. Спарк в этом плане гораздо более хорошо "изучен"
ПО флинку меньше инфы, почти все ссылки ведут на китайские форумы. Спарк в этом плане гораздо более хорошо "изучен"
GP
Как показывает практика, если сделать mvp и оно будет работать, на второе mvp никто время не даст )
к чему душа лежит с того начни
по старости флинк еще более дрвений чем спарки если у тебя про новизну какието были консерны
по старости флинк еще более дрвений чем спарки если у тебя про новизну какието были консерны
T
Надо брать спилнк :3
2021 March 18
KS
Кто-нибудь может рассказать как в pyspark происходит магия исполнения питон кода? Мой коллега думает, что на каждом ноде выполняется питон интерпретатор и настаивает на
def main():
blah
if __name__ == "__main__":
main()
def main():
blah
if __name__ == "__main__":
main()
GP
на каждой ноде дейсвительно выполняется пейтоноинтерпретатор
через пу4ж (грустно очень) гоняются партиции из петона в жвм
через пу4ж (грустно очень) гоняются партиции из петона в жвм
GP
только я не знаю как это связано с кодом который ты вбросил)
KS
только я не знаю как это связано с кодом который ты вбросил)
Ну идёт спор о том, как нужно писать код для pyspark