GP
это ж петон просто нашмякайте чтонить
Size: a a a
2021 March 18
GP
но если серьезно я не понял вопрос)
KS
это ж петон просто нашмякайте чтонить
Ну я так и делаю, просто пишу инлайн, а он думает, что надо по всем правилам как я выше вбросил
GP
я давно ковырялся в кишках петоно спарка не смогу сейчас пояснить за то как конкретно там сериализация случается
надо подождать ребят расскажут
но в крадце там абсолютно пофигу как писать
коллега наверное у вас хочет культуру кода устроить что не так то и плохо особенно для петоно проекта
надо подождать ребят расскажут
но в крадце там абсолютно пофигу как писать
коллега наверное у вас хочет культуру кода устроить что не так то и плохо особенно для петоно проекта
KS
я давно ковырялся в кишках петоно спарка не смогу сейчас пояснить за то как конкретно там сериализация случается
надо подождать ребят расскажут
но в крадце там абсолютно пофигу как писать
коллега наверное у вас хочет культуру кода устроить что не так то и плохо особенно для петоно проекта
надо подождать ребят расскажут
но в крадце там абсолютно пофигу как писать
коллега наверное у вас хочет культуру кода устроить что не так то и плохо особенно для петоно проекта
Да я и сам за культуру кода, но только времени на красоту очень мало. Со всех сторон требуют результаты как можно скорее, а тут ещё и шашечки требуют.
GP
🙌🏻 Друзья, всем привет!
Мы планируем запуск курса «DWH Analyst» и нам очень нужна ваша помощь с фидбеком!
Посмотрите, пожалуйста, может вам что-то хотелось бы изменить, добавить, убрать. Будем очень рады вашей обратной связи!
Пройдите, пожалуйста, анонимный опрос.
👉 По ссылке можно найти подробную программу курса.
Заранее спасибо каждому участнику!
Мы планируем запуск курса «DWH Analyst» и нам очень нужна ваша помощь с фидбеком!
Посмотрите, пожалуйста, может вам что-то хотелось бы изменить, добавить, убрать. Будем очень рады вашей обратной связи!
Пройдите, пожалуйста, анонимный опрос.
👉 По ссылке можно найти подробную программу курса.
Заранее спасибо каждому участнику!
AE
Поддержка докера с работой из студии есть ?
не понял формулировку вопроса. если имеется в виду «умеет ли студия работать с контейнерами», то да конечно умеет, причём с прошлого года нативно, а не через плагин
GP
s
на каждой ноде дейсвительно выполняется пейтоноинтерпретатор
через пу4ж (грустно очень) гоняются партиции из петона в жвм
через пу4ж (грустно очень) гоняются партиции из петона в жвм
партиции вроде гоняются, только если выйти за пределы спарковых методов. И то есть лайфхак, как этого избежать, то ли используя пандовые структуры, то арроу, не помню уже — в орейлевской книге было.
s
Да я и сам за культуру кода, но только времени на красоту очень мало. Со всех сторон требуют результаты как можно скорее, а тут ещё и шашечки требуют.
Насколько я знаю, писать def main() — не питонично, скорее жавой отдает.
Но в любом случае, вроде написать такой бойлерплейт — одна минута, в чём проблема?
Но в любом случае, вроде написать такой бойлерплейт — одна минута, в чём проблема?
KS
Насколько я знаю, писать def main() — не питонично, скорее жавой отдает.
Но в любом случае, вроде написать такой бойлерплейт — одна минута, в чём проблема?
Но в любом случае, вроде написать такой бойлерплейт — одна минута, в чём проблема?
Да там целая простыня требований, в pre-commit hook
KS
партиции вроде гоняются, только если выйти за пределы спарковых методов. И то есть лайфхак, как этого избежать, то ли используя пандовые структуры, то арроу, не помню уже — в орейлевской книге было.
То есть на ноде обычный питон процесс, а данные сериализуются в спарковский формат (вроде бы arrow)?
s
То есть на ноде обычный питон процесс, а данные сериализуются в спарковский формат (вроде бы arrow)?
Кажется, так. И если нужны кастомные преобразования данных, то можно избежать перегона данных между питоном и спарком, если заюзать что-то из панды
s
Но я забыл, что
DM
Господа, доброе утро! А можете подсказать, пожалуйста. Во втором спарке HiveContext стал deprecated. Внутри него теперь вызов SparkSession. Есть ли для меня способ запускать sql через второй Спарк на Хайв кластере принудительно?
P
Добрый день, кто нибудь сталкивался с ошибкой org.apache.spark.shuffle.FetchFailedException Read error or truncated source ? Spark 2.4.0
VS
Кто-нибудь может рассказать как в pyspark происходит магия исполнения питон кода? Мой коллега думает, что на каждом ноде выполняется питон интерпретатор и настаивает на
def main():
blah
if __name__ == "__main__":
main()
def main():
blah
if __name__ == "__main__":
main()
Давайте начнем с того, а вы понимаете отличие запуска через main?
ЕГ
Кто-нибудь может рассказать как в pyspark происходит магия исполнения питон кода? Мой коллега думает, что на каждом ноде выполняется питон интерпретатор и настаивает на
def main():
blah
if __name__ == "__main__":
main()
def main():
blah
if __name__ == "__main__":
main()
Это уже написано в пайспарк-коде запуска UDF, писать это в пользовательском коде неправильно, там должна быть только непосредственно функция, зарегистрированная как UDF, она передаётся в качестве коллбэка
VP
Привет
А есть те кто работал с Argo worlflows ? Можете подсказать почему его выбирают а не используют тот же Airflow ?
А есть те кто работал с Argo worlflows ? Можете подсказать почему его выбирают а не используют тот же Airflow ?