АС
вот в таком виде я запускаю
Size: a a a
2021 March 15
UD
вы пакуете кондовский энв со всеми зависимостями в тарбол и закидывает в спарк
UD
питоньи яйца могут потребовать какой-нибудь libstdcxx которого на кластере нет
АС
где в run.py импорт и запуск, буквально 10 строк кода
а основной код в core модуле
а основной код в core модуле
АС
без яиц тоже не взлетает)
UD
tl;dr если нет желания страдать конда и фейсбучный xar
АС
так я вообще конду не использую, у меня чистый пайтон + ряд библиотек
АС
локально
АС
а на кластере - все библиотеки в готовом env (парселе), который занимает черт знает сколько места
UD
Ну так положите свой тарбол в хдфс, с репликацией по количеству нод
АС
что такое тарбол? И не слишком ли сложно размазывать 1 вспомагательный пакет по всем нодам кластера?)
неужели нет способа удобнее
неужели нет способа удобнее
UD
Длинный ответ
VG
что такое тарбол? И не слишком ли сложно размазывать 1 вспомагательный пакет по всем нодам кластера?)
неужели нет способа удобнее
неужели нет способа удобнее
Есть, см пример выше)
МЛ
эту ошибку исправил (нужно было убрать пробел между перечислением в py-files)
Но контекст так и не взлетел, с той же ошибкой
non zero exit code 13
Но контекст так и не взлетел, с той же ошибкой
non zero exit code 13
а попробуй сделать отложенный импорт своего модуля
то есть в run.py в непосредственно перед использованием
то есть в run.py в непосредственно перед использованием
UD
Парсели клаудеры и прочего не дают герметичных зависимостей, например кто-то из команды хочет свежий пандас/арроу и т.п. Запакованный тарбол/xar лежащий на хдфс позволяет гвоздями прибить транзитивные зависимости и не париться, дополнительно не забиваются системные диски нод.
VG
эту ошибку исправил (нужно было убрать пробел между перечислением в py-files)
Но контекст так и не взлетел, с той же ошибкой
non zero exit code 13
Но контекст так и не взлетел, с той же ошибкой
non zero exit code 13
А какой полный стектрейс? Все еще зависимости?
АС
А какой полный стектрейс? Все еще зависимости?
про зависимости в явном виде ничего нет, просто non zero code 13
никакой информации более
никакой информации более
VG
про зависимости в явном виде ничего нет, просто non zero code 13
никакой информации более
никакой информации более
Еще может быть дело в том, как зазиповал, с папкой или в корень зип файла
АС
внутри zip файла только файлы .py, без вложенной директории
IK
Привет! Возник вопрос загрузки данных из SAP BW, жуть проперитарная ещё та. Может у кого то был опыт такого взаимодействия чем доставать данные? к HANA можно подцепиться через JDBC а вот с BW беда какая-то. Тулинг - java, как-то нужно будет настроить зависимости, желательно чтобы коннекторы были в maven где-то