DG
Вроде во втором случае будет получше потому что формат более gc friendly. Но я не замерял если что.
Size: a a a
2019 July 23
2019 July 24
ТС
Привет, а кто нибудь запускал уже python spark на Kubernetes ?
ТС
Нет, ща зайду
GP
Привет, а кто нибудь запускал уже python spark на Kubernetes ?
пай спарк конкретно - нет
обычный с 2.2 в проде (когда он еще был отдельным форком)
обычный с 2.2 в проде (когда он еще был отдельным форком)
GP
в текущей версии нету шафл сервиса и нет дайнемик алокейшена
нет возможнсти файлы с локалки запихивать в ресурс сервис (его потому что нет)
нет возможнсти файлы с локалки запихивать в ресурс сервис (его потому что нет)
GP
но, к слову в 2.2. это все было и было удобно
ТС
а подержка kubernetes разве не в 2.3 появилась ?
GP
а подержка kubernetes разве не в 2.3 появилась ?
был форк https://apache-spark-on-k8s.github.io/userdocs/running-on-kubernetes.html который потом затакивать стали в основной спарк
GP
он фактически частично и вмерджен в мастер и его можно наблюдать в 2.3 и 2.4
ТС
а в чем может быть проблема ?
driver зависает и ничего не делает, висит в статусе Running, а executor в статусе Pending
когда захожу в historical server там висит одна таска которую вызывает этот код:
SQL_CONTEXT.read.csv(
path,
inferSchema=True,
header=True
)
driver зависает и ничего не делает, висит в статусе Running, а executor в статусе Pending
когда захожу в historical server там висит одна таска которую вызывает этот код:
SQL_CONTEXT.read.csv(
path,
inferSchema=True,
header=True
)
ТС
путь на файлик который закачен в образ
С
Господа, а использовать sha/hash в hive/spark по колонкам для создания уникального ключа нормальная практика или можете предложить что-то ещё?
С
Hash вроде 32 бита возвращает, есть что побольше?)))
K
Сюткин
Hash вроде 32 бита возвращает, есть что побольше?)))
Хеш не является уникальным числом
DN
Monotonically increasing id не подходит для этой цели?
С
Monotonically increasing id не подходит для этой цели?
Сейчас погуглю, спасибо
DN
pyspark.sql.functions.monotonically_increasing_id2019 July 26
N
Подскажите как работает pyspark. Так я понял , что через py4j создаётся jvm со Спарк контекстом и соответственно устанавливает с ней связь через через gateway. Этот gateway - по факту обертака и канал над запуском spark-submit.вопрос сообствено про экзекьюторы. В моем понимании никаких питоновских экзекьюторов не будет. Т.е питон передаст вызов action в jvm и заберёт себе результаты.