ПФ
Но засыпание в 8 звучит в целом хорошо и удобно для родителей
spark.read.table(“db.mutable”).filter(‘partitioncol=“15-07-2021”)
Применив метод .explain ты можешь увидеть план запроса
Size: a a a
2021 July 15
Р
CO
Спасибо, завтра уже буду пробовать
N
Зачем ты вообще считаешь каунт, заранее зная, что строк 100? Что ты хочешь там получить, 100?
GP
<= 100
ЕГ
Пайспарк с включённым pyarrow?
2021 July 16
AB
+😂😂😂
AB
Хоть вечером настроение поднялось перед сном 😁😁
Р
Возможно, хотел отсечь данные, а каунт это просто action для проверки. В pandas‘е лимитом можно так получить данные без фулл скана(если я не ошибаюсь).
CO
Кол-во строк говорит сколько прогонов нужно сделать
N
Ты это к чему?
CO
Создаётсь март для аналитики и нужно понять сколько пользователей попали в такую группу, что в дальнейшем добавить этих пользователей в другой март с определенными расчетами
Могу рассказать прям всю механику этого бреда ))
Могу рассказать прям всю механику этого бреда ))
ЕГ
Так чё это пайспарк с включённым пайэрроу или нет?
ЕГ
Если да, выключайте пайэрроу, считайте лимит 100 каунт и включайте обратно
ЕГ
Там не фулскан делается, там делается лимит 100 из каждой партиции, и потом глобал лимит 100, почему - а фиг его знает, так написали
CO
Это pyspark на aws.glue
Со спарком знаком месяц, вот и пытаюсь понять что, где, когда
Со спарком знаком месяц, вот и пытаюсь понять что, где, когда
N
То, что ты сейчас говоришь, не имеет отношения к логике куска кода, который ты привёл. Он никогда тебе не вернёт больше 100 строк.
ЕГ
Надо в конфиге сессии найти параметр pyspark.sql.execution.arrow = true или как-то так, и переключить его на false
ЕГ
Возможно спарк на aws какие-то свои кривые патчи имеет, которые такую же фигню делают