Телеграмм чат группы moscowspark страница 721

Size: a a a

Moscow Spark

1136 membersпожаловаться на группу

2021 July 15

Alexei Vasilev in Moscow Spark

ссылка на митап не доступна, потому что пишет что он уже прошел(, хотя должен вроде начинаться только

источник

18:02пожаловаться #1

Chern Oleksander in Moscow Spark

всем привет, а не подскажите
есть df в нем где-то гигов 20/3млрд строк
Делаю
for_test = df_for.limit(100)
for_test.count()

и такое чувство, что лимит не сработал и он считает весь df
почему так? (

источник

20:08пожаловаться #2

Ekaterina in Moscow Spark

Во сколько малыша не начинаю укладывать, глубоко засыпает ровно в 8

источник

20:12пожаловаться #3

Dmitry Zuev in Moscow Spark

tenKe in Moscow Spark

Рамик in Moscow Spark

читаются все файлы (full scan), а после происходит лимит и считывается коунт

источник

20:29пожаловаться #6

Grigory Pomadchin in Moscow Spark

telegram-cloud-document-2-5440826001766485831.mp4

(378.67 Кб)

источник

20:37пожаловаться #7

No Name in Moscow Spark

А если, например, в 7:59?

источник

20:40пожаловаться #8

Chern Oleksander in Moscow Spark

А можно как-то убрать фулл скан?
Спасибо

источник

20:55пожаловаться #9

Рамик in Moscow Spark

Думаю, что нет.
Надо было у тебя спросить, что ты читаешь в df? если это таблица в хадупе, то как она хранится (одним большим файлом или несколько маленьких) ? формат хранения ? какой block size ?

источник

21:01пожаловаться #10

Рамик in Moscow Spark

все это влияет на твой count

источник

21:02пожаловаться #11

Grigory Pomadchin in Moscow Spark

Нужно на чтении фрейма делать фильтр

источник

21:12пожаловаться #12

Grigory Pomadchin in Moscow Spark

надо пушдаунить как можно ниже