ЕГ
Ну типа возможно это самый быстрый способ узнать, есть ли в дф 100 элементов или их там меньше)
Так это как пример был.
Главная задача была быстро посмотреть маленький кусочек df. Это по примеру ...
Size: a a a
2021 July 16
CO
А что это даёт?)
ЕГ
Arrow по идее даёт ускорение операций между пандасом и спарком, например spark_df.toPandas()
ЕГ
Но конкретно твой случай будет замедляться)
CO
Буду пробовать, спасибо
CO
))))
N
Тогда напиши .show(100,false)
ЕГ
А табличка партицирована?
N
Или как там в петухоне .show(100, False)
CO
Ладно, а давайте я другой вопрос задам.
Есть паркет опять же на S3
Данные по продажам, 20 Гб, 30 млн строк
Структура
User_id: long
Created_date: timestamp
Amount: long
Type: string
Company: string
Партии по дням
Хочу создать таблицу для аналитики
На каждый день по одному пользователю коммулятивную сумму продаж.
Если продажи были 1го числа 10 и 3го 20
Тогда должно быть
1-10
2-10
3-30
Как легче всего это реализовать ?
Есть паркет опять же на S3
Данные по продажам, 20 Гб, 30 млн строк
Структура
User_id: long
Created_date: timestamp
Amount: long
Type: string
Company: string
Партии по дням
Хочу создать таблицу для аналитики
На каждый день по одному пользователю коммулятивную сумму продаж.
Если продажи были 1го числа 10 и 3го 20
Тогда должно быть
1-10
2-10
3-30
Как легче всего это реализовать ?
CO
Спасибо попробую
ЕГ
Хранить расчет за каждый день, поднимать вчерашний день + новый день, групбай пользователь, сумма)
Сохранить в новый день
Сохранить в новый день
ЕГ
А, надо ещё если юзера в дне не было, чтоб у него строки тоже не было
ЕГ
Тогда оконкой
ЕГ
Вообще 30млн это такая мелочь, что можно над ними всё что угодно сделать, и будет ок
ЕГ
Вот когда у тебя было 50млрд строк, и ты потерял из них где-то 30млн, вот тут уже проблемы)
CO
Я сделал через spark.sql в окне через cross join для создания первичной таблицы и расчет занял 52 минуты (((
Я считаю это пипец как много
Я считаю это пипец как много
ЕГ
А кросс-джойн там зачем?
ЕГ
Мне кажется оконок должно быть достаточно, чтобы эту задачу решить