В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1176 membersпожаловаться на группу
2021 September 29

ЕГ

Евгений Глотов... in Moscow Spark
А кто записывал данные в таблицу? Есть вариант тупо сделать больше файлов?
источник
20:03пожаловаться#1

ЕГ

Евгений Глотов... in Moscow Spark
500мб орк/паркета = 5гб несжатых данных в оперативе
источник
20:04пожаловаться#2

ПФ

Паша Финкельштейн... in Moscow Spark
И ты хочешь сказать что это много?
источник
20:04пожаловаться#3

ПФ

Паша Финкельштейн... in Moscow Spark
Просто блин, ноды же толстые обычно
источник
20:04пожаловаться#4

ЕГ

Евгений Глотов... in Moscow Spark
Стандартный конфиг кластера - 4гб оперативы на вкор, превышаете😆
источник
20:05пожаловаться#5

KR

Kagermanov Ramazan in Moscow Spark
Как раз я и записывал
Входные данных терабайты данных
Нет возможности с ними работать , потому фильтрую данных
В итоге получаю такую выборку, сохранённую в hdfs
источник
20:05пожаловаться#6

ЕГ

Евгений Глотов... in Moscow Spark
После фильтра сколько партиций на запись получается?
источник
20:06пожаловаться#7

ЕГ

Евгений Глотов... in Moscow Spark
20?
источник
20:06пожаловаться#8

KR

Kagermanov Ramazan in Moscow Spark
128 гб нода и 16 ядер
источник
20:06пожаловаться#9

KR

Kagermanov Ramazan in Moscow Spark
Да
источник
20:06пожаловаться#10

ЕГ

Евгений Глотов... in Moscow Spark
Ну вот поэтому и 20 входных тасков
источник
20:06пожаловаться#11

ЕГ

Евгений Глотов... in Moscow Spark
Надо было сразу 144 писать)
источник
20:06пожаловаться#12

KR

Kagermanov Ramazan in Moscow Spark
Это я понял
Не понимаю почему 500 мб так долго обрабатывается
источник
20:07пожаловаться#13

KR

Kagermanov Ramazan in Moscow Spark
С 6 тб не сильно дольше работало
источник
20:07пожаловаться#14

ЕГ

Евгений Глотов... in Moscow Spark
А в чём заключается обработка?
источник
20:07пожаловаться#15

ЕГ

Евгений Глотов... in Moscow Spark
Возможно, исполняется не тот код)
источник
20:08пожаловаться#16

KR

Kagermanov Ramazan in Moscow Spark
ДФ.джоинДФ по 3 полям.группировка по 3 полям.сум-колумн
источник
20:08пожаловаться#17

KR

Kagermanov Ramazan in Moscow Spark
Не, не так все плохо😂
источник
20:08пожаловаться#18

ЕГ

Евгений Глотов... in Moscow Spark
А какая стадия медленно работает?
источник
20:09пожаловаться#19

KR

Kagermanov Ramazan in Moscow Spark
Маппинг
источник
20:09пожаловаться#20