В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1176 membersпожаловаться на группу
2021 September 29

ЕГ

Евгений Глотов... in Moscow Spark
Может 2 датафрейм висит?
источник
20:09пожаловаться#1

ЕГ

Евгений Глотов... in Moscow Spark
Или точно каждый из этих 20 тасков тормозит?
источник
20:10пожаловаться#2

KR

Kagermanov Ramazan in Moscow Spark
Не, это одна и та же таблица
источник
20:10пожаловаться#3

KR

Kagermanov Ramazan in Moscow Spark
20 прошли за 30 секунд, 2 висели 16 минут
источник
20:10пожаловаться#4

ЕГ

Евгений Глотов... in Moscow Spark
🤔
источник
20:11пожаловаться#5

ЕГ

Евгений Глотов... in Moscow Spark
Это значит, что их 22)
источник
20:11пожаловаться#6

KR

Kagermanov Ramazan in Moscow Spark
Макс таск 24мб/2.5ккк records
источник
20:11пожаловаться#7

KR

Kagermanov Ramazan in Moscow Spark
Да, изначально не уточнял прям точно
источник
20:11пожаловаться#8

ЕГ

Евгений Глотов... in Moscow Spark
Можно посмотреть, сколько каждый таск вычитал рядов
источник
20:12пожаловаться#9

ЕГ

Евгений Глотов... in Moscow Spark
Если 2 таска читали 5млн рядов, а остальные 20 - остальные 3млн, то вот и перекос
источник
20:12пожаловаться#10

ЕГ

Евгений Глотов... in Moscow Spark
Слишком хорошо пожалось)
источник
20:12пожаловаться#11

KR

Kagermanov Ramazan in Moscow Spark
А как этим управлять?
источник
20:13пожаловаться#12

ЕГ

Евгений Глотов... in Moscow Spark
Управлять записью в файл
источник
20:13пожаловаться#13

ЕГ

Евгений Глотов... in Moscow Spark
Чтоб не больше скольки-то рядов
источник
20:13пожаловаться#14

ЕГ

Евгений Глотов... in Moscow Spark
Вроде где-то такой параметр был
источник
20:13пожаловаться#15

KR

Kagermanov Ramazan in Moscow Spark
Для этого задал Макс размер файла
Это не поможет?
источник
20:14пожаловаться#16

ЕГ

Евгений Глотов... in Moscow Spark
А как конкретно параметр называется?
источник
20:14пожаловаться#17

KR

Kagermanov Ramazan in Moscow Spark
spark.sql.files.maxPartitionBytes
источник
20:16пожаловаться#18

ЕГ

Евгений Глотов... in Moscow Spark
1024*1024*144 - это вроде как 144мб, попробуй вместо 144 написать 10 например
источник
20:17пожаловаться#19

KR

Kagermanov Ramazan in Moscow Spark
Кстати, если делать так, не лучше coalesce?
Вроде как сильно быстрее работает
источник
20:17пожаловаться#20