В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2017 May 30

AM

Aleksander Melnichnikov in Data Engineers
У меня на моей машине 64 Гб иногда выжирает
источник
11:39пожаловаться#1

AM

Aleksander Melnichnikov in Data Engineers
Но для тестов использую кластер, и там уже оч много памяти
источник
11:39пожаловаться#2

AM

Aleksander Melnichnikov in Data Engineers
Или вот . Идея лучше
источник
11:44пожаловаться#3

AM

Aleksander Melnichnikov in Data Engineers
У тебя вся проблема в том, что при получении данных на драйвер - у тебя падает с ООМ. Есть решение, в коде разделить rdd на мелкие, и последовательно их получать, выводить данные
источник
11:45пожаловаться#4

ὦ

ὦan in Data Engineers
Ну я сейчас сделал sample и запустил
источник
11:46пожаловаться#5

AM

Aleksander Melnichnikov in Data Engineers
Тогда у тебя в драйвером процессе не сразу загрузится весь хип, а только часть. А то, что мы там шаманим с памятью спарка - это все фигня, он по идее по дефолту юзает диск и не упадет
источник
11:46пожаловаться#6

AM

Aleksander Melnichnikov in Data Engineers
Не падает ?
источник
11:46пожаловаться#7

ὦ

ὦan in Data Engineers
и упал
источник
11:46пожаловаться#8

AM

Aleksander Melnichnikov in Data Engineers
0.001
источник
11:46пожаловаться#9

ὦ

ὦan in Data Engineers
источник
11:47пожаловаться#10

AM

Aleksander Melnichnikov in Data Engineers
Ставь 0.01
источник
11:47пожаловаться#11

ὦ

ὦan in Data Engineers
Все еще падает
источник
11:53пожаловаться#12

ὦ

ὦan in Data Engineers
Да что за
источник
11:53пожаловаться#13

AM

Aleksander Melnichnikov in Data Engineers
А какого размера файл то? Который он грузит
источник
11:53пожаловаться#14

ὦ

ὦan in Data Engineers
сейчас
источник
11:54пожаловаться#15

AM

Aleksander Melnichnikov in Data Engineers
Поиграй со значением семпла попробуй 0.001, 0.0001
источник
11:54пожаловаться#16

ὦ

ὦan in Data Engineers
633 метра
источник
11:55пожаловаться#17

ὦ

ὦan in Data Engineers
самый большое
источник
11:55пожаловаться#18

AM

Aleksander Melnichnikov in Data Engineers
А скинь код, что-ли
источник
11:57пожаловаться#19

ὦ

ὦan in Data Engineers
секунду
источник
11:57пожаловаться#20