AB
Привет, а когда запускаешь в спарк сабмит скок памяти даёшь?
Size: a a a
2021 June 30
RI
А есть ошибка, с которой падает? Может стоит посмотреть как спарком делаешь джоины? И еще памяти можно добавить на экзекьютор и драйвер
AB
+
Да я про это тоже
Ну тут недавно советовали олдовые ребята статистику вывести, я ток команду хз куда записал - ноут менял)) можно в истории поискать по оом
Да я про это тоже
Ну тут недавно советовали олдовые ребята статистику вывести, я ток команду хз куда записал - ноут менял)) можно в истории поискать по оом
AF
Да, я не гуру, я несчастный ораклист, запрос у меня трёхэтажный, поэтому спарк запускаю через билайн. Настройки у меня только на драйвер мемори - 16 гб и экзекьютор 8, больше боливар не выдерживает. Ошибка mapjoinmemoryexaustionexception
AB
Памяти норм, обычно наоборот даже)
Тут гуру ток лет после 5 - 7 наверное так что большинство не гуру нн парься 👆
Чёт нн так с джоином это точно
Тут гуру ток лет после 5 - 7 наверное так что большинство не гуру нн парься 👆
Чёт нн так с джоином это точно
AB
В почему через билайн в не просто спарк сабмит через терминал? Может ошибка бы кусок кода показала, хотя это часто нн о совпадает с реальностью
AB
Вот, нашёл 👆
AF
Спасибо, Сейчас погуглю спарк сабмит, знаю только про спарк шелл и :paste, но он меня сильно не радует:(
AF
Спасибо ещё раз, тоже погуглю
AB
В шеле вы код пишите и там же запускаете, а в спарк сабмит запускает ваш джарник на кластере, это стандартная команда
AB
Не за что, вы молодец, уже спать пора а вы со спарком, настоящий ДЕ 👆👍
NN
А сколько экзекуторов поднимается? Сколько коров на экзекутор? Возможно, нужно повысить уровень параллелизма.
AF
6 на экзекьюторы, 8 на драйвер, это опять же максимум для этого кластера:(
AF
У меня последний день удалёнки, а ночью кластер целиком мой - пытаюсь вот добить отладку:)
AB
NN
8 ядер на драйвер? Зачем?
На экзекьюторе можно при этом попробовать уменьшить количество коров, чтобы у каждого было больше памяти. При этом можно уменьшить память на драйвере, и докинуть на экзекуторе.
Но это все теория, потому что я не знаю Ваш запрос.
На экзекьюторе можно при этом попробовать уменьшить количество коров, чтобы у каждого было больше памяти. При этом можно уменьшить память на драйвере, и докинуть на экзекуторе.
Но это все теория, потому что я не знаю Ваш запрос.
K
Назрел вопрос, кто с эирфлоу на что мигрировал , например арго?
AF
Попробую сейчас. Запрос обычный, 4 таблицы, обычный джойн, смысл - достать к айди из 1ой таблицы некое значение из 4ой, ну и я подозреваю, что 4ая таблица кривовата, чем - не понимаю, я её почистила подселектом, оставила 2 нужных поля и убрала кривые айдишники, но нет. Без 4 таблицы всё работает, но нужное значение в ней:(
AB
Нв край сохраните результат 3 джоинов а том след шагом /джобой решающий джоин сделайте, так же в спарк ui можно глянуть может что-то нн так идёт, там каунты хотя-бы можно посмотреть и тд
AF
Не заработало:( гадская таблица:((