Знаешь, выглядит так, что я наврал. Сейчас для интереса прочитал табличку с орками по 600 мб, и он прочитал ее в виде 267 тасков, как раз по 128 мб получились...
Походу, просто я все свои таблички обычно пишу так, что там размер партиции меньше  hdfs блока выходит, и тогда у меня, видимо, и получается, что они минимальной единицей являются. А размер блока у орка у нас на кой-то черт проставлен 256, так что тут ещё проще, каждый файл всегда получается одноблоковым.

Всем привет!

Напомните пожалуйста как увеличить кол-во мапов/редюсов в хайв2?

а как ты тогда собрался размером файлов управлять? ансибл-роль напишешь?

напишу задачу в jira, и приложу варианты как делать можно

для разрабов

Туда же можно предложить агрегаты делать, а не поднимать тонны файлов каждый раз

мы это вроде уже обсуждали, что это по умолчанию орк выставляет, и это можно менять

я ссылку выше давал, могут попробовать

Ты про что, про 256 мб блок? Да, это я в курсе.
Я больше удивлен, что у нас это так и оставили по умолчанию на кластере.

да про это могли просто и не знать, не осознанное решение

Наверное, да, надо бы намекнуть

Ты любой спарк в ярне использовать можешь, если шафл отключить

Перезадаю старый вопрос:

Хочу делать много бродкастов в одном большом плане. Сами бродкасты очень мелкие, им хватает примерно 1 Гб хипа на каждом экзекуторе. Но на драйвере приходится выставлять 64+Гб, а это многовато. Похоже, что вся проблема в создании большого количества бродкастов в один момент времени, потому что я вижу, как за секунды выполняются сотни джобов и после этого всё в порядке, если памяти много. Ну или приложение зависает, если памяти мало на драйвере. В SparkUI использование памяти не превышает 300-400 Мб, увеличиваясь ближе к завершению выполнения (а выполнение такое быстрое, что просто радуюсь)) Как можно снизить параллельность подгрузки бродкастов, или может кто ещё что-то знает об этом?

Spark 2.4.0

Кто-то подскажет опцию?

Ребят есть чатик по oracle?

https://t.me/oracle_ru. Есть такой

А там же DE or DIE идёт, вы знали?

https://www.youtube.com/watch?v=KzVFf65owck

Можно быстренько отмотать в начало и посмотреть чо было

Привет! Кто-нибудь качает данные из ElasticSearch через Spark?
Хочу спросить, как ускорить загрузку данных. У ES 5 шардов -> 5 executors тем не менее качается очень долго, что можно еще сделать?