Н
понятно, спасибо
Size: a a a
2021 August 29
ЕГ
Но нужно учитывать, что repartition(dt) все записи с одинаковой датой запихает ровно в один таск на следующей стадии, если это стадия записи - то будет 1 файл на выходе
ЕГ
Можно сделать repartition(dt, (rand()*5).cast("int"), тогда каждая дата раскидается случайным образом на 5 тасков, например
C
N
А зачем делать repartition? Просто так? Каков смысл?
Н
хз
ПБ
Доброй ночи, а почему пишут что спар плох для adhoc?
ЕГ
Спарк плох для всего)
надо же что-то делать архитекторам, а спарк и датаинженеры нарисуют)
надо же что-то делать архитекторам, а спарк и датаинженеры нарисуют)
ЕГ
А так - 80 моих коллег аналитиков фигачили адхоки на спарке, вроде никто не жаловался
ЕГ
Нужно подготовить минимальную инфраструктуру, конечно, хотя бы общий код запуска спарк-сессии в юпитере
2021 August 30
ПБ
На sql или df?
ЕГ
Кто как, многие перешли на дф
ЕГ
Ну и такую ораву (нас всего было больше 300) надо уже разруливать очень плотно по ресурсам в ярне
ЕГ
Чтоб всем и каждому хватало
NN
Не то чтоб плох, просто минимальный порог входа относительно высок, и, помимо прочего, используется он все таки при процессинге больших данных, так что привыкшим к секундному лейтенси бывает непонятно.
Ну и накладные у него относительно приличные, та же спарк джоба не в секунду побежит тебе дела делать на кластере.
Ну и накладные у него относительно приличные, та же спарк джоба не в секунду побежит тебе дела делать на кластере.
ЕГ
В кубере вот говорят секунду)
NN
Ну, видишь, я то пока в говне мамонта копаюсь в виде старого второго хадупа и ярна, мне все это непонятно и страшно.
ПБ
А кто говорит?)
ЕГ
В соседнем чате, наши западные коллеги)