I
Ну это будет 6000 партиций
Size: a a a
2021 March 04
AE
ну так и что с того
I
Пробовали - оОООЧень долго
SB
Всем привет!
Подскажите, пожалуйста, начинающему:
почему приложения Oozie-workflow с shell-action после завершения работы в Yarn всегда отображаются с FinalStatus = SUCCEED. Хотя даже принудительно пробовал в shell-action возвращать "exit 1" (по всякому пробовал...). Стек - Cloudera CDH 5.14.
Кто-нибудь сталкивался с подобным? Может, так и задумано?
Подскажите, пожалуйста, начинающему:
почему приложения Oozie-workflow с shell-action после завершения работы в Yarn всегда отображаются с FinalStatus = SUCCEED. Хотя даже принудительно пробовал в shell-action возвращать "exit 1" (по всякому пробовал...). Стек - Cloudera CDH 5.14.
Кто-нибудь сталкивался с подобным? Может, так и задумано?
AE
Пробовали - оОООЧень долго
кгхм. вот у меня десяток миллионов устройств. я их складываю по партициям так, чтобы все сигналы от одного устройства были в одной партиции. а сигналов миллиарды. и партиций получается сотня-другая тыщ. просто я это делаю в самом начале цепочки обработки, самой первой операцией. и всё норм
N
да и разработчики, которые могут писать на спарке без spark.sql, стоят дороже, чем те кто пишут на spark.sql
Надо на рдд всё лабать?
AE
ну и после самого тяжёлого (и единственного) шафла накладывается самый сильный фильтр, а дальше уже всё вполне линейно.
ну наши данные такое позволяют
ну наши данные такое позволяют
AE
Надо на рдд всё лабать?
в моём случае оправданно, в любом другом 99.9% что нет
I
@workales Мы вот так пришли к сортированным партициям
I
А в Датабрикс есть похожий Z-Ordering
AZ
а в базах все обычно сразу сортировано
AE
ну есть же .repartitionAndSortWithinPartitions, штука полезная
AE
и потом вместо явных джойнов .zipPartitions
I
а в базах все обычно сразу сортировано
Ну по сути эти все оптимизации от туда и пошли я думаю.
I
Там по моему еще это не во всех версиях работает
AZ
Там по моему еще это не во всех версиях работает
да, дельта осс это тестовая заглушка, там нет оптимизаций
AE
в любом случае закат солнца вручную будет эффективнее, чем что-либо более высокоуровневое, но требует от участников мероприятия больших мозгозатрат и лучшего понимания что вообще происходит с данными. мне вот страшно представить что будет с проектом если я с него вдруг свалю. дока конечно написана, но куча мест где всё крайне неочевидно и не по рекомендациям
AZ
вот похожая ситуация с пачкой инженеров которые написали много хорошего ассемблерного кода, с SSE и AVX, но проблема не в том что кто-то уходит, а надо переносить все на другую архитектуру, и это очень больно
UD
На условные армы не сложно переносится
UD
Правда зачем проваливаться на уровень ассемблера, когда у интела полно оберток