куда отправлялось?

ну в кафку например пишется стрим

из каунтов событий временного окна?

ага

Ну каунт по пустому дф же вернет 0, посылайте его в кафку

там не совсем пустой дф. группировка идёт по айди и по окну. в какой-то момент события для айдишника X перестают приходить в некотором окне и по идее он должен пропасть из стейта. в этот момент хочется, чтобы для таких айдишников отправлялся ивент с 0

Всем привет!) Помню тут было обсуждение о том, как изменить размер файлов в партишене, и что был разговор о том, что нельзя сразу угадать размер партишена, чтобы рассчитать размер файлов заранее. И был вариант писать в во временный партишен, чтобы узнать размер и потом уже считать размер файлов. Сейчас у меня проблема в том, что в партишене имеем много файлов 300-600кб, и надо сократить количество файлов). Подскажите были ли ещё какие то варианты решения проблемы, может в спарк 3?

Можно сделать repartition(part_col)

Будет 1 файл в папке)

ну так тоже бы не хотелось, было бы нормально иметь файлы размером стандартного блока)

и вроде как было что то из настроек spark submit-а в 3-ем спарке, но может я уже выдумал себе это)

Может это поможет https://dzone.com/articles/guide-to-partitions-calculation-for-processing-dat

гляну, спасибо☺️

Программа конференции для дата-инженеров SmartData 2021 готова!Программа конференции для дата-инженеров SmartData 2021 готова!SmartData 2021 готова!

11-14 октября вас будут ждать 33 доклада и 2 воркшопа, которые помогут пополнить арсенал инструментов, узнать о лучших практиках и сориентироваться в трендовых технологиях.

Темы конференции:
✔ Tooling: все об инструментах, которые используют в дата-инжиниринге;
✔ Spark: штука настолько востребованная, что о ней будет сразу три доклада;
✔ Processes: как организовать работу и процессы в команде;
✔ Storage: базы данных, SQL-движки и многое другое;
✔ Architecture: доклады об архитектуре и опыте работы с ней разных команд;
✔ Industry usecases: реальный опыт, боль, успехи и провалы коллег.
Кроме докладов и воркшопов, вас будут ждать дискуссионные зоны, возможность вернуться к записям докладов, розыгрыши и много других приятных плюшек.

Специально для нашего чата организаторы сделали промокод dataengineers2021JUGRUpc, который дает скидку на Personal Standard билет.

Заходите на сайт конференции за подробностями и билетами.

привет, подскажите, у spark-submit есть возможность в conf передать чтото свое —conf test=123? или только параметрами после класса?

можно, мне кажется оно spark неймспейсом ограничивается только

можно всякое прокидывать, да, не только параметрами

Он скажет типа чё вы мне подсунули, но работать будет

лушче отдельно конечно аргументы приложухи сетить)