Или трифт.

Всем привет!
Физтех-школа прикладной математики и информатики МФТИ приглашает желающих на интенсив для DE на тему real-time обработка данных.

За 3 дня интенсива Вы научитесь:
- Разрабатывать приложения на Spark и запускать на реальном Hadoop-кластере;
- Строить pipelines обработки данных в реальном времени, используя Spark Structured streaming;
- Строить приложения потоковой обработки данных с помощью Kafka Streams;
Подробности см. здесь: https://fpmi-edu.ru/bigdataworkshops

Всем привет! Тут Смарт Дата грядет (не реклама). Топики довольно годные, да и Яцека пригласили, поэтому крайне рекомендую рассмотреть https://smartdataconf.ru/2021/spb/schedule/

Да и ещё пара необычных докладов про Спарк есть

Привет. Кто-то использовал Kyuubi? Как оно?
https://kyuubi.apache.org/docs/latest/overview/architecture.html

Total messages: 20114

Всем привет, можно ли как то добиться, чтобы в таске спарка была ровно 1 запись? Делаю repartition(больше числа строк в таблице), но все равно есть таски в которых более 1 строки

че нить типа мапПартишнс и внутри все элементы загоняешь в вектор

технически это будет партиция с 1 элементом

А ты с датафраймом или rdd работаешь ? Можно подсолить и работать с kv в rdd

Df, не оч понял . Т.е. нужен rdd, уникальный ключ и группировка?

Ну я не до конца понимаю задачу. Но в принципе да. Но тогда а тебя будет очень много партиций, лучше mapParti... и работать с ключем.

у меня немного строк (1000), для каждой строки питон удф запускается обучение модели. Если сделать немного тасков и мапПартишен, то кудато утекает память в питоновской либе (вероятно). Есть идея разбить 1 строка = 1 таска, тогда когда обучение закончилось, то процесс таски убьется и вся память питона почистится.

репартишен же разбивает спец функцией, а не просто так
по умолчанию вроде как там hash стоит

https://blog.clairvoyantsoft.com/custom-partitioning-spark-datasets-25cbd4e2d818

решается кастомным партишеном

дак если repartition по уникальному ключу и число строк меньше числа в репартишен, то как после хэша несколько строк в 1 партицию попадают? чет я не пойму

Уникальный ключ не гарантирует что хэши не будут совпадать

Условно hash(key)%num_part совпал и пошли они в одну партицию

Вы же не удивляетесь коллизиям в бакетах хэшмэпа, даже когда ключей меньше чем бакетов

понял, спс, буду смотреть тогда в сторону кастомного партишенера

кстати, можно чуть проще, через repartitionByRange - задать число партишенов = числу элементов, создалось честное число партишенов по 1 строке