Size: a a a

2019 October 27

O

Oleg in Moscow Spark
Коллеги, если нужно из одной таблицы вычитать записи по диапазону ключей, отправить все это в экзекутор, пото уже на нем по этому же диапазону прочитать из другой таблицы и локально записи сравнить, правильно я понимаю, что я делаю foreachPartitions там вытягиваю записи второй таблицы и в цикле сравниваю?
источник

ЕГ

Евгений Глотов... in Moscow Spark
лучше диапазон ключей замапить на какой-то новый ключ, и поджойнить обе таблицы по нему
источник

O

Oleg in Moscow Spark
А для чего маппить?
источник

ЕГ

Евгений Глотов... in Moscow Spark
ну в смысле новую колонку просто создать, в которой каждый диапазон будет каким-то ID обозначен
источник

ЕГ

Евгений Глотов... in Moscow Spark
чтобы обойтись чистым sql вместо сваливания в низкоуровневый перебор
источник

O

Oleg in Moscow Spark
Ну у меня задача найти дифф так что без перебора не обойтись
источник

O

Oleg in Moscow Spark
Ну если udf конечно не относить к чистому sql)
источник

ЕГ

Евгений Глотов... in Moscow Spark
а в чём проблема сделать дифф на sql?
источник
2019 October 29

C

Combot in Moscow Spark
Newsletter has been banned! Reason: CAS ban.
источник

PK

Pavel Klemenkov in Moscow Spark
Scalalaz #72 с гостями из NVidia.

Ребята расскaжут о том, как они используют GPU и Spark и что они на самом деле не из МВидео: https://scalalaz.ru/series-72.html Мы пытаемся немного эксперментировать с форматами и решили завести Discord канал, что бы писаться и общаться по теме эфира: https://discord.gg/RnugmrU
источник

PK

Pavel Klemenkov in Moscow Spark
Потерли тут с @tenKe @pomadchin @krivdathetriewe про Spark на GPU и прочие ништяки)
источник

AK

Alexander Kondrashki... in Moscow Spark
всем привет!
кто-нибудь знает, из-за чего может такое поведение происходить? в колонке тройка точно одна и файл считывался с кастованием всей колонки к строковому типу
источник

AK

Alexander Kondrashki... in Moscow Spark
источник

AK

Alexander Kondrashki... in Moscow Spark
источник

ЕГ

Евгений Глотов... in Moscow Spark
А что не так?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Вроде одна запись и там, и там
источник

AK

Alexander Kondrashki... in Moscow Spark
вопрос скорее в том, почему он на числовую запись фильтрует тоже, когда колонка строковая полностью
источник

ЕГ

Евгений Глотов... in Moscow Spark
А он числовую конвертирует в строку
источник

AK

Alexander Kondrashki... in Moscow Spark
не очевидно)
источник

AK

Alexander Kondrashki... in Moscow Spark
спасибо
источник