В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 October 27

O

Oleg in Moscow Spark
Коллеги, если нужно из одной таблицы вычитать записи по диапазону ключей, отправить все это в экзекутор, пото уже на нем по этому же диапазону прочитать из другой таблицы и локально записи сравнить, правильно я понимаю, что я делаю foreachPartitions там вытягиваю записи второй таблицы и в цикле сравниваю?
источник
01:27пожаловаться#1

ЕГ

Евгений Глотов... in Moscow Spark
лучше диапазон ключей замапить на какой-то новый ключ, и поджойнить обе таблицы по нему
источник
01:28пожаловаться#2

O

Oleg in Moscow Spark
А для чего маппить?
источник
01:43пожаловаться#3

ЕГ

Евгений Глотов... in Moscow Spark
ну в смысле новую колонку просто создать, в которой каждый диапазон будет каким-то ID обозначен
источник
01:50пожаловаться#4

ЕГ

Евгений Глотов... in Moscow Spark
чтобы обойтись чистым sql вместо сваливания в низкоуровневый перебор
источник
01:50пожаловаться#5

O

Oleg in Moscow Spark
Ну у меня задача найти дифф так что без перебора не обойтись
источник
01:57пожаловаться#6

O

Oleg in Moscow Spark
Ну если udf конечно не относить к чистому sql)
источник
02:00пожаловаться#7

ЕГ

Евгений Глотов... in Moscow Spark
а в чём проблема сделать дифф на sql?
источник
03:35пожаловаться#8
2019 October 29

C

Combot in Moscow Spark
Newsletter has been banned! Reason: CAS ban.
источник
09:17пожаловаться#9

PK

Pavel Klemenkov in Moscow Spark
Scalalaz #72 с гостями из NVidia.

Ребята расскaжут о том, как они используют GPU и Spark и что они на самом деле не из МВидео: https://scalalaz.ru/series-72.html Мы пытаемся немного эксперментировать с форматами и решили завести Discord канал, что бы писаться и общаться по теме эфира: https://discord.gg/RnugmrU
Discord
Join the Scalalaz Discord Server!
Check out the Scalalaz community on Discord - hang out with 134 other members and enjoy free voice and text chat.
источник
17:41пожаловаться#10

PK

Pavel Klemenkov in Moscow Spark
Потерли тут с @tenKe @pomadchin @krivdathetriewe про Spark на GPU и прочие ништяки)
источник
17:42пожаловаться#11

AK

Alexander Kondrashki... in Moscow Spark
всем привет!
кто-нибудь знает, из-за чего может такое поведение происходить? в колонке тройка точно одна и файл считывался с кастованием всей колонки к строковому типу
источник
18:19пожаловаться#12

AK

Alexander Kondrashki... in Moscow Spark
2019-10-29_18-16-06.png
(19.23 Кб)
источник
18:19пожаловаться#13

AK

Alexander Kondrashki... in Moscow Spark
2019-10-29_18-16-22.png
(15.23 Кб)
источник
18:19пожаловаться#14

ЕГ

Евгений Глотов... in Moscow Spark
А что не так?
источник
18:23пожаловаться#15

ЕГ

Евгений Глотов... in Moscow Spark
Вроде одна запись и там, и там
источник
18:23пожаловаться#16

AK

Alexander Kondrashki... in Moscow Spark
вопрос скорее в том, почему он на числовую запись фильтрует тоже, когда колонка строковая полностью
источник
18:24пожаловаться#17

ЕГ

Евгений Глотов... in Moscow Spark
А он числовую конвертирует в строку
источник
18:38пожаловаться#18

AK

Alexander Kondrashki... in Moscow Spark
не очевидно)
источник
18:39пожаловаться#19

AK

Alexander Kondrashki... in Moscow Spark
спасибо
источник
18:40пожаловаться#20