В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 October 10

C

Combot in Moscow Spark
Alert has been banned! Reason: CAS ban.
источник
09:15пожаловаться#1
2019 October 11

DZ

Dmitry Zuev in Moscow Spark
Кто-нибудь работал с es-hadoop. Мне надо на каждую строку сделать пушдаун в ес, а результат приджоинить. все никак не могу придумать как бы это реализовать
источник
21:02пожаловаться#2

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
Dmitry Zuev
Кто-нибудь работал с es-hadoop. Мне надо на каждую строку сделать пушдаун в ес, а результат приджоинить. все никак не могу придумать как бы это реализовать
пушдаун в ес ? это значит на каждую строчку в df ты будешь делать запрос в эластик на поиск ?
источник
21:47пожаловаться#3

DZ

Dmitry Zuev in Moscow Spark
Так и хочу
источник
21:47пожаловаться#4

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
думаю, без mapPartitions и  REST не обойтись...
источник
21:50пожаловаться#5

DZ

Dmitry Zuev in Moscow Spark
Хитрую сабквери с нестед стракт?
источник
21:51пожаловаться#6

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
es-hadoop расчитан на запрос к es и  обработку результата как df или rdd, тебе же нужно на исходную df (сколько там строк?) формировать свой запрос
источник
21:54пожаловаться#7

DZ

Dmitry Zuev in Moscow Spark
Строк тысячи
источник
21:54пожаловаться#8

DZ

Dmitry Zuev in Moscow Spark
Что не очень много
источник
21:55пожаловаться#9

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
а результат каждого запроса ?
источник
21:55пожаловаться#10

DZ

Dmitry Zuev in Moscow Spark
х10
источник
21:55пожаловаться#11

DZ

Dmitry Zuev in Moscow Spark
Ну то есть хотелось бы джоин с пушдауном
источник
21:59пожаловаться#12

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
тогда делай collet на драйвере, для каждой строки формируй запрос в эластик с pushdown=true,  джойни....
источник
22:02пожаловаться#13

DZ

Dmitry Zuev in Moscow Spark
Пытался, с npe падает если во flatmap вызывать
источник
22:04пожаловаться#14

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
понял :)
источник
22:04пожаловаться#15

DZ

Dmitry Zuev in Moscow Spark
NPE?
источник
22:05пожаловаться#16

PK

Pavel Klemenkov in Moscow Spark
☭ ⤳ λ Shinkevich
понял :)
Null pointer error
источник
22:05пожаловаться#17

DZ

Dmitry Zuev in Moscow Spark
Exception
источник
22:05пожаловаться#18

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
понял, о другом думал....
источник
22:06пожаловаться#19

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
df.collect.flatmap ?
источник
22:06пожаловаться#20