В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 April 15

DG

Denis Gabaydulin in Moscow Spark
Anton Alekseev
Получается из-за этого ("читать придеться целиком") такое (одна) количество партиций для одного csv получается, верно?
Тут речь о том , что допустим тебе нужна всего пара-тройка колонок, но в csv формате данные хранятся построчно. Чтобы их прочитать и допустим отфильтровать, надо будет разжать всю строку целиком, распарсить ее, чтобы вытащить нужные колонки. По сравнению с колоночным форматом, это очень неэффективно.
источник
19:21пожаловаться#1

DG

Denis Gabaydulin in Moscow Spark
Во-вторых, нет никакой информации о том где именно в файле или файлах хранятся нужные данные. Поэтому искать придеться везде.
источник
19:23пожаловаться#2

DG

Denis Gabaydulin in Moscow Spark
Партиции помогут, но не сильно. В конечном итоге все зависит от того, что вы делаете с данными.
Есди ваши данные помещаются на одну машину и вы их просто загружаете в память целиком, то может быть спарк и не нужен?
источник
19:25пожаловаться#3

ЕГ

Евгений Глотов... in Moscow Spark
Denis Gabaydulin
Партиции помогут, но не сильно. В конечном итоге все зависит от того, что вы делаете с данными.
Есди ваши данные помещаются на одну машину и вы их просто загружаете в память целиком, то может быть спарк и не нужен?
источник
19:27пожаловаться#4

DG

Denis Gabaydulin in Moscow Spark
Мем не понял)
источник
19:27пожаловаться#5

ЕГ

Евгений Глотов... in Moscow Spark
"Как это спарк не нужен?")
источник
19:27пожаловаться#6

ЕГ

Евгений Глотов... in Moscow Spark
Переписывать на спарк в 2 раза дольше, чем писать сразу на спарке)
источник
19:28пожаловаться#7

AA

Anton Alekseev in Moscow Spark
Denis Gabaydulin
Партиции помогут, но не сильно. В конечном итоге все зависит от того, что вы делаете с данными.
Есди ваши данные помещаются на одну машину и вы их просто загружаете в память целиком, то может быть спарк и не нужен?
Это тесты были, и в память все равно не поместилось, как я выше описал))
источник
19:31пожаловаться#8

DG

Denis Gabaydulin in Moscow Spark
Немного странный вопрос будет.
Кто-нибудь пробовал сделать REST-сервис со Spark внутри?

Не путать со spark jobserver.

Суть в том, что иногда, хочется сделать сервис, который предназначен для внутреннего использования. То есть ответа можно и подождать, запросов мало.

Я пробовал сделать на spring boot, но там всплыло столько проблем, в том числе и с зависимостями, что я забил.

И вот интересно, кто-то смог?
источник
19:47пожаловаться#9

DG

Denis Gabaydulin in Moscow Spark
Завел в итоге на HIVE (tez).
источник
19:48пожаловаться#10
2019 April 16

N

Nikolay in Moscow Spark
Denis Gabaydulin
Немного странный вопрос будет.
Кто-нибудь пробовал сделать REST-сервис со Spark внутри?

Не путать со spark jobserver.

Суть в том, что иногда, хочется сделать сервис, который предназначен для внутреннего использования. То есть ответа можно и подождать, запросов мало.

Я пробовал сделать на spring boot, но там всплыло столько проблем, в том числе и с зависимостями, что я забил.

И вот интересно, кто-то смог?
А что значит такой сервис. Я не понял где он должен выполняться на драйвере или экзекьюторе и что должен возвращать
источник
11:23пожаловаться#11

DG

Denis Gabaydulin in Moscow Spark
На драйвере.
Пришел запрос. Поискали спарком данные в hdfs. Выгрузили на драйвер, отдали в виде json.
источник
11:24пожаловаться#12

PK

Pavel Klemenkov in Moscow Spark
Denis Gabaydulin
На драйвере.
Пришел запрос. Поискали спарком данные в hdfs. Выгрузили на драйвер, отдали в виде json.
https://github.com/Hydrospheredata/mist
GitHub
Hydrospheredata/mist
Serverless proxy for Spark cluster. Contribute to Hydrospheredata/mist development by creating an account on GitHub.
источник
11:28пожаловаться#13

PK

Pavel Klemenkov in Moscow Spark
Denis не то?
источник
11:28пожаловаться#14

AI

Andrei Iatsuk in Moscow Spark
Denis Gabaydulin
Немного странный вопрос будет.
Кто-нибудь пробовал сделать REST-сервис со Spark внутри?

Не путать со spark jobserver.

Суть в том, что иногда, хочется сделать сервис, который предназначен для внутреннего использования. То есть ответа можно и подождать, запросов мало.

Я пробовал сделать на spring boot, но там всплыло столько проблем, в том числе и с зависимостями, что я забил.

И вот интересно, кто-то смог?
А в чем собственно проблема? Я на прошлой работе делал. Только без спринга, на чистом jetty.
источник
11:45пожаловаться#15

N

Nikolay in Moscow Spark
А почему не на akka http?
источник
11:52пожаловаться#16

AI

Andrei Iatsuk in Moscow Spark
Потому что нужно было очень срочно (как всегда), а с akka тогда я ещё не имел опыта. Ну и jetty хватало на задачи.
источник
11:58пожаловаться#17

И

Иван in Moscow Spark
Denis Gabaydulin
Немного странный вопрос будет.
Кто-нибудь пробовал сделать REST-сервис со Spark внутри?

Не путать со spark jobserver.

Суть в том, что иногда, хочется сделать сервис, который предназначен для внутреннего использования. То есть ответа можно и подождать, запросов мало.

Я пробовал сделать на spring boot, но там всплыло столько проблем, в том числе и с зависимостями, что я забил.

И вот интересно, кто-то смог?
Делали на vert.x
источник
16:55пожаловаться#18

DG

Denis Gabaydulin in Moscow Spark
Ого, я смотрю один я такой неудачник :-)
А напишите тогда, какие были трудности и были ли?
Насколько стабильно это работает?
источник
16:57пожаловаться#19

AS

Andrey Smirnov in Moscow Spark
Denis Gabaydulin
Немного странный вопрос будет.
Кто-нибудь пробовал сделать REST-сервис со Spark внутри?

Не путать со spark jobserver.

Суть в том, что иногда, хочется сделать сервис, который предназначен для внутреннего использования. То есть ответа можно и подождать, запросов мало.

Я пробовал сделать на spring boot, но там всплыло столько проблем, в том числе и с зависимостями, что я забил.

И вот интересно, кто-то смог?
а в чем проблема, мы делали над akka.http и даже над play
источник
16:57пожаловаться#20