В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 August 06

GA

Gleb Abroskin in Data Engineers
Anton Zadorozhniy
Ну у вас стейт как-то внутри структурирован? Какая-то hashmap где что-то хранится, иногда обновляется - храните построчно в базе, обновляйте построчно, да при холодной записи базе придётся вытащить все, но вы же не каждую минуту холодного воркера выдаете?
нет, это просто гигантский бинарь для алгоритма внутри executor’a
источник
15:09пожаловаться#1

GP

Grigory Pomadchin in Data Engineers
а проблема стейта может решаться и встроеными чекпойнтами (правда очень плохо) но для POC, почему нет?
источник
15:09пожаловаться#2

AZ

Anton Zadorozhniy in Data Engineers
Gleb Abroskin
нет, это просто гигантский бинарь для алгоритма внутри executor’a
Это DL модель? Ну для этого все уже готовое есть
источник
15:10пожаловаться#3

GA

Gleb Abroskin in Data Engineers
Anton Zadorozhniy
Это DL модель? Ну для этого все уже готовое есть
хз, HNSW это DL или нет, но там он
источник
15:10пожаловаться#4

GA

Gleb Abroskin in Data Engineers
Anton Zadorozhniy
Это DL модель? Ну для этого все уже готовое есть
да, можно рассматривать как DL модель, я думаю
источник
15:11пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
HNSW это граф вроде бы, но суть та же
источник
15:13пожаловаться#6

GA

Gleb Abroskin in Data Engineers
Anton Zadorozhniy
Это DL модель? Ну для этого все уже готовое есть
да, идея одна. А можно, пожалуйста, пример готовых решений, упомянутых тут?
источник
15:13пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
ну для DL есть TF Serving
источник
15:15пожаловаться#8

GA

Gleb Abroskin in Data Engineers
Anton Zadorozhniy
ну для DL есть TF Serving
это не совсем то, потому что просто позволяет сделать HTTP морду вокруг готовой tf модели и только tf, емнип, но спасибо за наводку
источник
15:22пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Gleb Abroskin
это не совсем то, потому что просто позволяет сделать HTTP морду вокруг готовой tf модели и только tf, емнип, но спасибо за наводку
ну вам конечно не подойдет, и там по-моему grpc внутри, но как концепция - норм
источник
15:22пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
Я думаю Spark для вашей задачи будет муторно использовать, да и судя по всему latency нужно будет маленький, я бы посмотрел на то чтобы написать самим на акке или на голанге
источник
15:24пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
Я думаю Spark для вашей задачи будет муторно использовать, да и судя по всему latency нужно будет маленький, я бы посмотрел на то чтобы написать самим на акке или на голанге
я там выше добавить хотел, не помню добавил или нет
что тут является аккой? ты имеешь ввиду распределнный акка кластер?
источник
15:25пожаловаться#12

GP

Grigory Pomadchin in Data Engineers
если да - то это может не решить проблемы; оно не всегда работает как ожидается
источник
15:26пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
Grigory Pomadchin
если да - то это может не решить проблемы; оно не всегда работает как ожидается
Это справедливо для любой нетривиальной технологии)
источник
15:26пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
Я имел в виду что чисто семантически это даже не потоковая обработка, это запрос-ответ с бизнес логикой, Спарк тут как корове седло (хотя история знает некоторое количество коров с седлами)
источник
15:27пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
Это справедливо для любой нетривиальной технологии)
возможно, но я конкретно про акку говорил; и акка тривиальна как раз

использовать ее муторно из-за этого
источник
15:27пожаловаться#16

GP

Grigory Pomadchin in Data Engineers
Anton Zadorozhniy
Я имел в виду что чисто семантически это даже не потоковая обработка, это запрос-ответ с бизнес логикой, Спарк тут как корове седло (хотя история знает некоторое количество коров с седлами)
тут согласен
источник
15:27пожаловаться#17

RI

Rustam Iksanov in Data Engineers
Инженеры! Подскажите. Запускаю  спарк джобу через spark submit. Через —jar указываю зависимость. В итоге джоба встает, а потом в логах сообщения вида: WARN ServletHandler: Error for /static/spark-logo-77x50px-hd.png при этом джоба складывает данные из паркетов в phoenix
источник
17:40пожаловаться#18

GP

Grigory Pomadchin in Data Engineers
Rustam Iksanov
Инженеры! Подскажите. Запускаю  спарк джобу через spark submit. Через —jar указываю зависимость. В итоге джоба встает, а потом в логах сообщения вида: WARN ServletHandler: Error for /static/spark-logo-77x50px-hd.png при этом джоба складывает данные из паркетов в phoenix
это ошибка юайки
юай работает?
источник
17:43пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
я бы ожидал что он еще дальше бы ругался на java.lang.NoSuchMethodError: javax.servlet.http...
источник
17:43пожаловаться#20