В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 May 12

AZ

Anton Zadorozhniy in Data Engineers
Игорь Камынин
сейчас у меня вопрос больше по поводу возможно ли в приципе подобное?. Увеличить количесвто ресурсов мы всегда успеем)
ну делать мониторинг лага это прям много движущихся частей (хотя у меня есть клиент у которого автоскейлеры стоят на лаг.. думаю если вашим потребителям данным из кассандры не важна задержка обновления данных - то батч по крону это лучший вариант
источник
16:59пожаловаться#1

ИК

Игорь Камынин in Data Engineers
KrivdaTheTriewe
Вернее на стриминг повесить триггеред ванс
почитаю. Спасибо
источник
17:00пожаловаться#2

ИК

Игорь Камынин in Data Engineers
Anton Zadorozhniy
ну делать мониторинг лага это прям много движущихся частей (хотя у меня есть клиент у которого автоскейлеры стоят на лаг.. думаю если вашим потребителям данным из кассандры не важна задержка обновления данных - то батч по крону это лучший вариант
да, задержка не так важна. Спасибо
источник
17:01пожаловаться#3
2019 May 13

CO

Chern Oleksander in Data Engineers
Все привет, ищу человека, который имеет опыт в GameDev для создание DataDriven и создание аналитической БД.
Пишите в лычку. Всем спасибо !
источник
10:31пожаловаться#4

YI

Yukari I in Data Engineers
Data-driven gamedev? What kind of product do you developing?
источник
10:40пожаловаться#5

N

Nikolay in Data Engineers
Подскажите про каппа архитектуру. Так я понял , что мы убираем батчин лэйр и оставляем только стриминг лэйр. И в случае необходимости запускаем репроцессинг лога. Но ведь лог будет огромен. Вот про размер этого лога и вопрос. Может подразумевается, что мы считаем агрегаты и как бы делаем репроцессинг не всего лога ?
источник
10:59пожаловаться#6

A

Alex in Data Engineers
Yukari I
Data-driven gamedev? What kind of product do you developing?
да это же классика: накидаем в A/B экспериментов, одним покажем зеленые танцики, вторым красные, какой эксперимент выиграет пойдет для всех в прод в влед релизе =)
источник
11:05пожаловаться#7

A

Alex in Data Engineers
на выходе за счёт хомячков всё скатывается в ниграбельую…… но вот бабло приносит
источник
11:06пожаловаться#8

GG

George Gaál in Data Engineers
Nikolay
Подскажите про каппа архитектуру. Так я понял , что мы убираем батчин лэйр и оставляем только стриминг лэйр. И в случае необходимости запускаем репроцессинг лога. Но ведь лог будет огромен. Вот про размер этого лога и вопрос. Может подразумевается, что мы считаем агрегаты и как бы делаем репроцессинг не всего лога ?
нет. про агрегаты речи не шло (по крайней мере в общем случае)
источник
11:06пожаловаться#9

MB

Mikhail Butalin in Data Engineers
Yukari I
Data-driven gamedev? What kind of product do you developing?
do лишнее ;)
источник
11:11пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
Подскажите про каппа архитектуру. Так я понял , что мы убираем батчин лэйр и оставляем только стриминг лэйр. И в случае необходимости запускаем репроцессинг лога. Но ведь лог будет огромен. Вот про размер этого лога и вопрос. Может подразумевается, что мы считаем агрегаты и как бы делаем репроцессинг не всего лога ?
Каппа архитектура (как и лямбда до нее), по моему мнению 🙂 это не архитектура в том смысле что описывает компоненты и их взаимодействие, а архитектурная концепция вокруг определенного датафлоу, в этом смысле то как вы оптимизируете рекавери, расчеты неаддитивных агрегатов - это детали реализации
источник
11:13пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
в этом смысле если ваша бизнес-логика написана только под стриминг - значит у вас “каппа-архитектура”, и делайте чекпоинты, агрегаты или какие-то еще оптимизации как вам удобнее
источник
11:17пожаловаться#12

В

Влад in Data Engineers
image_2019-05-13_11-21-23.png
(165.5 Кб)
МОжет кто может подсказать, почему все валится?

спарк-сабмит — мастер к8s —мод клиент

ТО, что он роняет экзекьюторы, я вижу, но почему он так делает, не понимаю
источник
11:21пожаловаться#13

A

Alex in Data Engineers
там же написано: пытается зарегать внешний шафл сервер, но не получается
источник
11:34пожаловаться#14

A

Alex in Data Engineers
как хотфикс можешь сразу попробовать без него сразу
источник
11:35пожаловаться#15

A

Alex in Data Engineers
https://github.com/apache/spark/blob/master/docs/running-on-kubernetes.md#future-work
GitHub
apache/spark
Apache Spark. Contribute to apache/spark development by creating an account on GitHub.
источник
11:38пожаловаться#16

A

Alex in Data Engineers
вполне возможно до конца еще и не поддерживается он
источник
11:38пожаловаться#17

A

Alex in Data Engineers
https://banzaicloud.com/blog/spark-k8s-internals/

--conf spark.shuffle.service.enabled=true \
--conf spark.kubernetes.shuffle.namespace=default \
--conf spark.kubernetes.shuffle.labels="<shuffle selector labels>" \


если включен, то пару параметров еще нужно
Banzaicloud
The anatomy of Spark applications on Kubernetes · Banzai Cloud
Bringing cloud native to the enterprise, simplifying the transition to microservices on Kubernetes
источник
11:40пожаловаться#18

N

Nikolay in Data Engineers
George Gaál
нет. про агрегаты речи не шло (по крайней мере в общем случае)
Т.е сначала работы системы лог перепроцессим ?
источник
13:12пожаловаться#19

GG

George Gaál in Data Engineers
Nikolay
Т.е сначала работы системы лог перепроцессим ?
Ну, если нет чекпойнтов, то да
источник
13:14пожаловаться#20