Size: a a a

2021 January 06

DZ

Dmitry Zuev in Data Engineers
Nikolay
а если не персистеть? сколько в секунду можно достичь?
Сколько /dev/null выдержит
источник

AZ

Anton Zadorozhniy in Data Engineers
вот не знаю, без персистенса это request/response с реплеем с приложения, я такой сценарий давно не видел через кролика
источник

I

ILYA in Data Engineers
Anton Zadorozhniy
там больше проблема что НА разваливается часто
Сори что вмешиваюсь ) А там относительно недавно quorum queue появились, отказоустойчивость на основе протокола Raft , все хочу фидбек от кого нибудь получить, насколько они лучше чем обычные и есть ли какие то подводные камни.
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
ILYA
Сори что вмешиваюсь ) А там относительно недавно quorum queue появились, отказоустойчивость на основе протокола Raft , все хочу фидбек от кого нибудь получить, насколько они лучше чем обычные и есть ли какие то подводные камни.
В кролике?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
источник

I

ILYA in Data Engineers
Ага это
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
У нас нет больших нагрузок в de, чтоб протестить нормально 🤔
источник

SS

Sergey Sheremeta in Data Engineers
коллеги, привет! подскажите, кто-то настраивал мониторинг спарковых заданий в HDP (spark v2.3) через banzaicloud prometheus sink?
источник

AZ

Anton Zadorozhniy in Data Engineers
ILYA
Сори что вмешиваюсь ) А там относительно недавно quorum queue появились, отказоустойчивость на основе протокола Raft , все хочу фидбек от кого нибудь получить, насколько они лучше чем обычные и есть ли какие то подводные камни.
Я знаю, но это новая фича, я не встречал в дикой природе; сейчас тренд out-of-order ack делать на pulsar
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
Я знаю, но это новая фича, я не встречал в дикой природе; сейчас тренд out-of-order ack делать на pulsar
А что есть почитать
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
А что есть почитать
источник

DZ

Dmitry Zuev in Data Engineers
Да нее
источник

DZ

Dmitry Zuev in Data Engineers
Про пульсар
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
Про пульсар
В документации и примерах ищите negative acknowledgment
источник

DZ

Dmitry Zuev in Data Engineers
Яннп. Что такое нак в кролике я  знаю
источник

DZ

Dmitry Zuev in Data Engineers
Про out of order и pulsar
источник

DZ

Dmitry Zuev in Data Engineers
Сорян, понял
источник

DZ

Dmitry Zuev in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
DLQ в пульсаре тож есть
источник

SS

Sergey Sheremeta in Data Engineers
Sergey Sheremeta
коллеги, привет! подскажите, кто-то настраивал мониторинг спарковых заданий в HDP (spark v2.3) через banzaicloud prometheus sink?
ладно, перефразирую вопрос: кто-то настраивал или видел примеры кастомных сервисов под Ambari, с помощью которых деплоятся дополнительные джарники/конфиги для Спарка?
источник