Size: a a a

2021 January 06

В

Вячеслав in Data Engineers
Но это не бигдата, конечно. :)
источник

AZ

Anton Zadorozhniy in Data Engineers
для топиков с метаданными часто одна партиция
источник

AZ

Anton Zadorozhniy in Data Engineers
в том числе вроде у самой конфлюент, например топик _schemas
источник

N

Nikolay in Data Engineers
кто знает почему кролик может до 10миллионов очередей на ноду держать?
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
кто знает почему кролик может до 10миллионов очередей на ноду держать?
«Держать?»
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну transient queue это просто метаданные в памяти, чо там держать
источник

AZ

Anton Zadorozhniy in Data Engineers
По моему опыту кролики умирают после 10К/сек персистент сообщений на сервер (и дальше увеличение сервера не помогает, там в мнезии где-то локи)
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
для топиков с метаданными часто одна партиция
Ну дебезиум еще всякий
источник

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
По моему опыту кролики умирают после 10К/сек персистент сообщений на сервер (и дальше увеличение сервера не помогает, там в мнезии где-то локи)
это если hdd, в случае ssd границу можно подвинуть
источник

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
это если hdd, в случае ssd границу можно подвинуть
не драматично, я в дикой природе не видел больше 25К/сек
источник

N

Nikolay in Data Engineers
а как он персистит? это в конечном итоге выливается в рэндомные чтения?
источник

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
не драматично, я в дикой природе не видел больше 25К/сек
да, я больше 20 не видел, но и это довольно много, все таки rabbit это не кафка, другой сценарий использования
источник

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
да, я больше 20 не видел, но и это довольно много, все таки rabbit это не кафка, другой сценарий использования
там больше проблема что НА разваливается часто
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
а как он персистит? это в конечном итоге выливается в рэндомные чтения?
да
источник

N

Nikolay in Data Engineers
а есть ли описание этого? или по каким словам нужно погуглить?
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
а есть ли описание этого? или по каким словам нужно погуглить?
источник

AZ

Anton Zadorozhniy in Data Engineers
и код, красивый код на эрланге, читать - одно удовольствие
источник

N

Nikolay in Data Engineers
спасибо
источник

N

Nikolay in Data Engineers
а если не персистеть? сколько в секунду можно достичь?
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
и код, красивый код на эрланге, читать - одно удовольствие
Я вот читал читал и в скалу попал
источник