AP
Там много живого и активного, чего вы уж так
Size: a a a
2021 April 08
N
Это точно.Чего только Apache Spark, Apache Kafka стоят .сейчас Кафка почти в каждой IT организации.
N
Спарк в каждой второй )
N
Меня вот давно "мучает " вопрос распределенной очереди , которая бы скейлилась горизонтально и было возможно создать в одном кластере миллиард очередей ! Можно ли вообще такую сделать. Ближе всего к этому Pulsar, но он только 2 миллиона очередей поддерживает. Интересно осознать что препятствует реализации, которая бы выдерживала миллиард . Поделитесь мыслями.
RS
Скорее упрешься в ресурсы для обработки партиционированной очереди, чем в лимит на кол-во партиций
S
RedPanda ;)
но миллиард топиков, это как то дофига =) что в них? по одному сообщению?
но миллиард топиков, это как то дофига =) что в них? по одному сообщению?
N
У redpanda пишут ,что как и пульсара лимит примерно 2 000 000+. Они скорее всего мерили это ,если прям так пишут. Наверное знают во что упираются. Я поищу. Спасибо. Да ,в основном очень маленькие очереди будут. Но такой продукт упростил бы дизайн некоторых систем
N
Интересно. Они пишут ,что у них нет лимита на # of subjects.
N
Мне кажется, ответ на твой вопрос - USL
N
Звучит круто. USL - это Universal Scalability Law ? Нашел статью на 50 страниц. Не слышал до сегодняшнего дня про это правило. Спасибо ! Не уверен , что осилю все прочесть ). Если кратко , то какой можно сделать вывод из этого правила и желания иметь 1 миллиард топиков ?
N
методичка от Baron Shwartz? она очень крутая, да
N
вывод - надо помоделировать и прикинуть, сколько машин для этого потребуется
PR
а ссылку на почитать?
N
А чуть выше что? :)
AK
Привет всем. А тут можно делиться ссылками на всякие конкурсы, сертификации и так далее?
Не в смысле я организую и хочу привлекать туда народ, а в смысле может кому пригодится.
Не в смысле я организую и хочу привлекать туда народ, а в смысле может кому пригодится.
PR
я бы спросил @lynxed, но если это не реклама - ИМХО, имеет смысл
AK
В общем, я на рассылку от udacity подписан, и сейчас письмо пришло, что они с SUSE конкурс запускают на обучение. Это называется scholarship, это такой конкурс/розыгрыш/соревнование на бесплатное обучение.
AK