только если лондонская удаленка, не российская явно

да даже на штаты или европу работать из Лондона такое себе

ну, под удаленкой я имел в виду US

ну или 6+ К получать

на европу работать в лондоне прямо плохо

да, по рос зарплатам в лондоке прямо скажем не проживешь

ну и зависит от того, сколько тебе денег надо то

как искали? На линкедине?

мне кажется искать в Лондоне прибыв на местоо гораздо проще

Твиттер и знакомые знакомых

Линкедин должен сработать тоже

🤔

привет, поделюсь своим опытом использования lowkiq.

У нас есть несколько веб-приложений, которые интенсивно обмениваются между собой данными.

1. Отправитель может слать пачки пакетов, в котором саггрегировано несколько обновлений объектов.
Порядок гарантируется временем события, оно (редко, но бывает) совпадает до миллисекунд даже для одного объекта.
Sidekiq их обработает параллельно, данные сохранятся в случайном порядке с дедлоками.
Sidekiq-grouping не поможет при интенсивных обменах (https://github.com/bia-technologies/lowkiq#sidekiq). Часть пакетов может обрабатываться параллельно.

Lowkiq упорядочит данные и обработает события в рамках уникального ключа последовательно.

2. Можно обрабатывать только последний пакет, исключая дубли.
Отложенная обработка + исключение дублей = снижение нагрузки.  


3. Фича sidekiq pro, когда задачи не теряются при падении сайдкика.

4. В админке есть lag - отставание в обработке. Можно настроить мониторинг, сигнализировать о проблемах.
Это иногда точнее количествава задач в очереди.


Будем признательны за обратную связь, замечания, дополнения.
В библиотеку было вложено много сил. Считаю, что ее ценность выходит далеко за рамки одной компании.

а почему не поднять кафку? порядок в топике рещает кучу проблем и не пришлось бы свое городить 🤔

просто интересно, ничего переписывать не нужно и круто что сделали библиотеку

Разработчики привыкли к sidekiq. Хочется UI. Кафка из коробки не умеет ретраи. А схема работы напоминает кафку. Но у нас не FIFO очередь. Например задачи умеют объединяться. Посмотрите внимательно ридми.

в компании был опыт внедрения кафки. у нее свои проблемы, сталкивались с утечкой очередей, например. Ее нужно уметь готовить..

а расскажи про утечку пожалуйста

видимо, имелось ввиду  

2. Можно обрабатывать только последний пакет, исключая дубли. 
Отложенная обработка + исключение дублей = снижение нагрузки.

Точно не скажу. Внедряли в другом отделе. По-моему, забывали подчищать партиции.