B
А я думал, это agent для того чтобы хранить стейт. Genstage посмотрю, спасибо
Попробуй Broadway - понравится
Size: a a a
2020 August 09
Z
Попробуй Broadway - понравится
Спасибо, гляну. А, да,мне в итоге по результату обработки еще надо отправлять пуш уведомления, это же как раз для genstage? В producer запросы к апи, в producerconsumer обработка данных, и в consumer сохранение в бд и пуши?
Z
Попробуй Broadway - понравится
Это обертка над genstage, как я понял?
ŹR
Producerconsumer не нужен, и Broadway не нужен
ŹR
Broadway построен на events. Целесообразность превращения фида в виде Json в ивенты вызывает сомнения
Z
То есть просто сделать producer и consumer на genstage?
B
В Broadway есть batcher и rate limitor из коообки.
B
Плюс есть acknowledger
B
Обычно при работе с апи или кравлингом это оказывается очень полезным.
B
Ты можешь собирать ответы на батчере и потом их парсить через тот же flow
Z
У меня планируется около 100-500 запросов к апи в минуту, и возможно придется прикручивать прокси, Broadway для этого подойдет?
Z
Не слишком оверхед?
B
У меня кравлер на бродвеи с домашнего мака и инета 10-40 запросов в секунду делает.
B
Если нужно медленне тянуть там рейт лимит настраивается
B
У меня планируется около 100-500 запросов к апи в минуту, и возможно придется прикручивать прокси, Broadway для этого подойдет?
Прокси ты уже на http клиент прикручиваешь
Z
Да, на хттп. имеется ввиду, что если не получится с одного прокси, то запрос был отправлен с другого, с ротацией. Но это все уже мелочи, скорее всего
B
Да, на хттп. имеется ввиду, что если не получится с одного прокси, то запрос был отправлен с другого, с ротацией. Но это все уже мелочи, скорее всего
Это уже ты резедентные прокси покупай. Если будет ошибка, бродвей отправит обратно в очередь.
B
...Или не отправит. Все настраиваемо
ŹR
Обычно при работе с апи или кравлингом это оказывается очень полезным.
Вероятно, ты прав, и Broadway действительно может подойти в этом кейсе
Z
я правильно понимаю, что основные используемые запросы к бд надо писать не в schema а в context ?