R
в таске простой прямой как палка вызов 3-ей системы, без какой либо MQ и ограничения нагрузки
Size: a a a
2021 October 04
ММ
ну у меня в модели все на external task... изначально делалось... и поэтому все асинхронно, и поэтому execution workers практически всегда свободны - их задача только проталкивать задачу дальше и дальше ждать коммит и снова проталкивать дальше, исключением является scriptы groovy которые просто конвертируют данные от одного запроса к следующему.
SD
я так понимаю, тут уже речь про обычные таски, а не external?
R
ну вот у нас там еще получилось некое подобие ограничителя нагрузки, т.е. воркеры исполняют таски не сразу массово пачкой, а выгребают
ММ
Кстати реакция workers напрямую связана с параметрами excution job workers. Они не так чтобы ждут всю пачку. Если идет повторный запрос на наличие tasks они появляються и в воркерах - поэтому приходиться часто обращаться к таблицам
SD
Максим, ты сейчас про job executor?
ММ
то есть у меня вот это стоит:
ММ
<property name="waitTimeInMillis">5</property>
<property name="maxWait">50</property>
<property name="lockTimeInMillis">300000</property>
<property name="backoffTimeInMillis">30</property>
<property name="maxBackoff">150</property>
<property name="maxWait">50</property>
<property name="lockTimeInMillis">300000</property>
<property name="backoffTimeInMillis">30</property>
<property name="maxBackoff">150</property>
ММ
Чем ниже параметры тем быстрее воркеры получают свои задачи
SD
А понял, все таки про лонг поллинг)
R
именно про ext tasks. Fetch & полезный код задачи просто в одном потоке исполняются (на самом деле нет, но ожидание есть)
ММ
по факту у меня postgress спамиться однотипными запросами каждые 10 ms
ММ
и как только job executor увидел новую задачу она мгновенно видна и на worker
ММ
даже если она одна и пачка (а у меня стоит до 100 задач в пачке) еще не запонена
SD
Ну вот в этом сценарии есть масса вариантов. 1 поток который делает fetch&lock и N потоков воркеров. Если у вас идет запрос на сторонний сервис и вызов лочится. То можно глянуть в сторону реактивщины. Например, project reactor.
OM
сочувствую PG)
ММ
Ну что там сочувствовать - это 1 процесс который получает условно 100 запросов к БД в секунду, который выгребает 0-1 записи обычно н каждый запрос но при пиках больше
ММ
Грузит аж 3 процента процессорного времени одного процессора :)))
R
возможно у вас слишком много слушайтелей-воркеров, там вроде раз в 1сек я видел опрос БД
R
fetchAndLock позволяет запросить таски по нескольким топикам сразу