Size: a a a

2020 May 23

АП

Александр Попов... in pro.python
Andrey Baksalyar
Господа, пытаюсь конфигурировать воркеры Celery удаленно и не могу понять, как прислать таск определенному воркеру БЕЗ использования очередей, просто по имени воркера. Гугл предлагает только варианты с назначением каждому воркеру отдельной очереди, что очень тупо
А что тут тупого?
источник

AB

Andrey Baksalyar in pro.python
Александр Попов
А что тут тупого?
Хммм. Т.е. норм, что на 1000 воркеров будет 1000 отдельных очередей?
источник

AB

Andrey Baksalyar in pro.python
Это не принесет каких-то лишних оверхедов?
источник

АП

Александр Попов... in pro.python
Andrey Baksalyar
Хммм. Т.е. норм, что на 1000 воркеров будет 1000 отдельных очередей?
А зачем тебе конкретно между воркерами руками задачи делить?
источник

AB

Andrey Baksalyar in pro.python
Александр Попов
А зачем тебе конкретно между воркерами руками задачи делить?
Ну у меня задача специфическая, требуется инициализировать каждый воркер, проверить, что он работает как надо, а потом уже раздавать всем обычные таски.
источник

AB

Andrey Baksalyar in pro.python
В принципе, сейчас все прекрасно с кастомным воркером работает, но интересно перевести на рельсы селери
источник

АП

Александр Попов... in pro.python
Andrey Baksalyar
Ну у меня задача специфическая, требуется инициализировать каждый воркер, проверить, что он работает как надо, а потом уже раздавать всем обычные таски.
Очень странный кейс проверять что воркеры сельдерея работают норм на уровне тасок
источник

АП

Александр Попов... in pro.python
Он там ими рулит вертит как хочет ну или как настроишь
источник

AB

Andrey Baksalyar in pro.python
+ необходимо в будущем следить за этими обработчиками, собирать статистику, перезапускать их и т.д.
источник

AB

Andrey Baksalyar in pro.python
В общем, пока единственный варик это лепить очереди на каждый воркер, подписывая его и на свою персональную, и на общие, но как-то это криво очень.
источник

AB

Andrey Baksalyar in pro.python
Александр Попов
Он там ими рулит вертит как хочет ну или как настроишь
Ну я понимаю, что он рулит и вертит. Мне просто больше контроля необходимо
источник

АП

Александр Попов... in pro.python
Andrey Baksalyar
Ну я понимаю, что он рулит и вертит. Мне просто больше контроля необходимо
Тогда идеальный вариант не использовать сельдерей и писать что то свое
источник

AB

Andrey Baksalyar in pro.python
Так уже, ну ок. Буду думать, спасибо!
источник

БГ

Бензофуран Гетероцик... in pro.python
Александр Попов
Тогда идеальный вариант не использовать сельдерей и писать что то свое
Казалось бы причём тут asyncio)
источник

 P

 ‌‌Gleb Pilipets... in pro.python
Если я буду использовать multiprocessing.Pool(cnt_count) для вызова f(x) n раз, то как мне гарантировать, что не более cnt_count вызовов f(x) одновременно?
Или это так и будет?
источник

 P

 ‌‌Gleb Pilipets... in pro.python
В моём случае f(x) будет открывать файловые дескрипторы и не хотелось бы получить краш из-за открытия сотен одновременнно...
источник
2020 May 24

 P

 ‌‌Gleb Pilipets... in pro.python
 ‌‌Gleb Pilipets
В моём случае f(x) будет открывать файловые дескрипторы и не хотелось бы получить краш из-за открытия сотен одновременнно...
Например, я создаю тредпул с cnt_count потоками, то сколько одновременных вызовов функции f может быть?
Может, ли их быть больше чем количество потоков?(По факту симуляция многопоточности на одном ядре, но мне такое не нужно).

Я хочу огранить количество одновременных вызовов функции количеством созданных потоков...
источник

l

lyagushka in pro.python
Всем привет
источник

l

lyagushka in pro.python
Может кто-нибудь знает или разбирается в Python`e, то такой вопрос(он глупый), как сделать так, чтобы функция сработала только 1 раз?
Пробовал искать в интернете, ютубе и т.д.,
но, к сожелению, не нашёл
источник

p

paulwinex in pro.python
lyagushka
Может кто-нибудь знает или разбирается в Python`e, то такой вопрос(он глупый), как сделать так, чтобы функция сработала только 1 раз?
Пробовал искать в интернете, ютубе и т.д.,
но, к сожелению, не нашёл
зависит от контекста, вариантов решений несколько. Если это метод класса то оч легко сделать триггер. Если просто функция то декоратором тоже не сложно сделать. И что значит только 1 раз? Что она будет делать при последующих вызовах? Что возвращать? Надо конкретней задачу
источник