Size: a a a

2021 November 17

T

Tishka17 in Python
Note that the worker will acknowledge the message if the child process executing the task is terminated (either by the task calling sys.exit(), or by signal) even when acks_late is enabled.
источник

CS

Champagne Squirt in Python
В запущенном воркере смотри, там есть удобный функционал по получению данных о тасках.
источник

A

Alex in Python
А вот это уже интересно
источник

R

Roman in Python
ну я выполняю keys * в redis-cli и не вижу там новых элементов, а как таска завершилась, то появляется новый элемент
источник

T

Tishka17 in Python
источник

R

Roman in Python
если воркер не запущен, то таски должны же в redis появлятся, так ?
источник

CS

Champagne Squirt in Python
Ну, чисто теоритечески они могут там остаться если завершить воркер
источник

T

Tishka17 in Python
такси появляются в редисе когда ты их кладешь туда. Если воркер запущен от оттуда начинает их брать и удалять в зависимоти от acks_late и загрузки
источник

ИВ

Илья Власов... in Python
А ты уверен, что у тебя таски не появляются в редисе на пару милисекунд и потом оттуда сразу же забираются и добавляются в виде результата после выполнения?
источник

CS

Champagne Squirt in Python
В "запущенном воркере" я имел ввиду приложение celery, гугли celery control.inspect()
источник

R

Roman in Python
я потушил все запущенные celery, оставил только django в котором дёргаю только одну апи которая запускает функцию run_mechanical_calculations.delay(task.data) , как я понимаю в этот момент и записывает celery в redis новую задачу
источник

R

Roman in Python
понял.
источник

EM

Echo Man in Python
Всем привет! Если что, правила прочитал😇

Сабж:
Ищу специалистов, кто может помочь с нетривиальным парсингом нескольких ресурсов.
Бюджет на проект 500-1000$.
ТЗ по парсингу готово и отправлю его сразу же всем заинтересованным. Прошу писать в ЛС, кто готов взяться за проект по парсингу. Спасибо
#парсинг #удаленка #проект
источник

T

Tishka17 in Python
нетривиальный парснг - это как?
источник

R

Roman in Python
127.0.0.1:6379> keys *
1) "celery"
2) "celery-task-meta-3de316fe-7af8-4466-8d3d-f66370accd88"
3) "_kombu.binding.celery"
4) "unacked_index"
5) "_kombu.binding.celery.pidbox"
6) "unacked"
7) "celery-task-meta-e6e11710-7315-4211-a5f6-419ff7f4a4eb"
8) "celery-task-meta-34f0d62d-c057-4747-8b0d-8ebacdea96f4"


вот ключи которые записывает celery. в ключе celery и хранятся задачи которые не начались.  если брать через mget celery, то redis тебе отдаёт (nil) и я подумал что там пусто. а вот есть через LRANGE celery 0 10, то отдаст объект json в котором в поле body будет значение в base64 как раз то что ты передаёшь в celery задачу входными параметрами
источник

EM

Echo Man in Python
Это значит, что у проекта, который нужно парсить нет sitemap, структуры или внутренней перелинковки страничек, с которых собственно нужно собирать инфу. Тут нужно придумать решение. Подробнее в ЛС
источник

DK

Dima K in Python
И как его придумать?
источник

EM

Echo Man in Python
Гугл, словарь, ещё какие-то варианты. Почему этот вопрос адресован мне?
источник

EM

Echo Man in Python
Подробности в ЛС
источник

CS

Champagne Squirt in Python
Наверняка регэкспы
источник