Телеграмм чат группы ru_python страница 69131

Size: a a a

Python

2021 November 17

Note that the worker will acknowledge the message if the child process executing the task is terminated (either by the task calling sys.exit(), or by signal) even when acks_late is enabled.

источник

14:43пожаловаться #1

Champagne Squirt in Python

В запущенном воркере смотри, там есть удобный функционал по получению данных о тасках.

источник

14:43пожаловаться #2

Alex in Python

А вот это уже интересно

источник

14:43пожаловаться #3

Roman in Python

ну я выполняю keys * в redis-cli и не вижу там новых элементов, а как таска завершилась, то появляется новый элемент

источник

14:44пожаловаться #4

Tishka17 in Python

https://docs.celeryproject.org/en/stable/userguide/tasks.html

источник

14:44пожаловаться #5

Roman in Python

если воркер не запущен, то таски должны же в redis появлятся, так ?

источник

14:44пожаловаться #6

Champagne Squirt in Python

Ну, чисто теоритечески они могут там остаться если завершить воркер

источник

14:46пожаловаться #7

Tishka17 in Python

такси появляются в редисе когда ты их кладешь туда. Если воркер запущен от оттуда начинает их брать и удалять в зависимоти от acks_late и загрузки

источник

14:46пожаловаться #8

ИВ

Илья Власов... in Python

А ты уверен, что у тебя таски не появляются в редисе на пару милисекунд и потом оттуда сразу же забираются и добавляются в виде результата после выполнения?

источник

14:47пожаловаться #9

Champagne Squirt in Python

В "запущенном воркере" я имел ввиду приложение celery, гугли celery control.inspect()

источник

14:48пожаловаться #10

Roman in Python

я потушил все запущенные celery, оставил только django в котором дёргаю только одну апи которая запускает функцию run_mechanical_calculations.delay(task.data) , как я понимаю в этот момент и записывает celery в redis новую задачу

источник

14:49пожаловаться #11

Roman in Python

понял.

источник

15:05пожаловаться #12

Echo Man in Python

Всем привет! Если что, правила прочитал😇

Сабж:
Ищу специалистов, кто может помочь с нетривиальным парсингом нескольких ресурсов.
Бюджет на проект 500-1000$.
ТЗ по парсингу готово и отправлю его сразу же всем заинтересованным. Прошу писать в ЛС, кто готов взяться за проект по парсингу. Спасибо
#парсинг #удаленка #проект

источник

15:07пожаловаться #13

Tishka17 in Python

нетривиальный парснг - это как?

источник

15:07пожаловаться #14

Roman in Python

127.0.0.1:6379> keys *
1) "celery"
2) "celery-task-meta-3de316fe-7af8-4466-8d3d-f66370accd88"
3) "_kombu.binding.celery"
4) "unacked_index"
5) "_kombu.binding.celery.pidbox"
6) "unacked"
7) "celery-task-meta-e6e11710-7315-4211-a5f6-419ff7f4a4eb"
8) "celery-task-meta-34f0d62d-c057-4747-8b0d-8ebacdea96f4"

вот ключи которые записывает celery. в ключе celery и хранятся задачи которые не начались. если брать через mget celery, то redis тебе отдаёт (nil) и я подумал что там пусто. а вот есть через LRANGE celery 0 10, то отдаст объект json в котором в поле body будет значение в base64 как раз то что ты передаёшь в celery задачу входными параметрами

источник

15:09пожаловаться #15

Echo Man in Python

Это значит, что у проекта, который нужно парсить нет sitemap, структуры или внутренней перелинковки страничек, с которых собственно нужно собирать инфу. Тут нужно придумать решение. Подробнее в ЛС

источник

15:09пожаловаться #16

Dima K in Python

И как его придумать?

источник

15:12пожаловаться #17

Echo Man in Python

Гугл, словарь, ещё какие-то варианты. Почему этот вопрос адресован мне?

источник

15:13пожаловаться #18

Echo Man in Python

Подробности в ЛС

источник

15:13пожаловаться #19

Champagne Squirt in Python

Наверняка регэкспы

источник

15:15пожаловаться #20