Смотри что делает кнопка и делай это в скрапи

Коллеги, а как вы контролируете свои парсеры при запуске по крону? По таймаутам, ожидаемым размерам выходных файлов, через телнет консоль, через периодический парсинг логов? У меня парсер работает нормально, но иногда зависает по причине глюка авторизации прокси. После перезапуска все нормально работает. Вот как бы это детектить и перезапускать скриптом. Поделитесь опытом.

Можешь ловить ошибки авторизации в самом коде и останавливать парсер. Можно докером, к примеру, через healthcheck проверять. Можно автозапуск/регулярный запуск через systemd настроить

Спасибо

а как вьі запускаете в одном контейнере и логпарсер и скрапид ? nohup?

а можно использовать inline_requests в функции start_requests() ?

нет

не представляю зачем она там нужна

уточнить в POST запросе количество товаров для выдачи

ну так делай это в колбэке этого запроса

вообще что-то не удаеться запустить и лог парсер и скрейпид в одном контейнере

CMD ["tmux", "new-session", "-d", "-s", "my_session", "logparser"]
CMD ["scrapyd", "--pidfile="]

не может быть двух CMD, оно не для этого

ага...а как ето сделать то?

just RUN ?

или через баш скрипт, или скорее всего будет красивее сделать volume и туда второй контейнер присоеденить

но-но, я и так уже 16 часов на докер угробил) при том на етот СМД где-то уже 6

что б запустить вместе 😐

Если нужно быстро, просто атачнись к контейнеру и запусти что нужно. Но конечно оно не будет работать между запусками

всем доброго, пните, плз, в верном направлении.
Паук собираем данные в базу (MySQL), должен быть контроль уникальности (товар несколько раз присутствует в каталоге)
В холостую (без записи в базу) - ~4000 страниц в минуту
в боевом режиме - ~3000 страниц в минуту
так то 25% падение производительности....
что подскажите насчет ускорения? есть пара мыслей:
1. писать "сырые" данные в ту же монгу, потом преносить уже в базу с контролем уникальности
2. бросать данные на "прокладку", что то вроде Redis. т.е с одной сторны паук бросает данные и не ждет как они обработаются, а с другой стороны они потихоньку обрабатываются... Но тут я нубятина, почти полная. Не знаю, правильно я мыслю или полная ерись.

Так что, накидайте идеек :)

Да, пихай в бд через селери или рэббит.