AR
в редисе, ага
Size: a a a
2021 May 12
ΔΧ
linux CentOs
есть ли вариант запустить "scrapy crawl *spider*" через pm2?
или какие есть альтернативы для scrapy?
systemctl не заходит
есть ли вариант запустить "scrapy crawl *spider*" через pm2?
или какие есть альтернативы для scrapy?
systemctl не заходит
ΔΧ
"не нравится"
ΔΧ
именно 😅
еще на linux канале пожелали долгих лет жизни с systemctl
pm2 использовал для Node проектов, мне понравилось)
scrapy *spider* получается
а вот как crawl передать хз
еще на linux канале пожелали долгих лет жизни с systemctl
pm2 использовал для Node проектов, мне понравилось)
scrapy *spider* получается
а вот как crawl передать хз
ΔΧ
спасибо
AR
Рабочий каталог поди не тот
AR
(а scrapy spider это вообще не команда)
2021 May 13
ΔΧ
Тот, systemctl отсюда же запускал
ΔΧ
Я к тому, что pm2 принял spider, но не принял crawl
AR
Ну принял так принял, ок
МС
всем привет. подскажите, пожалуйста, что за кодирование используется для infinite scrolling: cursor=ClEKCwoEc2l6ZRIDCIQWEj5qFXN-bGF3aW5zaWRlcmNvbnRyYWN0c3IlCxIHVGFnX3YyMCIYY2F0ZWdvcnk6c2FsZXMtYWdyZWVtZW50DBgAIAE%3D
пытаюсь через декод обойти его
пытаюсь через декод обойти его
AR
обычный курсор для апи, ничего не кодирует скорее всего
AR
просто передавать его в следующий запрос и всё
МС
значение этого курсора меняется при скроллинге. мне нужно как-то обойти всю страницу вниз с каждым новым значением курсора