Size: a a a

2019 July 17

i

ildar in Scrapy
а что предлагается?
источник

RV

Roman V in Scrapy
Это ответственность приложения.
источник

RV

Roman V in Scrapy
Очередь не должна ничего знать о расписании выполнения тасков. Ее задача эти таски принимать и обслуживать.
источник

RV

Roman V in Scrapy
В селери, как раз много проблем с встроенным шедулером.
источник

i

ildar in Scrapy
нууууу, в принципе, "чего сегодня надо сделать по-таскам" я ей смогу скормить)
источник

RV

Roman V in Scrapy
А уже как в приложении будет реализован шедулер - это другой вопрос.
Из простейших микросервисных вариантов - ходим курлом на эндпойнт по крону.
источник

Y

Yurii in Scrapy
Как у вас все сложно.
источник

RV

Roman V in Scrapy
Зато интересно :)
источник

RV

Roman V in Scrapy
ildar
нууууу, в принципе, "чего сегодня надо сделать по-таскам" я ей смогу скормить)
Шедулер можно реализовать таском, который сам себя запускает периодически и чекает, нужно ли поставить другие таски. Меньше магии - больше контроля :) Я так делал на Sidekiq (а-ля селери для руби).
источник

G

Grigory in Scrapy
Что-то я никак не разберусь с scrapy-splash

Задача:
-Есть сайт
-Нужно сделать запрос на сайт, взять куки
-Со спокойной душой парсить


Проблема:
-При запросе на сайт идёт 2 запроса
-У обоих статус код: 200
-Первый запрос выдаёт просто жс, который и генерирует эти куки
-Надо как-то обработать этот жс


И я не могу понять, я вроде все в сеттингс вписал и начал делать запрос, но все равно тупо жс стоит и все. Что делать?
источник

АН

Алексей Нагорский in Scrapy
Господь всемогущий
источник

АН

Алексей Нагорский in Scrapy
Реквестую помощь с установкой scrapy
источник

АН

Алексей Нагорский in Scrapy
На домашний ноут не ставится twisted, ни одна whl блять не ставится
источник

АН

Алексей Нагорский in Scrapy
Все is not supported on this platform
источник

АН

Алексей Нагорский in Scrapy
И через pip installl twisted не ставится нихрена, и build tools поставил пару вариантов
источник

АП

Агент Печенька in Scrapy
Чё за платформ?
источник

АП

Агент Печенька in Scrapy
И трейс в студию.
источник

N

Nick Name in Scrapy
Агент Печенька
Чё за платформ?
+
источник

АН

Алексей Нагорский in Scrapy
Microsoft Windows [Version 10.0.18362.239]
(c) Корпорация Майкрософт (Microsoft Corporation), 2019. Все права защищены.

C:\Users\iplex>pip install C:\Users\iplex\Downloads\Twisted-19.2.1-cp36-cp36m-win_amd64.whl
ERROR: Twisted-19.2.1-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.
источник

N

Nick Name in Scrapy
А ну тогда ясно - ставь линукс
источник