Size: a a a

2020 April 10

АП

Агент Печенька in Scrapy
Есть много версий питона, ни одна из них не предполагает сокрытия исходников.
источник

EB

Elisei Badanin in Scrapy
возможно цель не сокрыть, а сделать возможность запуска без настройки(зпнимался скраперами на апворке одно время, так у каждого вервого винда и проблемы с установкой всего этого добра)
источник

EB

Elisei Badanin in Scrapy
а от сокрытия обусификация помогает
источник

Д

Данил in Scrapy
Bulatbulat48
Принтаните что лежит в response.headers.getlist(‘cookies’)
И еще все отлично работает в браузере при replay hxr на filter, но в curl возвращает ошибку 500.
источник

Д

Данил in Scrapy
И проблема вроде бы не в куках, потому что я реплэю без порядка, и если-бы куки менялись, то все, кроме последних выдавали наверное ошибку...
источник

B

Bulatbulat48 in Scrapy
Данил
И еще все отлично работает в браузере при replay hxr на filter, но в curl возвращает ошибку 500.
попробуйте тут вставить curl https://curl.trillworks.com/
источник

Д

Данил in Scrapy
Сработало 😱
источник

Д

Данил in Scrapy
В чем же может быть проблема?
источник

Д

Данил in Scrapy
Так, кажется понял
источник

AR

Andrey Rahmatullin in Scrapy
Рассказывай
источник

Д

Данил in Scrapy
Andrey Rahmatullin
Рассказывай
Все супер изи) Копируем запрос в curl, вставляем в сurl.trillworks.com, далее с requests переписываем на  scrapy.FormRequest на урл 'https://www.poltronafrau.com/en/productlisting/ajax/filter' с заголовками и formdata из полученного скрипта для requests.
источник

Д

Данил in Scrapy
Параметры для formdata парсим со странички, копируя form data с браузера->network->filter
источник

Д

Данил in Scrapy
В общем проблема, видимо оказалась в том, что я забыл использовать FormRequest)
источник

VB

Vladyslav Babych in Scrapy
Вообщем имею следующую проблему. Мне нужно каким-то образом обрабатывать новые реквесты перед их отправкой. Такое себе кеширование. Если я уже получал информацию с этой ссылки мне возможно не нужно её отправлять. Я же правильно понял что в start_requests не получиться это сделать?
источник

VB

Vladyslav Babych in Scrapy
в DownloaderMiddleware.process_request я же получаю уже респонс?
источник

VB

Vladyslav Babych in Scrapy
Или реквест до его отправки?
источник

AR

Andrey Rahmatullin in Scrapy
дупфильтр свой напиши
источник

AR

Andrey Rahmatullin in Scrapy
а вообще мидлварь
источник

VB

Vladyslav Babych in Scrapy
Понял, спасиб
источник

EB

Elisei Badanin in Scrapy
где можно спарсить исторические данные по погоде(температура, влажность, осадки, ветер, итд)?
источник