Телеграмм чат группы scrapy

Size: a a a

Scrapy

437 membersпожаловаться на группу

2020 April 10

АП

Агент Печенька in Scrapy

Есть много версий питона, ни одна из них не предполагает сокрытия исходников.

источник

13:16пожаловаться #1

Elisei Badanin in Scrapy

возможно цель не сокрыть, а сделать возможность запуска без настройки(зпнимался скраперами на апворке одно время, так у каждого вервого винда и проблемы с установкой всего этого добра)

источник

13:35пожаловаться #2

Elisei Badanin in Scrapy

а от сокрытия обусификация помогает

источник

13:35пожаловаться #3

Данил in Scrapy

Bulatbulat48

Принтаните что лежит в response.headers.getlist(‘cookies’)

И еще все отлично работает в браузере при replay hxr на filter, но в curl возвращает ошибку 500.

источник

13:45пожаловаться #4

Данил in Scrapy

И проблема вроде бы не в куках, потому что я реплэю без порядка, и если-бы куки менялись, то все, кроме последних выдавали наверное ошибку...

источник

13:45пожаловаться #5

Bulatbulat48 in Scrapy

Данил

И еще все отлично работает в браузере при replay hxr на filter, но в curl возвращает ошибку 500.

попробуйте тут вставить curl https://curl.trillworks.com/

Trillworks

Convert cURL command syntax to Python requests, Ansible URI, MATLAB, Node.js, R, PHP, Strest, Go, Dart, JSON, Elixir, and Rust code

Utility for converting curl commands to code

источник

13:47пожаловаться #6

Данил in Scrapy

Bulatbulat48

попробуйте тут вставить curl https://curl.trillworks.com/

Trillworks

Convert cURL command syntax to Python requests, Ansible URI, MATLAB, Node.js, R, PHP, Strest, Go, Dart, JSON, Elixir, and Rust code

Utility for converting curl commands to code

Сработало 😱

источник

13:48пожаловаться #7

Данил in Scrapy

В чем же может быть проблема?

источник

13:48пожаловаться #8

Данил in Scrapy

Так, кажется понял

источник

13:48пожаловаться #9

Andrey Rahmatullin in Scrapy

Рассказывай

источник

13:50пожаловаться #10

Данил in Scrapy

Andrey Rahmatullin

Рассказывай

Все супер изи) Копируем запрос в curl, вставляем в сurl.trillworks.com, далее с requests переписываем на scrapy.FormRequest на урл 'https://www.poltronafrau.com/en/productlisting/ajax/filter' с заголовками и formdata из полученного скрипта для requests.

источник

15:04пожаловаться #11

Данил in Scrapy

Параметры для formdata парсим со странички, копируя form data с браузера->network->filter

источник

15:06пожаловаться #12

Данил in Scrapy

В общем проблема, видимо оказалась в том, что я забыл использовать FormRequest)

источник

15:09пожаловаться #13

Vladyslav Babych in Scrapy

Вообщем имею следующую проблему. Мне нужно каким-то образом обрабатывать новые реквесты перед их отправкой. Такое себе кеширование. Если я уже получал информацию с этой ссылки мне возможно не нужно её отправлять. Я же правильно понял что в start_requests не получиться это сделать?

источник

15:47пожаловаться #14

Vladyslav Babych in Scrapy

в DownloaderMiddleware.process_request я же получаю уже респонс?

источник

15:52пожаловаться #15

Vladyslav Babych in Scrapy

Или реквест до его отправки?

источник

15:52пожаловаться #16

Andrey Rahmatullin in Scrapy

дупфильтр свой напиши