Телеграмм чат группы scrapy

Чем отличается post запрос для сервера, отправленный через scrapy и через curl с идентичными параметрами?

CURL'ом форма отправляется успешно, а скрапи/requests с теми же параметрами приводит к ошибке.

источник

20:56пожаловаться #4

A

Andrii in Scrapy

blessed

Чем отличается post запрос для сервера, отправленный через scrapy и через curl с идентичными параметрами?

CURL'ом форма отправляется успешно, а скрапи/requests с теми же параметрами приводит к ошибке.

Юзерагентом

источник

20:59пожаловаться #5

A

Andrii in Scrapy

Как минимум

источник

20:59пожаловаться #6

b

blessed in Scrapy

Andrii

Юзерагентом

Headers тоже идентичный. Может CuRL что - то свое добавляет ?

источник

21:01пожаловаться #7

G

Georgiy in Scrapy

blessed

Headers тоже идентичный. Может CuRL что - то свое добавляет ?

и у scrapy и у requests есть default headers которые дописываются к каждому запросу.

источник

21:02пожаловаться #8

AR

Andrey Rahmatullin in Scrapy

blessed

Headers тоже идентичный. Может CuRL что - то свое добавляет ?

в —debug всё видно что он отправляет

источник

21:14пожаловаться #9

b

blessed in Scrapy

Georgiy

и у scrapy и у requests есть default headers которые дописываются к каждому запросу.

Проверил запрос на httpbin . headers и данные идентичны. (requests и curl)

но сайт реагирует по разному.

источник

23:21пожаловаться #10

b

blessed in Scrapy

Andrey Rahmatullin

в —debug всё видно что он отправляет

Как всегда, спасибо. Попробую разобраться

источник

23:22пожаловаться #11

AR

Andrey Rahmatullin in Scrapy

HTTP/2?

источник

23:22пожаловаться #12

AR

Andrey Rahmatullin in Scrapy

куки?

источник

23:22пожаловаться #13

b

blessed in Scrapy

HTTP/1.1 , Курл без кук работает.

источник

23:25пожаловаться #14

DO

Daniil Okhlopkov in Scrapy

А CORS только через селениум можно обойти?

источник

23:26пожаловаться #15

b

blessed in Scrapy

blessed

HTTP/1.1 , Курл без кук работает.

Иногда запрос с помощью реквеста проходит. Но крайне редко.

источник

23:26пожаловаться #16

К

Кирилл in Scrapy

Daniil Okhlopkov

А CORS только через селениум можно обойти?

Прочитай что такое CORS и зачем он нужен, думаю вопрос отпадёт

источник

23:36пожаловаться #17

М

Мур in Scrapy

Привет ребята, хочу поделится что придумал со своим проектом, а вы еслм не сложно, покритекуйте.
Короче я решил запустил своих пауков через демона, который по расписанию будет запускать их, допустим раз в 2 часа, затем, очищенные данные будет закидывать в очередь (какую, кстати лучше выбрать?) а уже от туда данные будут записываться в базу

источник

23:39пожаловаться #18

М

Мур in Scrapy

А в колбе уже будут представляться данные из базы

источник

23:40пожаловаться #19

К

Кирилл in Scrapy

Мур

Привет ребята, хочу поделится что придумал со своим проектом, а вы еслм не сложно, покритекуйте.
Короче я решил запустил своих пауков через демона, который по расписанию будет запускать их, допустим раз в 2 часа, затем, очищенные данные будет закидывать в очередь (какую, кстати лучше выбрать?) а уже от туда данные будут записываться в базу

Если тебе не нужно запускать парсинг с фронта, то норм

источник

23:44пожаловаться #20