D
Size: a a a
2020 December 06
D
ну да, нельзя его руками указывать
Ну вообще я бы где-то это прописал что ли. Как догадаться-то? Курл и requests же нормально работают.
AR
ну я вообще не в курсе о какой ты проблеме
AR
FormRequest сам посчитает и пропишет хедер, а так хз
AR
кстати вру, может это твистед считает
AR
если сможешь описать как воспроизвести
AR
ну и помни про httpbin
AR
к вопросу о дебаге в проводе
D
ну и помни про httpbin
Ага, спс. Я вот это использовал, в два клика: https://requestbin.com/
AR
ты главное сравни что эти тулзы пишут до фикса и после
D
Запрос НЕ такой же. Название заголовков capitalized.
https://github.com/scrapy/scrapy/issues/2711
https://github.com/scrapy/scrapy/issues/2711
На самом деле Georgiy натолкнул на решение. Я засунул в спайдер тот сниппет, чтобы twisted не капитализировал поля хедера. В результате у твистеда совсем поехала крыша и я там увидел дубликатом content-length в одной из этих тулз. Поэтому решил убрать content-length из хедера и внезапно все заработало.
D
ты главное сравни что эти тулзы пишут до фикса и после
Подойдет?
Request("https://webhook.site/<YOUR ID>", method='POST', headers={}) >>> OK
Request("https://webhook.site/<YOUR ID>", method='POST', headers={'content-length': '0'}) >>> ERROR: <twisted.python.failure.Failure scrapy.spidermiddlewares.httperror.HttpError: Ignoring non-200 response>
Request("https://webhook.site/<YOUR ID>", method='POST', headers={}) >>> OK
Request("https://webhook.site/<YOUR ID>", method='POST', headers={'content-length': '0'}) >>> ERROR: <twisted.python.failure.Failure scrapy.spidermiddlewares.httperror.HttpError: Ignoring non-200 response>