Телеграмм чат группы scrapy

20:24пожаловаться #1

Ок, еще раз гляну повнимательнее на TLS, спасибо

Авито — объявления в России — Объявления на сайте Авито

20:24пожаловаться #2

SoHard 🎄 in Scrapy

Переслано от i

ну а так да, шифры отправлять не надо, достаточно
scrapy shell https://www.avito.ru -s DOWNLOADER_CLIENT_TLS_METHOD='TLSv1.2'

www.avito.ru

Выгодно покупайте и продавайте авто, недвижимость и вещи в России. Находите надёжных исполнителей и работу. Самый популярный сервис объявлений в России.

Вот

20:24пожаловаться #3

SoHard 🎄

Вот

Спс. В settings поставил - не заработало.

22:30пожаловаться #4

Нашел! 🥳

23:28пожаловаться #5

Нельзя указывать в хедерах content-length 0. В этом случае у скрапи едет крыша и он какой-то битый http реквест походу делает

23:29пожаловаться #6

ну да, нельзя его руками указывать

23:29пожаловаться #7

Спасибо, 4 часа были потрачены не зря :))

23:30пожаловаться #8

Кирилл in Scrapy

Я думал там что-то интересное будет

23:30пожаловаться #9

я думал нам показали именно из провода данные, а не что попало

23:30пожаловаться #10

Согласен, моя ошибка - рандомную тулзу использовал. А там по факту два раза что ли content-length прописывало?

23:31пожаловаться #11

тебе виднее

23:32пожаловаться #12

А как вообще корректно "провод" дебагить? Wireshark уже все в TLS упаковывает же, или он и их парсит?

23:33пожаловаться #13

Кирилл in Scrapy

Dmitry

А как вообще корректно "провод" дебагить? Wireshark уже все в TLS упаковывает же, или он и их парсит?

Если постараться, то будет парсить

23:33пожаловаться #14

Ну а как просто, из коробки чтобы работало нормально?

23:34пожаловаться #15

Dmitry

А как вообще корректно "провод" дебагить? Wireshark уже все в TLS упаковывает же, или он и их парсит?

ты ж взял какой-то митм хттпс прокси?

23:34пожаловаться #16

Andrey Rahmatullin

ты ж взял какой-то митм хттпс прокси?

Ага :(

23:34пожаловаться #17

ну так он и должен был решить эту проблему

23:34пожаловаться #18

Ну вот не решил почему-то

23:34пожаловаться #19

без такого никак, разве что со стороны клтента включить дебаг того что он отправляет, requests это умеет легко, а вот у твистеда вроде сложнее