Телеграмм чат группы scrapy

там же вон даже пометка, что "'TLSv1.0': this value forces HTTPS connections to use TLS version 1.0 ; set this if you want the behavior of Scrapy<1.1"

источник

15:29пожаловаться #7

Andrey Rahmatullin in Scrapy

да, на практике хэндшейкает на 1.2, чо там в пакетах смотреть влом

источник

15:30пожаловаться #8

i in Scrapy

т.е. типа "хошь как в старый скрапи - ставь это". а так бы по вашей логике было тлс1.3 там

источник

15:30пожаловаться #9

i in Scrapy

Oleg Shleiko

если указать 1.2 то мы пойдём с 1.2 и 1.3

вобщем, ты попробуй, попытка не пытка) просто судя по тому, что пишут для 'TLSv1.0' оно должно форситься на строгое соответствие для всех значений, кроме непосредственно 'TLS'

источник

15:34пожаловаться #10

Andrey Rahmatullin in Scrapy

ну авито-то работает

источник

15:34пожаловаться #11

i in Scrapy

и все-равно непонятно, почему браузер пишет в секурти "я модный и крутой, на TLS 1.3", а скрапи обламывается

источник

15:35пожаловаться #12

i in Scrapy

ну а так да, шифры отправлять не надо, достаточно
scrapy shell https://www.avito.ru -s DOWNLOADER_CLIENT_TLS_METHOD='TLSv1.2'

www.avito.ru

Авито — объявления в России — Объявления на сайте Авито

Выгодно покупайте и продавайте авто, недвижимость и вещи в России. Находите надёжных исполнителей и работу. Самый популярный сервис объявлений в России.

источник

15:37пожаловаться #13

i in Scrapy

и уже не 403, а response 200

источник

15:37пожаловаться #14

i in Scrapy

но может для других сайтов это и не прокатит, фиг его знает. а про этот коннект файктори смутно помню там это вообще политика того, что скрапи по-умолчанию не чекает валидность сертификатов

источник

15:39пожаловаться #15

i in Scrapy

это чего, есть сайты, которые (как-то???) чекают, что ты не чекаешь валидность их сертов?

источник

15:39пожаловаться #16

i in Scrapy

а, "which uses the platform’s certificates to validate remote endpoints.", вона похоже для чего это.

источник

15:40пожаловаться #17

Andrey Rahmatullin in Scrapy

это чего, есть сайты, которые (как-то???) чекают, что ты не чекаешь валидность их сертов?

вряд ли дело в этом

источник

15:45пожаловаться #18

СТ

Семён Трояновский... in Scrapy

ну а так да, шифры отправлять не надо, достаточно
scrapy shell https://www.avito.ru -s DOWNLOADER_CLIENT_TLS_METHOD='TLSv1.2'

www.avito.ru

Авито — объявления в России — Объявления на сайте Авито

так все же из под скрапи работает по умолчанию или нет? @wrar42 вроде писал что у него по дефолту все работает

источник

16:18пожаловаться #19

Andrey Rahmatullin in Scrapy

я писал не это.

источник

16:18пожаловаться #20