Телеграмм чат группы scrapy

а, прокси

22:35пожаловаться #1

не помогло впрочем

22:35пожаловаться #2

А что вообще с этом можно сделать?

22:36пожаловаться #3

Soare in Scrapy

с USA проксей пустил

https://t.me/scrapy_python/63852

22:36пожаловаться #4

Soare in Scrapy

Night in Scrapy

пройди ручками, сохрани куки
и делай запросы

22:36пожаловаться #5

Если доступ к апи, то наличие js он в принципе проверить не может.

22:38пожаловаться #6

но может например требовать куки

22:38пожаловаться #7

Может есть какие программные прослойки? Типа имитация браузера

22:38пожаловаться #8

есть конечно, puppetteer/playwright

22:39пожаловаться #9

Спс за подсказки. Если найду какой волшебный способ - отпишусь

22:40пожаловаться #10

Evgen in Scrapy

Заголовки, протокол (http2), tls шифры

23:20пожаловаться #11

2021 May 11

Максим in Scrapy

Подскажите, что значат эти цифры в настройках спайдера

10:52пожаловаться #12

Evgen in Scrapy

Приоритет какая раньше какая позже

10:53пожаловаться #13

Максим in Scrapy

530 будет раньше чем 540. Правильно понимаю?

10:54пожаловаться #14

Evgen in Scrapy

На реквесте да, на респонсе наоборот

10:54пожаловаться #15

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#activating-a-downloader-middleware

10:59пожаловаться #16

Andrii in Scrapy

Помогите понять, есть такая штука в роботс.тхт

User-agent: Yandex
Allow: /
Crawl-delay: 10

, правильно ли я понял, что если поставить ЮА Яндекс то можно без печали с одного ИП раз в 10 сек делать запрос?

13:05пожаловаться #17

Заранее не узнать, конечно

13:06пожаловаться #18

Мало ли что там написано

13:06пожаловаться #19

Bulatbulat48 in Scrapy

это лишь настройка которая рекомендует скорость кравлинга для пауков Яндекса.