Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 October 26

МС

    start_urls = ['https://pikabu.ru/tag']

    def parse(self, response, **kwargs):
        yield response.follow('https://pikabu.ru/tag', dont_filter=True)

первый запрос проходит, второй - бан.
проксю включал/выключал, пауза 20 секунд

источник

13:44пожаловаться #1

iz zi in Scrapy

Реф/хэдер?

источник

13:50пожаловаться #2

Andrey Rahmatullin in Scrapy

Реферер на себя вроде всегда безопасно

    start_urls = ['https://pikabu.ru/tag']

    def parse(self, response, **kwargs):
        yield response.follow('https://pikabu.ru/tag', dont_filter=True)

первый запрос проходит, второй - бан.
проксю включал/выключал, пауза 20 секунд

а там апи так и не завезли?

источник

13:52пожаловаться #4

iz zi in Scrapy

SoHard 🎄

а там апи так и не завезли?

У них же есть приложения , скорей всего есть

источник

13:54пожаловаться #5

МС

Михаил Синегубов... in Scrapy

SoHard 🎄

а там апи так и не завезли?

издеваешься? они приложуху, относительно недавно запилили :)

издеваешься? они приложуху, относительно недавно запилили :)

уже пару лет как есть приложуха

источник

13:54пожаловаться #7

МС

Михаил Синегубов... in Scrapy

мы не ищем легких путей 😂
приложуху - это я дома ковырну

источник

13:55пожаловаться #8

Andrey Rahmatullin in Scrapy

(была презентаха как из приложения запросы вытащить, но она внутренняя 😝)

источник

14:00пожаловаться #9

МС

Михаил Синегубов... in Scrapy

через чарлик/фиддлер?

источник

14:00пожаловаться #10

Andrey Rahmatullin in Scrapy

Не скажу, но да

источник

14:00пожаловаться #11

iz zi in Scrapy

Andrey Rahmatullin

(была презентаха как из приложения запросы вытащить, но она внутренняя 😝)

Вот это у вас новые технологии

источник

14:00пожаловаться #12

Andrey Rahmatullin in Scrapy

Дак ну

источник

14:00пожаловаться #13

Andrey Rahmatullin in Scrapy

Астрал.скрейпингхаб.ком

источник

14:01пожаловаться #14

МС

Михаил Синегубов... in Scrapy

Andrey Rahmatullin

Не скажу, но да

ну, если только SSLPining (или как он там правильно) не влезет, то вообще не проблема 😄

источник

14:01пожаловаться #15

i in Scrapy

Михаил Синегубов

юзерагент - выпадает, я ротатор поставил....
20 секундная пауза - не катит :).
хех, аж интересно, блин.

а может опять тема как у авито? типа поиграться с TLS'ом)

источник

16:21пожаловаться #16

МС

Михаил Синегубов... in Scrapy

неть, это первым было

в общем, у них, похоже, довольно хитрый бан. Он ставится на каталог (теги, пагинацию).
Если через сайтмап парсить - конечные страницы, вроде, не баняться. По крайней мере, пока))

источник

16:23пожаловаться #17

Альбо in Scrapy

Кто может спарсить телеграм Каналы ?

источник

16:26пожаловаться #18

Кирилл in Scrapy

Альбо

Кто может спарсить телеграм Каналы ?

С заказами в @scrapy_jobs

источник

16:26пожаловаться #19

Andrii in Scrapy

Альбо

Кто может спарсить телеграм Каналы ?

Дуров

источник

16:28пожаловаться #20