Телеграмм чат группы scrapy

2020 March 10

i

ildar in Scrapy

(heh, found out that thing I've proposed above already in scrapy)

источник

17:56пожаловаться #1

AR

Andrey Rahmatullin in Scrapy

that was the first answer, yes

источник

17:57пожаловаться #2

i

ildar in Scrapy

Михаил Синегубов

народ, может у него ajax какой с кастомным заголовком?
пускай сайт покажет... если это не военная тайна

не ну тут гадать-то долго можно, у меня как-то был сайт на .нете, так там нельзя было прыгать по пагинатору куда захошь, эта сука следила по "токенам", что ты пришел именно с предыдущего пагинатора лол, в результате можно было идти только в 1 поток и потихоньку-полегоньку, беря эти "токены"

источник

18:01пожаловаться #3

МС

Михаил Синегубов in Scrapy

ildar

не ну тут гадать-то долго можно, у меня как-то был сайт на .нете, так там нельзя было прыгать по пагинатору куда захошь, эта сука следила по "токенам", что ты пришел именно с предыдущего пагинатора лол, в результате можно было идти только в 1 поток и потихоньку-полегоньку, беря эти "токены"

Так и я про то же. Человек то проблему не озвучил...
"Как повторить запрос" - "не, мне повторять не надо"

источник

18:04пожаловаться #4

AR

Andrey Rahmatullin in Scrapy

всё он озвучил

источник

18:04пожаловаться #5

i

ildar in Scrapy

Anil Kumar

How to set retry times for a particular request in crawl spider?

btw is that site uses any ajax/.Net/ViewState when you paginating? Maybe it shows error cause you have not filled some tokens/fields/parameters, I saw site before, which was allowed paginating only without concurrency, filling some tokens from previos request.
Also, you can show code + site, maybe somebody will take time to look at it little bit closer.

источник

18:12пожаловаться #6

i

ildar in Scrapy

а еще одежду и мотоцикл пусть покажет ^_^

источник

18:12пожаловаться #7

Д

Данил in Scrapy

Доброй ночи
Кто юзал Scrapy Cloud?
Какие отзывы?

источник

23:02пожаловаться #8