Size: a a a

2021 June 11

МС

Михаил Синегубов... in Scrapy
со своей стороны, скажу, "хз", я в дискорде не сижу :)
но, если, обществу будет нужно, могу посидеть
источник

OS

Oleg Shleiko in Scrapy
Немного оффтоп, но какой смысл вообще в дискорде на тему скрапи?
источник

МС

Михаил Синегубов... in Scrapy
тот же, что и телега "чатик" :)
источник

AR

Andrey Rahmatullin in Scrapy
просили
источник

AR

Andrey Rahmatullin in Scrapy
типа, ирц неудобно, а больше ничего нет
источник

МС

Михаил Синегубов... in Scrapy
бедненькие, у них телега не в ходу? 🥺
источник

AR

Andrey Rahmatullin in Scrapy
конечно
источник

S

SoHard 🎄 in Scrapy
что за хитрая защита? когда паук заходит в категорию его начинает редиректить до потери пульса
источник

OS

Oleg Shleiko in Scrapy
Возможно на странице должен исполниться js, а паук его не выполняет
источник

AR

Andrey Rahmatullin in Scrapy
куки включи
источник

AR

Andrey Rahmatullin in Scrapy
(в порядке догадки)
источник

S

SoHard 🎄 in Scrapy
да, отключил редиректы и разрешил хавать 301 ответ и работает
источник

AR

Andrey Rahmatullin in Scrapy
всмысле? в 301 ответе содержимое?
источник

S

SoHard 🎄 in Scrapy
угу
источник

AR

Andrey Rahmatullin in Scrapy
ну лол
источник

S

SoHard 🎄 in Scrapy
источник

S

SoHard 🎄 in Scrapy
как мне сделать чтобы атемы писались в файл только в конце парсинга? куда их сохранять, в глобальную переменную и потом уже при close_spider в файл или как лучше сделать?
источник

AR

Andrey Rahmatullin in Scrapy
зачем так?
источник

S

SoHard 🎄 in Scrapy
костыли для разового парсинга
источник

S

SoHard 🎄 in Scrapy
ему надо каждую категорию писать в свою папку а там свой файл с csv
источник