Size: a a a

2021 April 11

t

tfhx8 in Scrapy
Есть скрипты которые запускают свои парсеры через threading, вернее запскаются n потоков, где каждый парсит какую то страницу. Все работает. Но тут понадбилось рендерить js, scrapy возможно запусксать в этих n потоках?
источник

t

tfhx8 in Scrapy
с поддержкой к примеру селениума итп
источник

S

SoHard 🎄 in Scrapy
А как связан скрапи и рендеринг js?
источник

t

tfhx8 in Scrapy
просто скрапи обертка, с помощью которой можно быстро парсер написать, в том числе с поддержкой selenium для рендеринга. Просто делал кто такое, интересно как оно работает на множестве потоков
источник

AR

Andrey Rahmatullin in Scrapy
нуну
источник

AR

Andrey Rahmatullin in Scrapy
а по вопросу - не рекомендуется твистед не в главном потоке запускать
источник

S

SoHard 🎄 in Scrapy
весёлая идея 🤡
источник

AR

Andrey Rahmatullin in Scrapy
а уж про селениумы в потоках я вообще молчу
источник

AR

Andrey Rahmatullin in Scrapy
а зачем? селениум никак не цпу-баунд
источник

AR

Andrey Rahmatullin in Scrapy
ну т.е  в некотором смысле конечно да
источник

E

Evgen in Scrapy
Каждый раз когда вы про селениуем пишете я ощущаю тоже самое, как про BS вопросики тут.
источник

E

Evgen in Scrapy
Берите puppeteer а лучше сразу playwright
источник

AR

Andrey Rahmatullin in Scrapy
фантомжс!
источник

E

Evgen in Scrapy
Точно
источник

N

Nelson in Scrapy
Я тут подумал. А скрепи может как-то подругому работает, что яндекст даже не будет банить
источник

N

Nelson in Scrapy
Или это не так?
источник

S

SoHard 🎄 in Scrapy
Не так
источник

S

SoHard 🎄 in Scrapy
На Яндекс надо прокси или решать капчи, а лучше и то и другое
источник

N

Nelson in Scrapy
Можно решать капчи с помощью запросов?
источник

S

SoHard 🎄 in Scrapy
Можно
источник