BL
удалил и не помню деталей, делал с селениума в лоб
Size: a a a
2021 May 11
SS
А, это без скрейпи?
BL
да
SS
Понял. Не, мне именно со скрейпи надо. Селениум стараюсь не использовать. Спасибо
BL
я один раз логинился через селениум при запуске скрейпи и дальше использовал полученные кукис
SS
Понял
NZ
Привет, при разборе сайта в именах класса часто встречаются странные окончания, например n___tEM20 в gallery-section___tEM20 подскажите, пожалуйста, что они означают и будут ли с этим проблемы? Например меняются динамически раз в неделю, или что-то такое
AR
означают автогенерацию классов, проблемы будут если их в селекторах прямо так и использовать (и не будут если не использовать)
2021 May 12
AV
Есть вопрос. Кто чем пользуется, чтобы скрапить в связке с puppeteer?
AV
Из мне знакомых вариантов: докер и pyppeteer.
AV
Может есть ещё что-то?
SS
А разве нужно что-то еще?
R
Всем привет!!! Есть анти-ддос защита - variti. Есть ли способы ее обойти, кто знает?
R
например?
R
с помощью pyppeteer очень долго собирает
na
Если он там работает +- как лаудфлаер то искать айпишник сервера настоящий, если это анализ пакетов, то смотреть что оно и как там анализирует
AA
Привет всем, может кто-то может пояснить в какой момент вызывается process_spider_output() из мидлвейра? В планах из него зайилдить айтем в процессе парсинга, но не могу попасть в этот метод, не вызывается
Из доки не понятно
написал мидлвейр
Из доки не понятно
написал мидлвейр
class UnavailableLinksMiddleware:
def process_response(self,request, response, spider):
return response
def process_spider_output(self, response, result, spider):
for x in result:
yield x
в process_response заходит, в process_spider_output нихренаМС
как мидлварь подключена?