Size: a a a

2019 August 02

М

Мак in Scrapy
Кирилл
да, я только туда ещё добавил донт фильтр
а что у тебя не работает?
не проходил эту самую страницу с защитой, я уж не помню какая там ошибка была, ибо решил в итоге, хоть и через костыль с селениумом.
источник

К

Кирилл in Scrapy
там вроде единственная ошибка может быть, если на стринце капча, а не js челенж
источник

К

Кирилл in Scrapy
тогда эта штука не сработает
источник

М

Мак in Scrapy
не, не капча точно. я ж страницу ответа разбирал через inspect_response
источник

М

Мак in Scrapy
да и страницы с капчами я всегда отлавливаю и в метод определения бана прокси определяю
источник

К

Кирилл in Scrapy
Мак
да и страницы с капчами я всегда отлавливаю и в метод определения бана прокси определяю
ты не рашаешь капчи, а меняешь прокси?)
источник

М

Мак in Scrapy
попробуй порешай recaptcha_2 или _3...
источник

К

Кирилл in Scrapy
2 норм решаются, а 3 это проблемка) если скоре большой стоит
источник

М

Мак in Scrapy
чем решаешь 2-ю?
источник

К

Кирилл in Scrapy
а прокси я так понимаю бесплатные, если ты их спокойно меняешь?
источник

К

Кирилл in Scrapy
источник

М

Мак in Scrapy
конечно бесплатные... 1000 штук то спокойно набираю минут за 10, а потом весь день пользую
источник

К

Кирилл in Scrapy
v3 есть только на рукапче, из тех что знаю, но там часто не раешт
источник

К

Кирилл in Scrapy
если кто знает хорошие сервисы — делитесь)
источник

i

ildar in Scrapy
кто-нибудь использовал в качестве кэша leveldb - вопрос возник, можно ли туда прикрутить snappy? Это тоже как и leveldb от гугля штука, очень быстрый архиватор, по-идее она должна как-то с левелдб кооперироваться, но у меня чет не получается
источник

М

Мак in Scrapy
а, китайские решатели каптч... не пользовал, если честно. их можно автоматически к скрапи прикрутить?
источник

К

Кирилл in Scrapy
относительно автоматически, миделвера нет, но это не сложно
источник

М

Мак in Scrapy
Кирилл
относительно автоматически, миделвера нет, но это не сложно
что именно в относительности?
источник

К

Кирилл in Scrapy
ну строчкой в конфиге не отделаешься, но скопировать код из их примеров это не сложно
источник

М

Мак in Scrapy
Кирилл
ну строчкой в конфиге не отделаешься, но скопировать код из их примеров это не сложно
сам пробовал? как впечатления?
источник