SS
Определяешь, по каким признакам можно понять, что "неверно", делаешь if и йелдишь новый реквест с dont_filter=True, потом return чтоб дальше код не исполнятся
Спасибо огромное! А это исключит «мертвый» прокси из списка?
Size: a a a
2020 March 16
SS
Нет
Спасибо.
SS
Этот
SS
Я не знаю какой ты ротатор используешь
А можешь посоветовать ротатор с динамическим подключением новых прокси а не из списка?
SS
У scrapy-rotating-proxies есть ban policy, он делает то что ты хочешь
Этот ротатор хороший?
МС
Этот ротатор хороший?
как минимум, у него есть определение бана прокси...
К
А можешь посоветовать ротатор с динамическим подключением новых прокси а не из списка?
Этот так не умеет
МС
у этого, как я понимаю, нет ничего, это просто ротатор в чистом виде, и ничего более.
SS
у этого, как я понимаю, нет ничего, это просто ротатор в чистом виде, и ничего более.
Да вроде пишет, сколько живых осталось
SS
Значит есть и способ умертвления)
SS
90% его использую
Спасибо за совет
SS
как минимум, у него есть определение бана прокси...
И вам спасибо)
МС
а, точно, но только по признаку эксепшена, если страница отдаст 200 код с фразой "кАзел, хорош парсить", то такой случай можно отловить тем что Кирилл предложил :)
SS
а, точно, но только по признаку эксепшена, если страница отдаст 200 код с фразой "кАзел, хорош парсить", то такой случай можно отловить тем что Кирилл предложил :)
200 или другой какой-то?
SS
А, там свои условия пилить можно