Size: a a a

2020 October 21

ЛГ

Лев Гареев in Scrapy
Кирилл
Фришных?
Да
источник

К

Кирилл in Scrapy
Лев Гареев
Про надобность прописывания чего-то в сеттингах и про то, что ничего не надо писать и просто лопатить в реквесты
Можно в реквесты, можно в сеттингс если это какой-то ротатор прокси
источник

i

i in Scrapy
Dr. Bot
там первый год вообще будет бесплатно
а нельзя как-то превысить бесплатные лимиты и попасть на бабки?
источник

AR

Andrey Rahmatullin in Scrapy
фришные прокси и не должны работать
источник

К

Кирилл in Scrapy
Выкинь их
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
Выкинь их
:D
источник

К

Кирилл in Scrapy
Только платные и желательно персональные
источник

i

i in Scrapy
Лев Гареев
почитал про прокси, мне даже мои итшники дали функцию для получения списка прокси, привинтил в реквесты в мету, на первой странице сразу падаю по 302
скрапи должен норм по-идее 302 отрабатывать, стандартно, это ж вроде редирект. (могу путать)
источник

Asen Баал in Scrapy
Купи хотя бы шаред, это рублей 40 в месяц
источник

AR

Andrey Rahmatullin in Scrapy
302 это разумеется редирект
источник

ЛГ

Лев Гареев in Scrapy
i
скрапи должен норм по-идее 302 отрабатывать, стандартно, это ж вроде редирект. (могу путать)
да, на страницу с капчей :D
источник

ЛГ

Лев Гареев in Scrapy
Кирилл
Только платные и желательно персональные
спасибо
источник

К

Кирилл in Scrapy
Так то да, но у некоторых сайтов, разумеется, редирект это блок или бан
источник

i

i in Scrapy
"но есть ньюанс", бхахаха
источник

ЛГ

Лев Гареев in Scrapy
жить больно
источник

К

Кирилл in Scrapy
Ну и может быть резидентские нужны, у некоторых сайтов все прокси из датацентров уже сразу в бане
источник

ЛГ

Лев Гареев in Scrapy
сайт говна)
источник

ЛГ

Лев Гареев in Scrapy
через первые 3 выдачи анонимайзеров заходит
источник

ЛГ

Лев Гареев in Scrapy
веб прокси пашет
источник

ЛГ

Лев Гареев in Scrapy
не думаю, что там сложная защита
источник