Size: a a a

2020 November 13

К

Кирилл in Scrapy
А зачем вообще узнавать айпи прокси?
источник

R

Roma in Scrapy
))) Тоже верно - ну типа посмотреть что прокси выдан
источник

B

Bulatbulat48 in Scrapy
посмотреть например баны по какой стране получил, если пул общий
источник

R

Roma in Scrapy
Да - походу надо куда то писать их = что прокси использован
источник

К

Кирилл in Scrapy
Ну тогда обычные сайты по опредению айпи подойдут. Другое дело было бы, если бы тебе нужно было какой-то сайт запросить одним запросом, а вторым узнать айпи, тогда не получилось бы
источник

К

Кирилл in Scrapy
Roma
Да - походу надо куда то писать их = что прокси использован
Толку тогда от такого ротатора, пусть этим сервер с прокси занимается
источник

R

Roma in Scrapy
И ты прав тоже - но статус то будет в колбеке
источник

R

Roma in Scrapy
что заблочен
источник

R

Roma in Scrapy
Спасибо всем за ответы - есть над чем подумать
источник

К

Кирилл in Scrapy
Если тебе нужно кастомное поведение прокси с нужными паузами, тогда будет удобнее взять небольшой пул приватных прокси  и уже крутить их как нужно.
Потому что вариант с выдачей прокси каждому запросу довольно узконаправленный вариант.  Кто их ещё там юзает и как часто? И как какие-то более сложные сайты парсить, где нужна авторизация и т.п.
источник

R

Roma in Scrapy
Спасибо за коммент, на самом деле можно и не выводить инфу о прокси, так как если заблочен, то скрапи сделает еще реквест и получит другой прокси -  это я уж так для наглядности
источник

S

SoHard 🎄 in Scrapy
Bulatbulat48
посмотреть например баны по какой стране получил, если пул общий
в люминати это в прокси-менеджере можно смотреть
источник

R

Roma in Scrapy
Кирилл
Если тебе нужно кастомное поведение прокси с нужными паузами, тогда будет удобнее взять небольшой пул приватных прокси  и уже крутить их как нужно.
Потому что вариант с выдачей прокси каждому запросу довольно узконаправленный вариант.  Кто их ещё там юзает и как часто? И как какие-то более сложные сайты парсить, где нужна авторизация и т.п.
Погонял чуток в голове - так и сделаю, буду ротейтить их каждые n минут
источник

A

AstralRomance in Scrapy
Почему у меня в поле source сохраняется только последний результат, который вытаскивает скрапер? Что я делаю не так?
https://pastebin.com/CkdijhtM
источник

AR

Andrey Rahmatullin in Scrapy
а как ещё? report_dict-то один на всех
источник

S

SoHard 🎄 in Scrapy
AstralRomance
Почему у меня в поле source сохраняется только последний результат, который вытаскивает скрапер? Что я делаю не так?
https://pastebin.com/CkdijhtM
тебе надо делать не =, а append
источник

S

SoHard 🎄 in Scrapy
только report_dict['source'] должен быть списком
источник

A

AstralRomance in Scrapy
SoHard 🎄
тебе надо делать не =, а append
Точно.
источник
2020 November 14

МС

Михаил Синегубов... in Scrapy
люди, чем сейчас "модно" тексты переводить?
Пока - рассматривается бюджетный вариант
источник

V

Victor in Scrapy
Кто-то может помочь разобраться с анонимизированнием headless браузера, смена User-Agent не помогла, сайт все равно не пускает
источник