AK
Andrii
Use proxy rotation and UA rotation, make bot behaviour to be more like human
Do you have any idea of Selenium tool?
Size: a a a
2020 April 27
AK
Andrii. Do you have any idea of Selenium tool?
A
Anil Kumar
Do you have any idea of Selenium tool?
Google banned you?) Selenium rotation proxy, selenium rotation UA 🙈😂👍
AK
Andrii
Google banned you?) Selenium rotation proxy, selenium rotation UA 🙈😂👍
No Google didn't banned me. When I open a website using selenium still it is throwing connection timed out error. What should I do?
A
What user agent you use for webdriver?
AK
Andrii
What user agent you use for webdriver?
I'm not using any user-agent.
A
And what do you want? I dont understand you question
A
Andrii
Use proxy rotation and UA rotation, make bot behaviour to be more like human
Use this
AK
Andrii
Use this
Ok
G
не мучайся, https://docs.scrapy.org/en/latest/topics/practices.html просто выбери нужный вариант и перепиши под себя.
Запуск 10 пауков - сразу возникает куча вопросов: параллельный или последовательный запуск, используют ли пауки данные друг друга, куда они данные пишут, не будет ли каких дедлоков при параллельной работе.
вообще, пробовал и параллельный и последовательный запуск из доки, все нормально работало. Пришлось повозиться с настройками... но это уже частности.
Запуск 10 пауков - сразу возникает куча вопросов: параллельный или последовательный запуск, используют ли пауки данные друг друга, куда они данные пишут, не будет ли каких дедлоков при параллельной работе.
вообще, пробовал и параллельный и последовательный запуск из доки, все нормально работало. Пришлось повозиться с настройками... но это уже частности.
Одновременно и в разных файлах чтобы были
AR
неважно же в каких файлах объявлены пауки
AR
и примеры ничо не перезапускают
AR
и примеры ничо не перезапускают
я так и сказал
AR
чтобы все спайдеры перезапускались как закончили свою работу бери внешний планировщик