Спасибо

Такой себе шадоу бан

Кто-нибудь пользовался сервисами по решению капч? Можете объяснить что такое апи капчи, и откуда его взять, + как заставить паука ждать, пока капча не разгадается и не идти дальше.
# in this example we store the API key inside environment variables that can be set like:
# export APIKEY_2CAPTCHA=1abc234de56fab7c89012d34e56fa7b8 on Linux or macOS
# set APIKEY_2CAPTCHA=1abc234de56fab7c89012d34e56fa7b8 on Windows
# you can just set the API key directly to it's value like:
# api_key="1abc234de56fab7c89012d34e56fa7b8"

api_key = os.getenv('APIKEY_2CAPTCHA', 'YOUR_API_KEY')

+

Не капчи, а 2captcha, брать соответственно там

Hi everybody! I have some troubles with scrapy. I want to send request in turn, but scrapy do it in async mode. I have yield in loop and yield after the loop. Yield after the loop works earlier then yield in loop. How I can fix it?

Do each request in the callback of the previous one, that's the only guaranteed way to get the ordering

Ребята, кто-нибудь парсил wine-searcher.com? Уже всё перепробовал, ротацию прокси, смену агентов, запросы отправлял раз в 10-15 секунд — ничего не помогает. Ловлю капчу при каждом запросе через селениум. Какие тут ещё могут быть приёмы, чтобы обойти блокировку?

А в чем проблема, подключи сервисы и гадай капчу

Видимо, так и придётся сделать, вижу выше уже такие сервисы рекомендовали.

может там хватит 1 капчу решить а дольше n запросов будет ОК

да, потом где-то 50 запросов норм работает, то есть капчу не при каждом запросе нужно будет решать

скорей всего определяет селениум. Попробуй https://github.com/ultrafunkamsterdam/undetected-chromedriver

О, интересно, спасибо за наводку!

Тоже хорошо работает для первых 50 запросов, потом блок и капча. Спасибо за подсказку все равно!

Куки один?

Я правильно понял, что вопрос про то сколько куки возвращает driver.get_cookies()?

нет, вопрос про то одинаковые ли куки передаются в запросах с разных IP

Понял, это хороший вопрос. То есть для разных IP в driver.add_cookie должны передаваться разные значения, правильно?

про driver.add_cookie ничего не знаю, но наборы кук должны быть отдельные для каждого ипа (если куки вообще нужны)