Мистика... Жмёшь кнопку - урл проскочил в нетворке. Действие произошло. Стираю куки, перезагружаю страницу - сую тот же урл в браузере напрямую - действие произошло. То есть сервер запомнил состояние. Беру новую страницу, выдергиваю из разметки его подобный урл, кнопку не нажимаю - сую сразу урл в адресную строку. Результата нет. Жму кнопку - в нетворке вижу что прошёл точно такой же гет запрос, который я совал напрямую в адрес до этого - результат есть...

кроме кук есть же еще local storage, может там что-то сохраняется

Не, у меня браузер который под дев тулс заточен под полную очистку всех своих состояний после перезагрузки

А если IP  сменить?

Первое что попробовал

asp.net ?

Не https везде

Каких то диковинных запросов небыло

GET же

Всякий мусор типа яндекс метрики или гугл аналитики же не может влиять я надеюсь

Помнится я с подобным сталкивался на сайте  upwork,он сразу вычислял как-то, что это селениум и начинал показывать бесконечные капчи. В итоге я бросил это дело, т.к. это был просто эксперимент из любопытства да и у них есть API

Кстати, а какого то решения нет ещё насчёт того, что делать с несколькими потоками скрапи, когда в один из них прилетает капча? Пока она решается - все потоки собирают так же себе по капче. И в итоге вместо одной, решать приходится десяток

А, да, я просто неправильно похоже прочел ветку про это на гитхабе. Ну плач Ярославны был в октябре, в этом чатике, а надо было походу на гитхабе плакать.

да, как раз я в октябре глянул на patch notes

и расплакался ^_^

а кукисы разные для разных потоков? А то смотрю вот http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#std:reqmeta-cookiejar

так там еще вроде как заморочиться надо с cookiejar чтобы даже разные пауки использовали разные кукисы

еще чуть дальше про meta['dont_merge_cookies'] описано. Хм, может быть происходит так, что когда оно мержит разные куки, то они могут неправильно смержиться? К примеру из той штуки, где капча еще не решена. Или это вообще не про это механизм а для "нижестоящих фукнций" и последующих вызовов.

Нормально оно мерджит, это просто обновление кукисов от респонса

а оно не влияет на соседние треды?