ну все пакеты начинались с нескольких строк.
рандом юзер агент. казалось бы.
список юзер-агентов, модуль рандом и все.
а сейчас многие проекты разрослись. и платформу можно выбирать - мобила, комп.
и операционку и так далее.
ну если и правда три строки. то в гист класть и все.

вооо, как раз рандом юзерагент у меня хренново пашет. Если онлайн не особо работает. На работе, похоже, кто-то хост блокирует. Либо керио, либо провайдер.
И клиенты жаловались 😄

кстати, что посоветуете насчет In Memory DB. Приоритет - простота установки (или без установки).
Объемы данных пара таблиц по несколько десятков тыс. записей, скорее всего, даже меньше.

Хранить на диске не надо.

Про базу подумал - мне надо "флаги" использовать. По типу "количество успешных запросов" по записям, ну и выборка с сортировкой.

Может и не база данных, просто у меня только такая терминалогия в голове.
Сам только про SQLite знаю, но вдруг есть более "правильное" решение :)))

raise CloseSpider работает как-то странно, выкидывает раньше, чем можно.
видимо асинхронные запросы шлются ибо то ноль со 10 то 15 с одной и той же страницы данных он сохраняет

Вроде если еще есть запросы в очереди, он их доделает

все. джейсон местами мусор отдает, логику исправил. тестирую

народ, если кто сталкивался, как Cloudflare обходили?

как-то тут пробовали отреверсить

а так, если лень реверсить, то сплеш можно попробовать или хеадлесс хром

думал может кто какой еще выход нашел... Да я, сам селениум прикрутил для этого. Но это медленно

Ну прокси и хедер

какой прокси хедер.... там яваскрипт исполняется на входе...

Это если спросят

вот JS попробуй обработать например через https://github.com/PiotrDabkowski/Js2Py

столкнулся с таким, который в любом случае при входе запускает

Скорее всего айпишники уже в чс

ну это уже другой вопрос

У меня пока все апишники на ошибку 403 не ушли и так парсило норм

С куками наверное можно юзать как-то с привязкой к ip. Что якобы ты уже подтверждал что не робот.

Я немного с этим не силен