А где он сам?

Его уже нигде нет

а потом передаю список ссылок в паука, там ссылки через сплэш обрабатываются

насколько по 10тя бальной похоже на костыль?

Жалько пацана, земля пуховиком

а чтоб он при такой ошибке еще раз пробовал сделать реквест?

или скрапи не может нормально в парсинг динамических страниц?  у меня готовый парсер на селениуме, но очень долго работает, перерыл интернет, нашел скарпи

В ботоиде ещё остался

Замученый

иногда может, иногда не может. Зависит от прокладки между спинкой стула и монитором 😂
а если серьезно, зависит от защиты. Некоторые дешевле тем же селениумом парсить

у меня селениум отрабатывает за 3к секунд, скарпи 1200, но много данных теряется и ошибки 503 выдает

может есть какой то инструмент для парсинга динамичных страниц? чтоб без кослытей и быстро)

Было что то такое от гугла вроде

Погугли

Всем привет!
Делаю парсинг ответов на мейлру, а именно парсинг выдачи "поиск по вопросам".
Страница явно наполняется через js, но никакого json'a в xhr не приходит. Все что нашел это вот такой запрос, который никакой data не возвращает. Есть подозрение что там все делается на стороне фронта. Задача спарсить без имитации браузера, вытащить реквест к базе. Ковырял сейчас js код, пока ничего толкового не нашел. Может подскажет кто, куда копать?

Мб сплэш или селениум?

это изи конечно, но задача спарсить без имитации браузера