из сайта выдрать

ты же сам запрос не сам написал, а из сайта выдрал, не?

они хеш раз в 2-3 дня меняют

не могу найти где они генерят етот хеш, походу где то в ДЖС

значит они и квери раз в 2-3 дня меняют, и у тебя тогда вариантов немного

Всем привет.
Всё время для прокси использовал RotatingProxyMiddleware, но теперь понадобились приватные прокси с логином и паролем. Как сделать так чтобы к всем прокси применялся один и тот-же логин и пароль?

scheme://username:password@host:port/

Да, спасибо. Уже разобрался с этим)

все еще relax?

нет

релакс дело пяти минут

уже пройдено

люди. Кто нить scrapy-redis плотно юзал?
у меня есть подозрения насчет их фильтра дубликатов....

либо там что то не так, либо я просто не умею готовить

мои глаза. какой видео урок по парсингу не открою так везде тупо копируют полный путь xpath, аааааа

А я пытаюсь всего-то понять в селениуме двигаться по html странице нужно обращаясь к прошлому поиску или нет
пример:
в BS4
title = soup.find('div', class_='title)
title_text = title.find('h1')

И я вот хочу понять в селениуме при парсинге так же надо обращаться к прошлой переменной или там просто пишешь дальше обращаясь к драйверу

Если нужны свежие данные  то лучше к драйверу

то есть можно и так и так?

Да, но вроде если к элементу обратиться, а он уже обновился на странице, то тебе ошибку кинет. Но это не точно, уже плохо помню

просто я к примеру хочу обратиться к тегу input
но сначала хочу спарсить div
и не могу понять, тут как в bs4 делается
или просто постоянно к драйверу обращаться