Все вроде бы просто, селектор ловит в браузере все фото, но в scrapy shell он видит только две

11 изображений есть в script[type="application/ld+json"] Размер можно получить просто изменив w_600,f_auto на w_2000,f_auto

Спасибо, а я сам не могу к апи запросы делать? Я вот я еще что нашел - https://www.reebok.ru/api/products/GY2711/ - где последнее это id продукта

там вроде json со всей инфой

Наверное можешь

Спасибо

Подскажите, с селениумом много не работал, по этому не компетентен в этом вопросе.

Я нашёл нужный проект по автоматизации на гитхабе, написанный на селениуме. Там используется non headless(т.е открывается окно браузера и ты видишь как оно всё само тыкает)
Собственно вопрос, в теории если я изменю настройки на headless. и запущу скрипт оно должно так же работать?
Спрашиваю потому что пока что протестить этот проект не могу

Теоретически будет, но возможно нужно будет добавить в настройки размеры окна и т.п. Если были причины на использование такого варианта

Всем добрый день. Вопрос, как преобразовать request.headers в нормальный (не байтовый) тип для записи в логи
вот как он возвращается: DEBUG: {b'Referer': [b'https://yandex.ru/'], b'User-Agent': [b'Mozilla/5.0....

Upd:
request.headers.to_unicode_dict()

Благодарю

Спецы по селениуму, подскажите плз как шевелить мышью?

я по другому делал

.decode("utf-8")
вот так можно ещё

для данного типа не подходит

ну это для строки, не для словаря

в твоем случае тот вариант который ты сделал, намного круче и удобнее, да

Затянулось конечно пару часов. Но вот, наконец дописал readme.

Вот этот .py файлик сохраняет куки в json и после можно и использовать
https://github.com/r1nko/scrapy_manage_cookies

Очень буду признателен за критику, идеи и предложения

страшно конечно, очень страшно

не боись, какашками не больно закидаем

круто конечно если бы это из коробки было в скрапи, написал в сетингах мол AUTO_SAVE_COOKIES=TRUE и всё)