так юзер аген то на что

Окей, я проверю

у селениума есть юзер агент, это же нормальный браузер

если ты его конечно не запускаешь с каким-нибудь фантомом

такой вопрос: страница товара, с данными и несколькими фото одного товара. Данные, понятно, без проблем собираются в итемы. Нужно скачать фото и сложить по отдельным папкам к каждому товару. пробовал качать через Images Pipeline, но он переименовывает файлы в их хеш-суммы и сваливает все в один каталог. Вроде в доках написано, что можно качать не изменяя название файлов, но у меня почему то не получается... Вопрос в итоге - как качать фото не меняя имена и раскладывать по папкам, чтоб потом связать с каждой единицей товара?

видел одну реализацию, но там была какая то жесть, черех PIL, BytesIO и hashlib перед заливкой в БД. Тут вопрос, можно ли это все сделать проще средствами Scrapy?

ты сделал этот вариант из доков, с кастомным пайплайном?

ну да... там где есть возможность еще вьюхи делать

это? https://doc.scrapy.org/en/latest/topics/media-pipeline.html#scrapy.pipelines.images.ImagesPipeline.file_path

именно

нужно None добавить, будет работать

Сколько у вас уходит времени на написание скраперов? В зависимости от сайта(блог <5к, магазин <100к, портал <1м)

если ты про парсер спрашиваешь, а не сами данные, то тут больше от структуры зависит, а не от объёма

Ну, это то же самое, что ты ответишь на вопрос "А сколько времени уходит на подготовку этикетки к печати"
Кирилл чуть обогогнал :), можно и с одной страницей весь день проипаться, и весь магаз (без самого парсинга) за пол часа накатать :)

И тут показано как айтем взять и не только

спасибо, гляну позже поподробнее

На пасте пример как на основе ссылки переименовать картинку. А как раскидывать ты можешь написать в айтем и достать айтем в пайплайне или прям там на основе урла папку новую замутить и туда кидать