AR
ну, можно мастер взять
Size: a a a
2020 February 28
EB
еще, кстати, проблема может быть с файрволами, бд может быть закрыта, а пауки запускаться на сторонних серверах
К
Кто знает, как можно использовать эксепшн ImageException который кидает ImagesPipeline при минимальных размерах изображений чтоб сделать кастомную логику для маленьких изображений. Или в каком-то другом месте впилиться, чтоб можно было использовать размеры изображения?
Про свой папйплайн с Image.open('image.png').size понятно, но интересно есть ли способы использовать существующие исключения
Про свой папйплайн с Image.open('image.png').size понятно, но интересно есть ли способы использовать существующие исключения
Ладно, я так понимаю, нужно повторно изображение открывать и брать размеры
МС
Ладно, я так понимаю, нужно повторно изображение открывать и брать размеры
Ну, в родном пайпе есть метод image_downloaded, там размеры всплывают. Можно его аккуратненько попробовать перекрыть
Где фильтр по размерам, ещё не копался. Уехал с работы
Где фильтр по размерам, ещё не копался. Уехал с работы
RG
для себя юзаю jl, csv не всегда удобно, особенно когда разный набор колонок(нужно в пауке все указывать)
а можно с этого момента поподробнее? каким образом юзать .jl и выводить его в нужный для себя формат? Я вообще о .jl узнал только когда начал юзать scrapyd. Что это за формат и с чем его едят?)
AR
JSON lines
AR
Каждый итем отдельным жсоном
К
JSON Lines
http://jsonlines.org/
http://jsonlines.org/
EB
а можно с этого момента поподробнее? каким образом юзать .jl и выводить его в нужный для себя формат? Я вообще о .jl узнал только когда начал юзать scrapyd. Что это за формат и с чем его едят?)
просто как формат, вместо scrapy crawl spider -o out.csv использую -o out.jl
EB
можно файл по строчкам читать и каждая строка отдельный json
EB
есть либы для питона
EB
для меня основным преимуществом является то, что в json можно деревбя использовать
EB
ну и я не заморачиваюсь с классом итема, а просто yield {‘k1’: ‘v1’, ….} делаю
RG
все понял. спасибо парни! тогда вообще не проблема, просто импортну этот файл в csv да и все. не понятно почему разрабы scrapyd этот формат захарткодили без возможности самому указать. Может он типа более производительнее на запись?
EB
захардкодили?
A
Друзья, нужен совет. Есть таблица, делаю поиск по наличию слова (email, phone ...) - нахожу (в column 1). А как теперь перейти на column 2 и взять текст?
A
EB
td[2] в томже tr