Size: a a a

2020 April 06

К

Кирилл in Scrapy
Логи ядра можно посмотреть, оно напишет если кто-то себя плохо ведет и его пришлось убить. dmesg
источник

К

Кирилл in Scrapy
Но даже с 1gb ram нужно "накодить" чтоб память закончилась
источник

РТ

Ренат Турсунбаев in Scrapy
Кто-нибудь запускал скрапи в докере? Питон из образа под рутом работает и соответственно файлики пишет в конечную папку тоже под рутом. Папка подключена как том из хоста
источник

К

Кирилл in Scrapy
Ренат Турсунбаев
Кто-нибудь запускал скрапи в докере? Питон из образа под рутом работает и соответственно файлики пишет в конечную папку тоже под рутом. Папка подключена как том из хоста
А в чем вопрос?
источник

РТ

Ренат Турсунбаев in Scrapy
Короче мне надо эту папку заархивировать и переложить в другое место скриптом из хост системы, можно ли как-то настроить образ/контейнер, чтобы файлы сразу писались под правами пользователя хост-системы?
источник

РТ

Ренат Турсунбаев in Scrapy
гуглил, возможно плохо, но у меня ничего не вышло
источник

РТ

Ренат Турсунбаев in Scrapy
по тем советам, что в интернетах
источник

К

Кирилл in Scrapy
Посмотри  docker run -u может это подойдет
источник

РТ

Ренат Турсунбаев in Scrapy
я понял
источник

DM

Dinis Monteiro in Scrapy
Hello. There is any way to set the quality for thumbs when dealing with images in scrapy?
источник

AR

Andrey Rahmatullin in Scrapy
Dinis Monteiro
Hello. There is any way to set the quality for thumbs when dealing with images in scrapy?
what quality? size, JPEG compression, something else?
источник

DM

Dinis Monteiro in Scrapy
Andrey Rahmatullin
what quality? size, JPEG compression, something else?
I mean jpeg compression
источник

AR

Andrey Rahmatullin in Scrapy
no, you'll need to inherit from ImagesPipeline and redefine convert_image()
источник

DM

Dinis Monteiro in Scrapy
Ok, thank you.
источник

AR

Andrey Rahmatullin in Scrapy
assuming it's possible to set at all in Pillow's methods we use
источник

DM

Dinis Monteiro in Scrapy
@wrar42 It works great. I just need to override convert_image and set quality in save()
источник

AR

Andrey Rahmatullin in Scrapy
Great
источник

МС

Михаил Синегубов in Scrapy
господа, очередная "нубятина"
есть более умный метод отправить "multipart/form-data" из скрапи чем "тупо прописать все ручками" ?
источник

B

Bulatbulat48 in Scrapy
Михаил Синегубов
господа, очередная "нубятина"
есть более умный метод отправить "multipart/form-data" из скрапи чем "тупо прописать все ручками" ?
похоже забили на PR https://github.com/scrapy/scrapy/pull/1954
источник

МС

Михаил Синегубов in Scrapy
Я есть плакаль😭
источник