что то фигня, что это

я бы наверное прямо из паука слал

Взять экспортер в s3 и  написать аналог

парни, подскажите неучу... имею ссылку вида
/%D0%BA%D0%BB%D0%B8%D0%BD%D0%B5%D1%80.doc?hash=21dbf5a10005eda43100458bc7375a49664673
при гет запросе на которую (например в браузере) приходит вордовский файл. как мне этот файл получить в пауке? если ссылку втыкать в FilePipeline - он ругается что то типа "неизвестная схема" т отказывается скачивать

ээ

response.urljoin()

нет нет, там ссылка с полным началом, с хттп:// и тому подобным. это я начало обрезал что всю не втыкать на несколько строчек

тогда оно не может говорить "неизвестная схема"

да тоже удивлен.... сейчас внимательнее смотреть буду, что еще остается

а, я дебил. file_urls  список же требует а не строку

ы

этот ваш питон

один знакомый лютый жабаскриптер возмущался как то, "да что это за язык такой, который крашится от
None type object has no attribute strip() 😂

действительно

да да.. без скобок.

порекомендуйте прокси для скрапа, сейчас прокси пул, но он какой-то очень слабый.  Еще видел скрапи-ротейтед-прокси 0.1.5

https://github.com/TeamHG-Memex/scrapy-rotating-proxies
от этим пользуюсь, пока нареканий не было

если нужен именно ротатор

Интересно, какая история стоит за крайне оперативным выпилом поддержки leveldb 😞в 1.8 и теперь в 2.0. "А оно ниработаит!11". И побежали выпилили блин вприпрыжку. Чо не работало, спрашивается, все работало 😞
Пищаль, была штука, подключалась одной строчкой, быстрая паковка-распаковка,  архивация на лету, и что главное - мало файлов, дисковый кэш на лям ссылок грохнуть это несколько минут на ssd, а тут легко. Может кто поделится лайфхаками? Может том в виде файла монтировать? Боюсь только в отличие от leveldb там защита от условного вырубания электричества не очень. И вообще, сейчас получается только DBM остался? Как у него со скоростью работы?