Size: a a a

2020 March 04

МС

Михаил Синегубов in Scrapy
ildar
Интересно, какая история стоит за крайне оперативным выпилом поддержки leveldb 😞в 1.8 и теперь в 2.0. "А оно ниработаит!11". И побежали выпилили блин вприпрыжку. Чо не работало, спрашивается, все работало 😞
Пищаль, была штука, подключалась одной строчкой, быстрая паковка-распаковка,  архивация на лету, и что главное - мало файлов, дисковый кэш на лям ссылок грохнуть это несколько минут на ssd, а тут легко. Может кто поделится лайфхаками? Может том в виде файла монтировать? Боюсь только в отличие от leveldb там защита от условного вырубания электричества не очень. И вообще, сейчас получается только DBM остался? Как у него со скоростью работы?
хм, это все рептилоиды....
сейчас посмотрел 1.7.4 разница в модулях только в секции импорта и выкусанном LevelDB. Так что, думаю, можно оттуда класс выкусить в свои либы.

насчет "почему", это может Андрей подскажет, подозреваю - вопрос стратегии дальнейшего развития, но жто всек из пальца высосал🧐
источник

A

Anton in Scrapy
Приветствую! Кто-нибудь может подсказать. Читаю книгу по Scrapy, там делают лоадер, и убирают пробелы и лишние символы методом MapCompose(unicode.strip). Делаю так же, получаю ошибку name 'unicode' is not defined. Это не работает в Python 3?
источник

AR

Andrey Rahmatullin in Scrapy
да, там str
источник

A

Anton in Scrapy
Такой код.
goods = ItemLoader(item=SiteItem(), response=response)
goods.add_css('book_avail', 'div.shop__info-content::text', MapCompose(unicode.strip))
источник

AR

Andrey Rahmatullin in Scrapy
ildar
Интересно, какая история стоит за крайне оперативным выпилом поддержки leveldb 😞в 1.8 и теперь в 2.0. "А оно ниработаит!11". И побежали выпилили блин вприпрыжку. Чо не работало, спрашивается, все работало 😞
Пищаль, была штука, подключалась одной строчкой, быстрая паковка-распаковка,  архивация на лету, и что главное - мало файлов, дисковый кэш на лям ссылок грохнуть это несколько минут на ssd, а тут легко. Может кто поделится лайфхаками? Может том в виде файла монтировать? Боюсь только в отличие от leveldb там защита от условного вырубания электричества не очень. И вообще, сейчас получается только DBM остался? Как у него со скоростью работы?
оно не работает в 3.8
источник

A

Anton in Scrapy
понятно, спасибо
источник

М

Мак in Scrapy
можно ли DOWNLOAD_DELAY отключить для некоторых методов?
источник

E

Evgen in Scrapy
Я не знаю такого способа, но нвверное  можно сделать middlewaere с defertothread функцией и впаять туда sleep
источник

М

Мак in Scrapy
тогда проще sleep впаять перед каждым yield))
источник

МС

Михаил Синегубов in Scrapy
Мак
тогда проще sleep впаять перед каждым yield))
не поще
это проще, если у тебя очередь из десятков запрсов. И да, слип у тебя на весь класс будет работать
источник

E

Evgen in Scrapy
Он будет весь паук блочить
источник

М

Мак in Scrapy
нда, печалька тогда
источник

МС

Михаил Синегубов in Scrapy
хотя, если скорость пофиг, и адекватное (для данной ситуации) кол-во запросов, то да, тогда выход
источник

М

Мак in Scrapy
тут куча параллельных запросов в некоторых местах идет, а DOWNLOAD_DELAY ведь все методы тормозит?
источник

G

Genadyi in Scrapy
Кто знает про Oxid Eshop?
источник

МС

Михаил Синегубов in Scrapy
Мак
тут куча параллельных запросов в некоторых местах идет, а DOWNLOAD_DELAY ведь все методы тормозит?
насчколько я вижу, это типа паузы между запросами...
тут надо разделять понятия метод/запрос. Ты про какие методы говоришь?
источник

М

Мак in Scrapy
Михаил Синегубов
насчколько я вижу, это типа паузы между запросами...
тут надо разделять понятия метод/запрос. Ты про какие методы говоришь?
сайт при переходе на страницу отправляет кучу запросов на свою серверную часть (в разные адреса), в ответ на которые приходит разная инфа. мне же задержка запроса нужна только при переходе на следующую страницу. а приходится же воспроизводить все эти запросы один за другим и тащить всю добытую дату через эти запросы транзитом. вот мне и надо, чтоб задержка была только при переходе на страницу, а все дополнительные запросы пролетали без задержки
источник

МС

Михаил Синегубов in Scrapy
Мак
сайт при переходе на страницу отправляет кучу запросов на свою серверную часть (в разные адреса), в ответ на которые приходит разная инфа. мне же задержка запроса нужна только при переходе на следующую страницу. а приходится же воспроизводить все эти запросы один за другим и тащить всю добытую дату через эти запросы транзитом. вот мне и надо, чтоб задержка была только при переходе на страницу, а все дополнительные запросы пролетали без задержки
а без паузы не вариант? совсем-совсем банит?
источник

E

Evgen in Scrapy
Ну я ж сказал делайте мидлварь который будет тока на определенные запросы задержку делать
источник

AS

Alexander Serebrov in Scrapy
можно доп реквесты сделать inline_requests, а все остальное оставить "как обычно" :)
источник