Size: a a a

2020 April 17

A

Andrii in Scrapy
Вопрос. Я динамично генерирую переменную (посетителей _ {год}), а это не нравится йелду Айтемов. Что делать?
источник

A

Andrii in Scrapy
источник

A

Andrii in Scrapy
в айтем записать все года с 2000 по 2020 ?
источник

AR

Andrey Rahmatullin in Scrapy
да, либо не юзать айтемы
источник

AR

Andrey Rahmatullin in Scrapy
либо класть это в дикт и класть дикт в одно поле
источник

AR

Andrey Rahmatullin in Scrapy
либо наверно можно сабкласснуть айтем и поменять ему машинерию
источник

A

Andrii in Scrapy
Andrey Rahmatullin
либо наверно можно сабкласснуть айтем и поменять ему машинерию
О, а есть где про ето прочитать подробнее? Или гугль?)
источник

AR

Andrey Rahmatullin in Scrapy
я думаю это не документировано
источник

AR

Andrey Rahmatullin in Scrapy
но скорее всего там не больше 100 строк вся эта реализация, влом смотреть
источник
2020 April 18

O

Orekhov Web Dev. in Scrapy
всем привет, столкнулся с проблемой
пытаюсь написать парсер mvideo.ru, а там все странице динамически подкидываются
как можно вытащить инфу?
источник

AR

Andrey Rahmatullin in Scrapy
источник

i

ildar in Scrapy
кто-нибудь использовал semidbm в качестве кэша? А то под виндой только его что-то нахожу, и пугает, что разработку бросили, и даже _enter_ в with не реализован.
источник

i

ildar in Scrapy
мде, эта штука почему-то тупо пишет 2й раз данные в файл базы (судя по увеличивающемуся размеру) и не может взять их оттуда же (видать фингерпринт как-то меняется). При том, что dbm, который под виндой вырождается в dbm.dumb - нормально пашет
источник

r

r4khic in Scrapy
это пиздец товарищи
источник

r

r4khic in Scrapy
ну кто так делает
источник

AR

Andrey Rahmatullin in Scrapy
Лол
источник

🎅B

🎅 Austin Bluethy in Scrapy
Здравствуйте, я тупой, поэтому не могли бы вы объяснить мне, как это работает, заранее спасибо

from scrapy.loader import ItemLoader
from scrapy.loader.processors import TakeFirst, MapCompose, Join

class ProductLoader(ItemLoader):

   default_output_processor = TakeFirst()

   name_in = MapCompose(unicode.title)
   name_out = Join()

   price_in = MapCompose(unicode.strip)
источник

AR

Andrey Rahmatullin in Scrapy
Что именно?
источник

🎅B

🎅 Austin Bluethy in Scrapy
Andrey Rahmatullin
Что именно?
Как работает и что вообще делает TakeFirst, MapCompose, Join?
источник

AR

Andrey Rahmatullin in Scrapy
Ну почитай доку про процессоры
источник