Телеграмм чат группы scrapy

или то, что сервисом висеть? да и пусть себе висит, ты все-равно постепенно будешь переходить от простого к сложному, и со временем тебе потребуется всякое

источник

08:29пожаловаться #6

i

ildar in Scrapy

и вот когда оно тебе потребуется, ты в условно "простой" вилларибе задолбаешься мыть посуду, а в виллабадже это уже реализовано.

источник

08:30пожаловаться #7

i

ildar in Scrapy

ну дело твое, я прост такое уже проходил, с мыслями "надо было не выпендриваться и сразу брать ту штуку"

источник

08:31пожаловаться #8

i

ildar in Scrapy

зато теперь я знаю 2 штуки, хехе

источник

08:31пожаловаться #9

AB

A B in Scrapy

хотел от простого к сложному.

источник

08:31пожаловаться #10

s

serhii in Scrapy

ildar

а почему редис не охота использовать?

мемкэшд еще проще. чего не выбрать с этих 2-х @xDEADBEEF

источник

09:36пожаловаться #11

i

ildar in Scrapy

Ну я за) хорошо еще выбрать с них тот, в котором сериализация максимально удобная и надежная

источник

09:38пожаловаться #12

AB

A B in Scrapy

serhii

мемкэшд еще проще. чего не выбрать с этих 2-х @xDEADBEEF

так много всего вкусного, я пока ничего из этого на практике не использовал, даже и не знаю с чего начать. пока сложно понять, какие плюсы, минусы и подводные камни у чего.

источник

09:50пожаловаться #13

AB

A B in Scrapy

питоню уже лет пять с перменным успехом по выходным, но только сейчас начал вникать во все эти веб технологии, что в принципе довольно увлекательно.

источник

09:53пожаловаться #14

s

serhii in Scrapy

A B

питоню уже лет пять с перменным успехом по выходным, но только сейчас начал вникать во все эти веб технологии, что в принципе довольно увлекательно.

мемкэшд для старта самое то

источник

10:51пожаловаться #15

s

serhii in Scrapy

https://docs.scrapy.org/en/latest/topics/practices.html#run-from-script - парни, не могу понять, как переписать скрапи проект в один скрипт, передавая при этом аргументы.
т.е. в скрапи проекте аргументе работают копипастю строки с доки и их там нет ((

источник

10:52пожаловаться #16

s

serhii in Scrapy

serhii

https://docs.scrapy.org/en/latest/topics/practices.html#run-from-script - парни, не могу понять, как переписать скрапи проект в один скрипт, передавая при этом аргументы.
т.е. в скрапи проекте аргументе работают копипастю строки с доки и их там нет ((

разобрался

источник

11:06пожаловаться #17

AB

A B in Scrapy

так парни у меня снова затык, в этот раз с item и ItemLoader. сделал паука, грабит список продуктов, и спавнит реквесты на страницы с товаром. ответы отрабатываю методом

get_infos(self, response, itemloader: ItemLoader)

, то есть передаю текущий ItemLoader объект, чтобы в там его дополнить нужной инфой. но как-то с этим у меня полная просрация случается. вот минимальный пример: https://pastebin.com/y9r8CN7p

38 строчка должна быть

itemloader.add_css('tags', '.tags.expandable .search__link::text')

Pastebin

[Python] load of shit - Pastebin.com

источник

13:50пожаловаться #18

AB

A B in Scrapy

что не так?

источник

13:51пожаловаться #19

s

serhii in Scrapy

не слишком понятна проблема, ошибка какая вызывается, в каком месте кода, скинутого.

источник

13:53пожаловаться #20