Телеграмм чат группы scrapy

Для самых простых кейсов - тоже рекомендую решение на базе scrapy-plugins/scrapy-deltafetch
В промышленных масшатабах - разбивать на несколько этапов, строить чейны джобов с помощью того же Celery.

источник

10:35пожаловаться #9

A B in Scrapy

ещё я пока толком не разобрался со всеми этими мидлварями, оно всё увлекательно, но до конца я не разобрался, что иммено какая прослойка делает, и как какие-то свои кейсы реализовать через них, мне пока сложно придумать.

источник

10:36пожаловаться #10

ildar in Scrapy

ну в этой дельтафетчи смутно помнится 3 функции строк на 100, можешь поглядеть как пример ее как подобную мидлварю строить)

источник

10:37пожаловаться #11

Roman V in Scrapy

Еще, как вариант - делать запрос на апишку, проверяя есть ли товар в базе. Запросы буду неблокирующими.

источник

10:38пожаловаться #12

ildar in Scrapy

она расширяет вот это: https://docs.scrapy.org/en/latest/topics/signals.html

источник

10:38пожаловаться #13

A B in Scrapy

до сигналов в документации я ещё не добрался.

источник

10:39пожаловаться #14

ildar in Scrapy

ха, кстати помнится я как-то делал с либой dataset на sqlite, так кто-то из них плакал как раз про "эти твари все разом в меня пишут, ататат!")

источник

10:40пожаловаться #15

ildar in Scrapy

так-что прочесть-то не проблема, проблема может возникнуть за записать в базу "я здесь был вчера"

источник

10:41пожаловаться #16

ildar in Scrapy

наверное в берклидб есть неблокирующая запись. правда, настораживает, что этому коду 3 года

источник

10:43пожаловаться #17

Roman V in Scrapy

70К - это немного и если важна скорость - можно просто по spider_opened загружать все идентификаторы в сет, тогда дубликаты будут отфильтровываться молниеносно. Универсального решения нет, нужно смотреть по конкретному кейсу.

источник

10:44пожаловаться #18

Roman V in Scrapy

ildar

наверное в берклидб есть неблокирующая запись. правда, настораживает, что этому коду 3 года

Я бы его как есть не юзал, скорее как пример :)

источник

10:47пожаловаться #19

A B in Scrapy

спасибо парни за дельные советы и пищу для размышлений. вообще уютно тут у вас, в каком-нибудь ява чатике меня бы уже давно нахуй послали и по айпи забанили бы.

источник

10:48пожаловаться #20