Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 April 17

Alexander Chaptykov in Scrapy

а как?
я щас вот так реализовал

scrapy crawl splash -s CUSTOM_PIPE="{'crawler.pipelines.init…

а потом уже делаю парсинг и вставляю немного в обход получилось

Извращения

Alexander Chaptykov in Scrapy

а как надо?

источник

15:52пожаловаться #3

Кирилл in Scrapy

Интересна ситуация, при которой нужно постоянно пайпы менять

источник

15:54пожаловаться #4

Alexander Chaptykov in Scrapy

ну у меня например настройки запуска такие
спайдер - имя
источник урлов- таблица
лимит - сколко берем
параметры обработки - разные пайпы разные параметры логирования
куда кладем результат - имя таблицы

источник

15:57пожаловаться #5

Alexander Chaptykov in Scrapy

и когда нужно что-то отдебажить то надо быстро поменять настройки и когда это все раскидано на 2-3 файла то неудобно

источник

15:57пожаловаться #6

Alexander Chaptykov in Scrapy

гораздо легче менять настройки в одном месте

источник

15:57пожаловаться #7

Alexander Chaptykov in Scrapy

иногда нужно быстро пробить 2-3 урла

источник

15:58пожаловаться #8

Alexander Chaptykov in Scrapy

например с определенными параметрами парсинга

источник

15:58пожаловаться #9

timuchin telegram in Scrapy

Всем привет. подскажите, как записать значение в таблицу игнорируя дубликаты, с помощью sqlalchemy?

источник

16:06пожаловаться #10

Кирилл in Scrapy

Alexander Chaptykov

а как надо?

Та в общем-то, используй если работет
Только пайпы для обработки данных, а не для лимитов и источников

как вариант, это кастомные комманды, там можно задавать настройки, и параметры через -a которые передаются в паук

источник

16:08пожаловаться #11

Кирилл in Scrapy

timuchin telegram

Всем привет. подскажите, как записать значение в таблицу игнорируя дубликаты, с помощью sqlalchemy?

какая бд

источник

16:10пожаловаться #12

timuchin telegram in Scrapy

sqlite

источник

16:10пожаловаться #13

Alexander Chaptykov in Scrapy

ну у меня пайп например есть который создает список start_urls и я могу быстро поменять пайп ответственный за создание этого списка, т.к. список может быть из разных баз и таблиц или из цсв

источник

16:11пожаловаться #14

Alexander Chaptykov in Scrapy

но если есть идея, как сделать лучше буду рад, если поделишься

источник

16:12пожаловаться #15

Кирилл in Scrapy

timuchin telegram

sqlite

https://docs.sqlalchemy.org/en/13/dialects/sqlite.html#on-conflict-support-for-constraints

источник

16:12пожаловаться #16