переехать в другой город? =)

DOWNLOAD_DELAY = 5 - вот такое вставь в сеттингс пай

Ок, спасибо!

USER_AGENT = "Mozilla/5.0 (X11; Fedora; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0"
и это

scrapy-random-useragent - эту либу я давненько юзал для смены юзер агента.

можно это посмотреть, к скрапискрипту подключал ее - user-agent

> $ pip search scrapy-random-useragent                                                        
scrapy-random-useragent (0.2)             - Scrapy Middleware to set a random User-Agent for
                                            every Request.
random-useragent (1.0)                    - A python library for generating random user-agent
                                            strings
scrapy-fake-useragent (1.1.0)             - Use a random User-Agent provided by fake-
                                            useragent for every request
dummy-useragent (0.7)                     - random useragent without network
scrapy-random-ua (0.3)                    - Scrapy Middleware to set a random User-Agent for
                                            every Request.
scrapy-fake-useragent-fix (0.1.1)         - Use a random User-Agent provided by fake-
                                            useragent for every request
random-ua (1.0)                           - UserAgent Rotator
scrapy-proxies (0.4)                      - Scrapy Proxies: random proxy middleware for
                                            Scrapy
fake-useragent (0.1.11)                   - Up to date simple useragent faker with real world
                                            database

в общем либ хватает

> $ pip search scrapy-random-useragent                                                        
scrapy-random-useragent (0.2)             - Scrapy Middleware to set a random User-Agent for
                                            every Request.
random-useragent (1.0)                    - A python library for generating random user-agent
                                            strings
scrapy-fake-useragent (1.1.0)             - Use a random User-Agent provided by fake-
                                            useragent for every request
dummy-useragent (0.7)                     - random useragent without network
scrapy-random-ua (0.3)                    - Scrapy Middleware to set a random User-Agent for
                                            every Request.
scrapy-fake-useragent-fix (0.1.1)         - Use a random User-Agent provided by fake-
                                            useragent for every request
random-ua (1.0)                           - UserAgent Rotator
scrapy-proxies (0.4)                      - Scrapy Proxies: random proxy middleware for
                                            Scrapy
fake-useragent (0.1.11)                   - Up to date simple useragent faker with real world
                                            database

Спасб

Подскажите добавил в pipelines запись в sqlite , но где кто как делает , кто то коммитит запись на добавлении кто то при закрытии спайдера , как лучше сделать?

зависит от количества итемов, если много, то нужно часто коммитить

Какие вы не стандартные библиотеки используете вместе со скрапи?

Вопрос в том , запись идёт в 1 поток ну в смысле сам скрапи это ограничивает

Или нужно что то самому делать

Sqlite вроде и так операции изменения базы в несколько потоков делать не будет

sqlite однопоточна по своей природе. я бы попробовал настроить автокоммит и пихал бы балком...

Привет, вопрос про CrawlSpider
Если у меня два рула - один на пагинацию (без callback-а, просто что бы ходить по пейджах), а второй на переход по продуктах на страницу (с колбеком, для парсинга данных продукта), то они будут работать рекурсивно?
то есть на пейдже которую я получили через первый рул, будет применятся второй рул автоматом?

да

ок, спасиб

Кто нибудь прикручивал scrapy-rotating-proxies к scrapy-splash?

https://github.com/aivarsk/scrapy-proxies здесь есть, в PR посмотри