A
OK, thats awesome
Size: a a a
2021 June 16
A
so first I have to extract txt and then I have to recompose the request with the data
АК
Is there somebody who have used scrapy-do?
АК
When I try to push my spider it always pushes warning: “unable to get list of spiders”. Help me please 🙏
O
Может кто сталкивался, качаю скрапи на мак, пишет что успешно скачан
O
Но потом при вызове пишет что команды scrapy не сущетсвуеь
AR
как качаешь?
O
sudo -H pip3 install scrapy
O
Кто нибудь знает, можно scrapy завернуть в exe файл?
NS
Подскажите пж! При парсинги появляется ошибка:
2021-06-16 16:15:31 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://cibtvisas.co.uk/> from <GET https://cibtvisas.co.uk/requirements>
Если изменить CONCURRENT_REQUESTS с 16 до например 5, то все нормально. Почему так?
2021-06-16 16:15:31 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://cibtvisas.co.uk/> from <GET https://cibtvisas.co.uk/requirements>
Если изменить CONCURRENT_REQUESTS с 16 до например 5, то все нормально. Почему так?
МС
а ошибка где?
NS
2021-06-16 16:15:31 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://cibtvisas.co.uk/> from <GET https://cibtvisas.co.uk/requirements>
МС
это редирект, и это не ошибка. Если он бросает на что то типа "да ты ахрененл в многопотоке парсить" то либо понижай количество, либо пользуй прокси
NS
Спасибо
М
Кто может помочь?
https://ru.stackoverflow.com/q/1294222/404352
https://ru.stackoverflow.com/q/1294222/404352
