Size: a a a

2020 February 20

EB

Elisei Badanin in Scrapy
гугл говорит, что там апсерт есть, но сам не пользовался
источник

М

Мак in Scrapy
Postgre слишком уж тяжеловесная для пары тысяч записей в таблице
источник

iz

izzz zzi in Scrapy
Мак
парни, может кто пайпом с sqlalchemy поделиться для изучения? с проверкой имеется ли уже итем в базе, желательно
источник
2020 February 21

AK

Alexander Kobyshev in Scrapy
Коллеги, привет. Может я тут  смогу найти помощь) нужен человек, который сможет написать 3 скрипта, которые будут собирать данные из рекламных кабинетов гугл/яндекс/фейсбук. Данные о компаниях: клики/показы и тд.  Кому интересно, могу описать подробности в личке.  Оплата на счет ИП или самозанятому. Все по договору только.
источник

IC

Iliya Chernikov in Scrapy
а там не скраппинг же можно а апи?
источник

AK

Alexander Kobyshev in Scrapy
больше скажу: только апи
источник
2020 February 22

iz

izzz zzi in Scrapy
есть ли параметр что бы при «pages (at 0 pages/min)» - стопарился паук?
источник

К

Кирилл in Scrapy
izzz zzi
есть ли параметр что бы при «pages (at 0 pages/min)» - стопарился паук?
Нет
источник

iz

izzz zzi in Scrapy
А как тогда лучше остановить , завершить работу ?
источник

К

Кирилл in Scrapy
Бери высчитывай значения, как тут https://github.com/scrapy/scrapy/blob/1fd1702a11a56ecbe9851ba4f9d3c10797e262dd/scrapy/extensions/logstats.py#L40 и кидай исключение CloseSpider
источник

iz

izzz zzi in Scrapy
thx
источник

E

Evgen in Scrapy
Дык pages=0 значит у вас все запросы висят и ждут ответа больше минуты. Порежьте таймаут да они раньше отвалятся
источник

iz

izzz zzi in Scrapy
Evgen
Дык pages=0 значит у вас все запросы висят и ждут ответа больше минуты. Порежьте таймаут да они раньше отвалятся
Тайм-ауты наоборот больше делал , тк сайт начинает 500 при большем кол-во запросов
источник

AR

Andrey Rahmatullin in Scrapy
но ведь таймауты это про ожидание ответа, а не про частоту запросов
источник

E

Evgen in Scrapy
если сайт банит - увеличивайте download_delay и/или ротируйте прокси
источник

iz

izzz zzi in Scrapy
Evgen
если сайт банит - увеличивайте download_delay и/или ротируйте прокси
Окей
источник
2020 February 23

G

Genadyi in Scrapy
Привет ребята, есть такой вопрос. Как включаю прокси сайт сразу кидает капчу, что можно с этим сделать?
источник

DO

Denis Olianiuk in Scrapy
Genadyi
Привет ребята, есть такой вопрос. Как включаю прокси сайт сразу кидает капчу, что можно с этим сделать?
на любом прокси?
источник

iz

izzz zzi in Scrapy
Genadyi
Привет ребята, есть такой вопрос. Как включаю прокси сайт сразу кидает капчу, что можно с этим сделать?
взять хороший прокси
источник

Q

Qwelcer in Scrapy
Ребята, а если нет тега "а" с ссылкой, то что нужно прописать в коде чтобы открыть нижнюю часть страницы?
источник