Size: a a a

2020 March 16

AB

Alexander B in Scrapy
any advice?)
источник

МС

Михаил Синегубов in Scrapy
блин, да как же все боятся сайты показывтаь....
варианты:
1. сервак не держит нагрузку (да да, иногда и от 10 одновременных запросов сервк падает)
2. блок по чатсоте запросов (тут надо текст ответа смотреть)
источник

К

Кирилл in Scrapy
попробуй поставить фикс delay
источник

К

Кирилл in Scrapy
Михаил Синегубов
блин, да как же все боятся сайты показывтаь....
варианты:
1. сервак не держит нагрузку (да да, иногда и от 10 одновременных запросов сервк падает)
2. блок по чатсоте запросов (тут надо текст ответа смотреть)
Чтоб супер-пупер бизнес модель не своровали
источник

AB

Alexander B in Scrapy
Михаил Синегубов
блин, да как же все боятся сайты показывтаь....
варианты:
1. сервак не держит нагрузку (да да, иногда и от 10 одновременных запросов сервк падает)
2. блок по чатсоте запросов (тут надо текст ответа смотреть)
Да чёт постеснялся))
источник

AB

Alexander B in Scrapy
Попробую фиксед
источник

МС

Михаил Синегубов in Scrapy
да, и фикс. делаи это первое что надо поставить, + в один "поток"
источник

К

Кирилл in Scrapy
авто тротл иногда так разгоняется, что страшно
источник

AB

Alexander B in Scrapy
Лады, спасиб
источник

S

Sergey in Scrapy
Подскажите, если в 1 поток, с таймаутом, с платным прокси сразу выдает капчу, что ещё можно придумать?
источник

S

Sergey in Scrapy
источник

К

Кирилл in Scrapy
Sergey
Подскажите, если в 1 поток, с таймаутом, с платным прокси сразу выдает капчу, что ещё можно придумать?
капча солверы
источник

S

Sergey in Scrapy
30 позиций * 107 страниц. Разорюсь
источник

К

Кирилл in Scrapy
ты для себя парсишь?
источник

S

Sergey in Scrapy
Нет
источник

К

Кирилл in Scrapy
обычно клиент платит, но об этом лучше заранее договариваться
источник

AB

Alexander B in Scrapy
Кирилл
обычно клиент платит, но об этом лучше заранее договариваться
надо запомнить)
источник

МС

Михаил Синегубов in Scrapy
Sergey
30 позиций * 107 страниц. Разорюсь
надо надеяться на лучшее 😄
источник

К

Кирилл in Scrapy
Но, на мой взгляд, сейчас уже сам разгребай, договоренности надо исполнять
источник

МС

Михаил Синегубов in Scrapy
Sergey
30 позиций * 107 страниц. Разорюсь
если единичный парсинг - попробуй из браузера взять куки и подсунуть...
ну и с паузой и потихооонечку
источник