AR
а уж почему оно оборвалось - дело другое, ну и понятно что урл при тестах нормально открывается, эта ошибка ж не постоянно происходит
Size: a a a
2020 April 04
RG
соединение оборвалось при передаче страницы
да. не постоянно. Примерно на 5000 страниц 7 таких ошибок и парсер продолжает работать дальше. А как можно вернуть страницы после таких ошибок обратно в очередь на парсинг?
AR
они вроде и так ретраятся, но зуб не дам
RG
они вроде и так ретраятся, но зуб не дам
спасибо, логов больше соберу и проверю есть ли по ним ретрай
RG
Подскажите еще по Crawlera. Если взять тариф за 99 баксов на месяц. Там идет лимит нв 200 000 реквестов. Если я их использую за сутку, что дальше? Прокси будут не доступны? Нужно будет что-то доплачивать?
EB
доплачивать
EB
если много парсить, то лучше взять какой-нибудь fineproxy
RG
их и беру) а сколько там доплачивать?
EB
если в тарифе 200к реквестов, то всего 200к реквестов можно сделать
К
если в тарифе 200к реквестов, то всего 200к реквестов можно сделать
Там хоть качество соответствует цене?
EB
ну кравлера достаточно качественная(претензий особо небыло)
EB
разве что цена при объемах
AR
кравлера это если что не просто ротация прокси
AR
I already have proxies. How will Crawlera help me on top of what I'm already doing?
Crawlera is focused on delivering successful responses without any hassle for the end-user. The internal algorithm deals with bans, manages multiple proxy providers, rotates proxies and handles throttling automatically, among other features. It allows your technical team to focus on data only and not proxies.
Crawlera is focused on delivering successful responses without any hassle for the end-user. The internal algorithm deals with bans, manages multiple proxy providers, rotates proxies and handles throttling automatically, among other features. It allows your technical team to focus on data only and not proxies.
EB
ну да
EB
это еще и резидентские прокси, если я не ошибаюсь
AR
только в энтерпрайзе
🎅B
Здравствуйте, можно ли связать скрапи и тг ботов. То есть бот получает запрос, передает его скрапи, тот парсит и отдает обратно боту?
🎅B
Как? Можешь дать статью на счет этого?