EB
Прокси пробую использовать бесплатные, поэтому по ним не за дашь персональный таймаут
Size: a a a
2020 March 01
EB
Не используй бесплатные
Это вроде эксперимента, если не взлетит, то буду думать в сторону платных)
М
Это вроде эксперимента, если не взлетит, то буду думать в сторону платных)
напиши себе чекер прокси и поставьтаймаут в секунду. так из кучи более менее быстрые отберутся хотя бы
К
Это вроде эксперимента, если не взлетит, то буду думать в сторону платных)
Делюсь опытом, лучше платные, чем бесплатные
EB
Делюсь опытом, лучше платные, чем бесплатные
Буду благодарен если поделитесь инфой где лучше покупать
EB
Сделай поиск по чату, уже много раз обсуждали, люди разные советовали
Спс
AR
как можно оптимальнее сделать проверку, есть ли определенный урл (например) уже в базе, чтоб при повторных включениях паука он на этот урл не шел? грузить весь список уже имеющихся урлов из базы перед запуском паука думаю совсем не оптимально
ну тут два варианта, либо каждый раз ходить в базу, либо держать в памяти 🤷♂️
AR
можно в общем-то держать в памяти отдельного процесса, мемкашед там какой-нибудь
М
ну тут два варианта, либо каждый раз ходить в базу, либо держать в памяти 🤷♂️
а sqlite потянет такое одновременное чтение\запись?
AR
а, ещё и обновлять в этот же проход?
М
можно в общем-то держать в памяти отдельного процесса, мемкашед там какой-нибудь
редис советовали... но я его не пользовал
М
а, ещё и обновлять в этот же проход?
ага
AR
scrapy-crawl-once
AR
внутри скулайт
AR
плюсов - ничего писать не надо руками