МС
это отлавливается через час парсинга
Size: a a a
2021 April 06
AR
так их правда на 15 минут, просто спадлер долго работать будет
AR
ну и сет внутри дупфильтра конечно память сожрёт, но это быстро
МС
подключил бы базу. Самое примитивное - с перезапуском пасрера спокойно обойти
i
И там начинается серия 503 на лям страниц. Это тоже отлавливать надо. Так дело не в перезапуске. Оно так же примерно таким же путем и пойдет, просто оно уже под конец ничего не находит. Он тока и занимается тем, что отбрасывает ссылки по параметру "так, тут я уже был". Благо оперативы много.
i
Уф, чото накатили вьетнамские флешбеки. Это был клевый урок мне по оценке легкости задачки. Ну в принципе я сделал там, клиента обучил как парсер запускать, объяснил ему, что вот так оно устроено и вот таких результатов стоит примерно ожидать в хороший запуск (=1000 страниц со ссылками на книги в амазонбукс на лям отпарсенных).
i
А ваще, можете сами попробовать, поэкспериментировать, а то вдруг я кардинально неправ. Не удивлюсь, давно дело было. Берете беркли, или даже поддомен, запрещаете выход за домен (или поддомен), можно ставить ограничение глубины в 5 ссылок. Парсите все страницы, ищете на них слоло amazon, такие url сохраняете. Начальный парсер для экспериментов там 10 минут написать занимает.
МС
ладно
scrapy-redis кто нить пользовал в боевом режиме? У меня что то он дичайше тормозит.
1. без него ~1500 рпм
2. его подключаю - ~240 рпм 😐
yield item - заккомментил
scrapy-redis кто нить пользовал в боевом режиме? У меня что то он дичайше тормозит.
1. без него ~1500 рпм
2. его подключаю - ~240 рпм 😐
yield item - заккомментил
МС
понятно что я "что то делаю не так", но, вот, что...
МС
ох, это жеж "правильную" версию пичарма искать опять :__
МС
:))