К
Size: a a a
2019 July 27
MV
скорее нет, чем да) есть portia и scrapyd
ок, спасибо - поресёрчу, если что найду - сброшу
MV
и ешё один вопрос - я хочу сделать два рула в кравл спайдере - один на товары, второй на пагинацию:
MV
есть ли способ сказать выбирать с пагинации только ещё не пройденые ссылки?
MV
что бы не скрапит 159 раз первую страницу
MV
скрапи сам уберёт дубли
ни флагов, ничего не нужно?
MV
если ты дефолтные настройки не менял
не менял, думаю то потом
К
может быть такой вариант, что у первой страницы будет две разные ссылки, тогда нужно будет её вручную в deny вносить, к примеру https://exaple.com/catalog и https://example.com/catalog?page=1
но опять же ссылки на товары дубли там отфильтруются, просто будет лишний запрос
но опять же ссылки на товары дубли там отфильтруются, просто будет лишний запрос
MV
может быть такой вариант, что у первой страницы будет две разные ссылки, тогда нужно будет её вручную в deny вносить, к примеру https://exaple.com/catalog и https://example.com/catalog?page=1
но опять же ссылки на товары дубли там отфильтруются, просто будет лишний запрос
но опять же ссылки на товары дубли там отфильтруются, просто будет лишний запрос
главное что бы их не было N^2
К
тогда ещё два вопрос - пока тут есть кто-то)
как вы запускаете кравлеры в "продакшен моде" - грубо говоря где и как хостите?
вот мне нужно хотлайн для диплома скрапить - цены от туда собирать, ну допустим каждый день в течении месяца - двух
как и где мне его лучше по крону записать. Желательно фрии
и второй вопрос - как мне сделать скрапи мене палевным =)? допустим таймауты выставлять, хедеры подменять? что почитать? как самии делаете?
как вы запускаете кравлеры в "продакшен моде" - грубо говоря где и как хостите?
вот мне нужно хотлайн для диплома скрапить - цены от туда собирать, ну допустим каждый день в течении месяца - двух
как и где мне его лучше по крону записать. Желательно фрии
и второй вопрос - как мне сделать скрапи мене палевным =)? допустим таймауты выставлять, хедеры подменять? что почитать? как самии делаете?
если за пару часов не забанят, то можешь не скрывать скрапи и не ставить таймауты
MV
если за пару часов не забанят, то можешь не скрывать скрапи и не ставить таймауты
предлагаешь дождатся этого момента)?
2019 July 28
MV
приехали )
MV
