OН
Здравствуйте, скажите пожалуйста, почему Фрог не сканирует сайт через Includes https://prnt.sc/sevkgl
Все время в результате одна страница!
Все время в результате одна страница!
Size: a a a
2020 May 11
C
🌟 Opozit Немцов, получи уровень: 2 - вроде разбирается! #xp
KP
Opozit Немцов
Здравствуйте, скажите пожалуйста, почему Фрог не сканирует сайт через Includes https://prnt.sc/sevkgl
Все время в результате одна страница!
Все время в результате одна страница!
Быть может потому, что УРЛ avito.ru редиректит на avito.ru/rossiya , а вы сами ему запретили сканировать все урлы кроме тех, которые содержат часть rabota?
OН
Быть может потому, что УРЛ avito.ru редиректит на avito.ru/rossiya , а вы сами ему запретили сканировать все урлы кроме тех, которые содержат часть rabota?
Если не сложно, можете написать свою версию пути!
KP
Opozit Немцов
Если не сложно, можете написать свою версию пути!
Начните сканирование не со страницы http://avito.ru , а с https://avito.ru/rossiya
OН
OН
а как сделать, что бы парсил только папку https://www.avito.ru/rossiya/vakansii
G
Opozit Немцов
а как сделать, что бы парсил только папку https://www.avito.ru/rossiya/vakansii
в include задать параметр:
.*.*/vakansii/.*.*
или же
.*.*/rossiya/vakansii/.*.*
Но упирается все в структуру страниц и настройку обработки, если выключен рендер JS, а ссылки через него подгружаться - то их не будет видно. В общем, суть в том что бы не заблокировать страницы ведущие на внутренние, которые вы пытаетесь спарсить
.*.*/vakansii/.*.*
или же
.*.*/rossiya/vakansii/.*.*
Но упирается все в структуру страниц и настройку обработки, если выключен рендер JS, а ссылки через него подгружаться - то их не будет видно. В общем, суть в том что бы не заблокировать страницы ведущие на внутренние, которые вы пытаетесь спарсить
G
Короче, если обычная пагинация (HTML) - будет норм, если динамическая - включите обработку JS
G
Но у вас структура URL не совсем идентичная
Родительская: https://www.avito.ru/rossiya/vakansii
Дочерняя: https://www.avito.ru/murmansk/vakansii/malyar-shtukatur_1896118500
Если задать такой параметр задать:
.*.*/rossiya/vakansii/.*.* - внутренние не просканируются
Если задать
.*.*/vakansii/.*.*- то в краул попадет не только вложенность /rossiya/
Попробуйте задать 2 правила для входящих УРЛ:
.*.*/rossiya/vakansii/.*.*
.*.*/vakansii/.*.*
Сомневаюсь что сработает, подкину идею.
Тут в зависимости от конечной цели - можно выбрать разный подход, через тот же sitemap спарсить
Родительская: https://www.avito.ru/rossiya/vakansii
Дочерняя: https://www.avito.ru/murmansk/vakansii/malyar-shtukatur_1896118500
Если задать такой параметр задать:
.*.*/rossiya/vakansii/.*.* - внутренние не просканируются
Если задать
.*.*/vakansii/.*.*- то в краул попадет не только вложенность /rossiya/
Попробуйте задать 2 правила для входящих УРЛ:
.*.*/rossiya/vakansii/.*.*
.*.*/vakansii/.*.*
Сомневаюсь что сработает, подкину идею.
Тут в зависимости от конечной цели - можно выбрать разный подход, через тот же sitemap спарсить
G
Или через exclude задать правила для вложенностей которые не должны попадать под скан.
VK
Opozit Немцов
а как сделать, что бы парсил только папку https://www.avito.ru/rossiya/vakansii
зачем тебе эта дичь?
VK
Opozit Немцов
а как сделать, что бы парсил только папку https://www.avito.ru/rossiya/vakansii
запили кастомный роботс просто. чо изгаляться?
OН
Если ввести только домен авито, без ограничений, то фрог сканирует только 4214 страниц
OН
запили кастомный роботс просто. чо изгаляться?
а это как?
G
Opozit Немцов
Если ввести только домен авито, без ограничений, то фрог сканирует только 4214 страниц
Рендер JS включите
VK
Opozit Немцов
а это как?
конфиг - роботс кастом
OН
VK
делаешь полностью свой роботс и запрещаешь всё, кроме нужных тебе страниц.
G
делаешь полностью свой роботс и запрещаешь всё, кроме нужных тебе страниц.
Но если через роботс - больше времени уходит, через правила include и exclude, насколько я замечал на своем слабом ПК - процесс быстрее