T
Можете дать ссылку на сообщение Demi? Чтобы я был в контексте.
Гугл может показывать по site:10k в индексе но дальше 20 или 30 страницы больше ничего не покажет
Size: a a a
2020 March 11
MG
коллеги, как выгрузить все страницы из индекса Google? Подскажите решение...в GSC лимит на 1000 страниц
создать карты сайта с 1000 URL в каждой карте. Загрузить в серч-консоль. Получить данные по покрытию / индексу. Скачать. Все :)
AД
Гугл может показывать по site:10k в индексе но дальше 20 или 30 страницы больше ничего не покажет
Google дальше 1 страницы пагинации ничего не показывает
AД
Но индексирует норм даже если 10 или 49999 страниц в сайтмапе
AN
создать карты сайта с 1000 URL в каждой карте. Загрузить в серч-консоль. Получить данные по покрытию / индексу. Скачать. Все :)
тут проблема в том что сейчас сайт новый с полностью новой структурой, нужно понимание какие старые адреса остались в индексе. отчет "Страница проиндексирована, но ее нет в файле Sitemap" выдает больше чем 1000 страниц...вот и вопрос как их оттуда забрать :)
AN
понял что только перебором, так как в API нет методов для выгрузки этих данных
СЯ
тут проблема в том что сейчас сайт новый с полностью новой структурой, нужно понимание какие старые адреса остались в индексе. отчет "Страница проиндексирована, но ее нет в файле Sitemap" выдает больше чем 1000 страниц...вот и вопрос как их оттуда забрать :)
это не факт, что ее нет в сайтмапе
MG
тут проблема в том что сейчас сайт новый с полностью новой структурой, нужно понимание какие старые адреса остались в индексе. отчет "Страница проиндексирована, но ее нет в файле Sitemap" выдает больше чем 1000 страниц...вот и вопрос как их оттуда забрать :)
если есть какая-то закономерность в старых URL то можно попробовать фильтровать вот так (но не факт что поможет) http://joxi.ru/GrqKxqlIkby8q2
AN
так вот и проблема что все закономерности я не знаю :) так пока и пробую :)
T
Google дальше 1 страницы пагинации ничего не показывает
Почему это? У меня показывает
AД
Почему это? У меня показывает
Сколько не тестировали и кто толькотее тестировал, Гугл не индексирует нормально страницы с второй пагинации и поэтому нужно делить на микро категории
СЯ
Сколько не тестировали и кто толькотее тестировал, Гугл не индексирует нормально страницы с второй пагинации и поэтому нужно делить на микро категории
тоже не замечал, вся пагинация в индексе
T
Сколько не тестировали и кто толькотее тестировал, Гугл не индексирует нормально страницы с второй пагинации и поэтому нужно делить на микро категории
Мы наверное не так поняли друг друга
T
Сколько не тестировали и кто толькотее тестировал, Гугл не индексирует нормально страницы с второй пагинации и поэтому нужно делить на микро категории
я говорил о том что если парсить, скажем, ту же розетку через site:, то гугл отдаст не больше 300-400 страниц из своего индекса
JA
я говорил о том что если парсить, скажем, ту же розетку через site:, то гугл отдаст не больше 300-400 страниц из своего индекса
Да site не работает же..
AД
тоже не замечал, вся пагинация в индексе
Ну так сама страница пагинации в индексе и будет а старцы с станицы пагинации в индексе будут слабо
MG
нужно понять какие страницы в индексе уже и исключить мусорные, усложняется тем что сайт большой + старый сайт имел неизвестную мне структуру (т.е. например имел разделы, которых нет на новом) ...при переезде на новый редиректы не настроили.
Логи проглядеть, собрать оттуда фуллист урлов, куда робот ходит
Этот лист загрузить в нетпик, подгрузить нужную инфу из серчконсоли и вычленить мусор
Ну в теории)) или не подойдёт?
Этот лист загрузить в нетпик, подгрузить нужную инфу из серчконсоли и вычленить мусор
Ну в теории)) или не подойдёт?
AN
думал в эту сторону
SS
Логи нужно собирать раз в день
SS
ротация логов - макс 10 дней