SB
ну и как обычно я скажу про логи, но это имеет смысл после того как поймете что у вас со структурой сайта
Size: a a a
2019 January 21
SZ
тогда самое первое что сделайте - скраулите сайт и посмотрите сколько в среднем идет внутренних ссыок на страницы
а чем можно такой объем скраулить, лягушка у меня только 200к страниц может(
JT
Память лягушке добавьте, ещё обратите внимание на общее число ссылок на страницах. Был момент из-за фильтра по продуктам генерило 100к мусора нужное в индекс не попадалось, убили фильтр вошло все в индекс, на страницах вместо 580 ссылок , сделали 120
SB
есть SaaS сервисы, но там ценник, как вариант можно взять на AWS большой сервер гигов на 128 оперативки и попробовать на нем скраулить
SB
по идее за несколько дней должно получиться, но гемор
E
Сталкивался ли кто то с проблемой, на сайте около 3 млн страниц, в яндексе проиндексировано 90% в гугле только 30%, для остальных 70 пишет - Обнаружена, не проиндексирована. Проблема в малой полезности страниц, потому что на ней практически уникального контента. Вопрос.
Каким способами можно это исправить, если контента больше никак не добавить (уже все варианты рассмотрели) может попробоавть сделать перелинковку получше? Или какой то динамический сквозняк с внешего сайта со ссылками на эти все страницы поставить? (с жирного сайта с 200 тысяч страниц распределить на эти, плохого качества)
Каким способами можно это исправить, если контента больше никак не добавить (уже все варианты рассмотрели) может попробоавть сделать перелинковку получше? Или какой то динамический сквозняк с внешего сайта со ссылками на эти все страницы поставить? (с жирного сайта с 200 тысяч страниц распределить на эти, плохого качества)
Неплохо работают тексты спиннеры. Из серии 5-6 предложений по 8-10 вариаций, которые шафлятся между собой. Правда, имплементировать это на весь сайт - не очень хорошо. Лучше - на те, которым нужен спрос или резонанс.
SZ
Неплохо работают тексты спиннеры. Из серии 5-6 предложений по 8-10 вариаций, которые шафлятся между собой. Правда, имплементировать это на весь сайт - не очень хорошо. Лучше - на те, которым нужен спрос или резонанс.
да, такое делали раньше)
E
да, такое делали раньше)
И как? Получалось что?
SZ
но тут сильно массовая история, раскатывать такие шаблоны на более 1 млн страниц точно будет плохо
SZ
И как? Получалось что?
делали на категорийные страницы, работало - ок
E
но тут сильно массовая история, раскатывать такие шаблоны на более 1 млн страниц точно будет плохо
Сколько у вас страниц юнитов (предложений)?
SZ
Сколько у вас страниц юнитов (предложений)?
1,5 млн страниц отелей
E
У меня около 3М, неплохо шафлы работают. По крайней мере, от одного селлера индексинг от 5% до 30% поднять удается.
E
1,5 млн страниц отелей
Так понимаю, у вас маркетплейс и запись через сканеры?
JT
Как варик краулить лягухой частями
SZ
Так понимаю, у вас маркетплейс и запись через сканеры?
видимо маркетплейс, но я бы назвал это агрегатором отелей, про запись через сканеры это имеете ввиду с переходом на сайты вендоров?
E
видимо маркетплейс, но я бы назвал это агрегатором отелей, про запись через сканеры это имеете ввиду с переходом на сайты вендоров?
Да, что вы наполняетесь через их контент, в этом смысле.)
SZ
Да, что вы наполняетесь через их контент, в этом смысле.)
да
E
Сорри, а как краулинг фрогов двигает большие объемы страниц в индекс?
SZ
Сорри, а как краулинг фрогов двигает большие объемы страниц в индекс?
перелинковку просчитать и поправить, а чтобы понять что сейчас имеем надо скраулить сайт как то