SB
программист по API вытянет за пол часа
Size: a a a
2019 January 21
SB
там у вас должно быть по идее от 20к страниц, если брать за неделю-месяц период
SB
это наиболее качественные страницы для гугла
SZ
это наиболее качественные страницы для гугла
имеете ввиду которые выводятся на вкладке Обнаружена, не проиндексирована в качестве примера?
E
еще как вариант, чтобы пробустить особенные страницы внутренними ссылками,
возьмите страницы из search console которые там есть
возьмите страницы из search console которые там есть
А как это ставить на рэльсы, если категорий 500? :) Полный раздестрой внутренней ссылочной структуры?)
SB
имеете ввиду которые выводятся на вкладке Обнаружена, не проиндексирована в качестве примера?
я в интерфейсе не оч помню, в апи это search analytics
SB
А как это ставить на рэльсы, если категорий 500? :) Полный раздестрой внутренней ссылочной структуры?)
это вариант когда надо выборочно что-то покращить
s
@kutasok
подскажи, а зачем вы индексируете пагинацию на olx?
https://www.olx.ua/transport/legkovye-avtomobili/?page=2
подскажи, а зачем вы индексируете пагинацию на olx?
https://www.olx.ua/transport/legkovye-avtomobili/?page=2
s
@sergebezborodov подскажи плз, может ты в теме, зачем индексировать пагинацию?
SB
видел такое у клиентов, одни делают чтобы лучше сайт сканировался, а гугл типа сам разберет что в индекс брать и ранжировать, другие делают потому что там отличается семантика от страницы к странице
IK
@kutasok
подскажи, а зачем вы индексируете пагинацию на olx?
https://www.olx.ua/transport/legkovye-avtomobili/?page=2
подскажи, а зачем вы индексируете пагинацию на olx?
https://www.olx.ua/transport/legkovye-avtomobili/?page=2
Сейчас я не при делах)
Но сделано было давно. Объявы очень часто появляются (чуть чаще чем 1 в секунду). Чтобы их бот находил открыли пагинацию.
Но сделано было давно. Объявы очень часто появляются (чуть чаще чем 1 в секунду). Чтобы их бот находил открыли пагинацию.
s
Сейчас я не при делах)
Но сделано было давно. Объявы очень часто появляются (чуть чаще чем 1 в секунду). Чтобы их бот находил открыли пагинацию.
Но сделано было давно. Объявы очень часто появляются (чуть чаще чем 1 в секунду). Чтобы их бот находил открыли пагинацию.
ого, прикольно!!!
s
спасибо!
AM
@kutasok
подскажи, а зачем вы индексируете пагинацию на olx?
https://www.olx.ua/transport/legkovye-avtomobili/?page=2
подскажи, а зачем вы индексируете пагинацию на olx?
https://www.olx.ua/transport/legkovye-avtomobili/?page=2
Чтобы занимать не 3 позиции в выдаче, а 4 😜
s
Чтобы занимать не 3 позиции в выдаче, а 4 😜
😁😍
s
IR
Сталкивался ли кто то с проблемой, на сайте около 3 млн страниц, в яндексе проиндексировано 90% в гугле только 30%, для остальных 70 пишет - Обнаружена, не проиндексирована. Проблема в малой полезности страниц, потому что на ней практически уникального контента. Вопрос.
Каким способами можно это исправить, если контента больше никак не добавить (уже все варианты рассмотрели) может попробоавть сделать перелинковку получше? Или какой то динамический сквозняк с внешего сайта со ссылками на эти все страницы поставить? (с жирного сайта с 200 тысяч страниц распределить на эти, плохого качества)
Каким способами можно это исправить, если контента больше никак не добавить (уже все варианты рассмотрели) может попробоавть сделать перелинковку получше? Или какой то динамический сквозняк с внешего сайта со ссылками на эти все страницы поставить? (с жирного сайта с 200 тысяч страниц распределить на эти, плохого качества)
Была такая штука,
Около миллиона страниц с генережным текстом. В Яндексе не было проблем, гугл вообще не индесировал. Сказали что фильтр мэни пейджес.
Закрыли сайт, в роботсе от Гугла и налепили кучу сайтмапов и потихоньку из скармливали. Помогло
Около миллиона страниц с генережным текстом. В Яндексе не было проблем, гугл вообще не индесировал. Сказали что фильтр мэни пейджес.
Закрыли сайт, в роботсе от Гугла и налепили кучу сайтмапов и потихоньку из скармливали. Помогло
S
есть SaaS сервисы, но там ценник, как вариант можно взять на AWS большой сервер гигов на 128 оперативки и попробовать на нем скраулить
А зачем ОЗУ, если во фроге можно вместо него использовать память HDD/SSD. У меня оперативки 8 гб. Но паршу больше 200к страниц и норм
SB
попробуйте спарсить 3М страниц и потом сделать расчет по ним