SB
тот же мюллер заявлял в конце лета если не изменяет память, что они успешно понимают страницы типа о нас, контакты и т.п. на которые стоят сквозняки на сайте
Size: a a a
2019 January 11
SB
и игнорируют их в расчете весов
SB
и как бы попытки расчитать PR по 25 летней формуле будут не слишком репрезентативны, ИМХО
IB
привет всем, при краулинге бот благополучно забивает болт на nofollow - инфа с логов
хоть по краулингу все стало ясно. Гуд. Логи опровергают справку гугла)
SB
более того
SB
гугл очень любит ходить по вашим AJAX урлам
SB
которые доступы только из js
SB
после анализа логов, клиенты очень удивляются, откуда у них столько левых страниц по которым ходит гугл и которых нет на сайте
s
ну если бот ходит по ссылками из видео, как показывал девака, то вообще не удивительно =)
SB
и самое главное - боже упаси чтобы там были 500
SB
начнет долбить их что дурной
IB
s
и самое главное - боже упаси чтобы там были 500
что 500?
SB
статус код
s
)))
IK
дипкраул сделал неплохую пдфку по внутренней архитектуре сайта
https://www.deepcrawl.com/wp-content/uploads/2018/12/DeepCrawl-Site-Architecture-Whitepaper.pdf
https://www.deepcrawl.com/wp-content/uploads/2018/12/DeepCrawl-Site-Architecture-Whitepaper.pdf
тут увидел впервые упоминание технологии https://ru.wikipedia.org/wiki/Post/Redirect/Get
Типо роботы не ходят по URL с post запросами. Сеошники западные иногда используют это для скрытия ссылок.
Типо роботы не ходят по URL с post запросами. Сеошники западные иногда используют это для скрытия ссылок.
SB
ага, хороший метод
SB
я когда то такое накодил, чисто потому что быдо удобно было поиск по сайту реализовать
SB
а оказалось модная техника
IB
есть пример реализации такого скрытия на реальном сайте - интересно глянуть