Статистика по популярным краулерам
Данные приведены на основе упомянутого выше исследования 13 млрд. записей логов нескольких тысяч сайтов, среди которых большинство являются американскими.
37.2% - Google
25.4% - Bing
12.3% - SEMrush
10.8% - Ahrefs
6.4% - Majestic
4.1% - Yandex
1.8% - Baidu
0.6% - Yahoo
0.5% - DuckDuckGo
0.4% - Moz
0.3% - Screaming Frog
Робот Ahrefs в 20 раз активней Моза. Но пока из сеошных инструментов по активности лидирует SemRush. Всего сеошные боты составляют 30% от всех запросов к серверу.
Краулер (бот, паук, automaticindexer, ant, webspider, webscutter, поисковый робот) – специальная поисковая программа, которая является частью поисковой системы(Яндекс, Google и др.), и предназначенная для индексирования веб-сайтов.