#вопросназасыпку
кто знает нормальный краулер, который может начать с карты сайта, как поисковый бот , и пройтись потом по всему сайту по ссылкам?
1. пгевейт - сканит только карту сайта
2. лягушка тоже умеет только список, начинать с карты сайта не умеет