VA
Я написал парсер, который вытягивает ссылки с каждой страницы сайта, для построения карты сайта (для ускорения индексации при поисковой выдаче) основываясь на алгоритме поиска в ширину с подключением многопоточности, но не совсем понимаю, нужно ли вытягивать ссылки с якорями на подобие доски с комментариями...?
Нужна ли подобная информация для карты сайта....?




