на страницах в html есть дубли директив, <meta name="robots" content="noindex, nofollow" /> а чуть ниже прописано <meta name="robots" content="index, nofollow" />
я бы QUERY вытянул страницы с <meta name="robots" content="noindex, nofollow" /> и с <meta name="robots" content="index, nofollow" /> а топом VLOOKUP нашел бы пересечения
еще раз, отсортировать такие урлы в экселе смогу. Важно понять или в отчете жабы будет ли прописано в одной строке возле урла две или три директивы и т д