Если внимательно изучить код страницы и понять, содержимое каких тегов тебе нужно, а потом грамотно написать код, то не будет мусора.

Да, если это 1 типичная страница, а если у меня их миллион от разных сайтов?

Scrapy мб

Тогда тебе нужна другая хорошая библиотека

У меня функция такая, но корявая конечно:
def Preprocessing (text):
   text = str(text)
   url_html = BeautifulSoup(text, 'html.parser')
   body_texts_soup = url_html.find('body')
   body_text = str(body_texts_soup)
   body_text = body_text.replace("\r", ' ')
   body_text = body_text.replace("\n", ' ')
   link_and_anchor = re.compile(r'<a.*?/a>')    
   css = re.compile(r'<style.*?/style>')
   body_text = body_text.replace('<script.*?</script>','')
   css = re.compile(r'<style.*?/style>')
   scripts = re.compile(r'<script.*?/script>')
   noindex  = re.compile(r'<!--noindex-->.*?<!--/noindex-->')
   noscript = re.compile(r'<noscript.*?/noscript>')
   body_text = link_and_anchor.sub(' ', body_text)
   body_text = css.sub(' ', body_text)
   body_text = scripts.sub(' ', body_text)
   body_text = noindex.sub(' ', body_text)
   body_text = noscript.sub(' ', body_text)    
   full_text = body_text.lower()    
   texts_soup = re.sub(r"\b[\w]{1,2}\b"," ",full_text)
   texts_soup = re.sub(" +", " ", texts_soup)
   del_text_tabs  = re.sub(r'^\s+|\s+|\t+|\t|\!|\"|\©|\#|\$|\%|\&|\|\||\'|\(|\)|\*|\+|\,|\-|\.|\/|\:|\;|\<|\=|\>|\?|\@|\[|\|\\|\]|\^|\_|\`|\{|\||\}|\~', ' ', texts_soup)
   del_tabs = re.sub(r'\s+', ' ', del_text_tabs)

   return ( body_text )

Ты тот парень который пытается парсить xml регулярками?

Насколько много тебе нужно спарсить?

xml слишком сложная структура, чтобы парсить её регулярками

Почему xml? Я с яндекс xml забираю урлы и дальше по урлам делаю разбор. Вроде сегодня допилил функцию по очистке кода, сейчас тестирую. Я голый текст забираю не xml

Ты меня не услышал

Я правильно понимаю что тебе нужнен только текст внутри тэгов?

Скажи реальное число сайтов которое нужно затестить

Это постоянный цикл, я для seo экспериментов это хочу использовать и обучать. Да мне нужен текст в боди без ссылок

В боди не только текст, это вложенная структура

Подними selenium

Ты вообще не туда пошел

Ctrl + A

Готово

Там есть режим без инициализации

Гуи