В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

NLP_RU - Natural Language Processing & Text Mining

244 membersпожаловаться на группу
2020 March 11

ВМ

Владислав Медведев in NLP_RU - Natural Language Processing & Text Mining
Новиков Дмитрий
Это постоянный цикл, я для seo экспериментов это хочу использовать и обучать. Да мне нужен текст в боди без ссылок
универсальный парсер не получится написать. выкусывай контент всех тегов, которые содержат текст (<p>, span, ul , ol, h и тд) и складывай в кучу
источник
20:34пожаловаться#1

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Владислав Медведев
универсальный парсер не получится написать. выкусывай контент всех тегов, которые содержат текст (<p>, span, ul , ol, h и тд) и складывай в кучу
Он парсит xml регулярками, он вообще не понимает что делает. А про то, что это не будет работать с виртуальным домом, я ничего даже говорить не буду)
источник
20:35пожаловаться#2

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Владислав Медведев
универсальный парсер не получится написать. выкусывай контент всех тегов, которые содержат текст (<p>, span, ul , ol, h и тд) и складывай в кучу
Тем более есть ещё открытые теги, и регудярка может сожрать лишнего
источник
20:39пожаловаться#3

НД

Новиков Дмитрий in NLP_RU - Natural Language Processing & Text Mining
Cucusenok
Он парсит xml регулярками, он вообще не понимает что делает. А про то, что это не будет работать с виртуальным домом, я ничего даже говорить не буду)
Где именно я xml парсил, в какой строке?
источник
20:42пожаловаться#4

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Новиков Дмитрий
Где именно я xml парсил, в какой строке?
Ну ты даёшь...
источник
20:42пожаловаться#5

НД

Новиков Дмитрий in NLP_RU - Natural Language Processing & Text Mining
Владислав Медведев
универсальный парсер не получится написать. выкусывай контент всех тегов, которые содержат текст (<p>, span, ul , ol, h и тд) и складывай в кучу
А если в тег текст не обрамлен?
источник
20:42пожаловаться#6

НД

Новиков Дмитрий in NLP_RU - Natural Language Processing & Text Mining
Cucusenok
Ну ты даёшь...
Ну  я забераю супом, потом то в строку перевожу
источник
20:43пожаловаться#7

ВМ

Владислав Медведев in NLP_RU - Natural Language Processing & Text Mining
Новиков Дмитрий
А если в тег текст не обрамлен?
это редкость, тем более если ты парсишь топ. все современные cms контент чаще всего в <p> обрамляют
источник
20:44пожаловаться#8

ВМ

Владислав Медведев in NLP_RU - Natural Language Processing & Text Mining
в общем с сайтами в топе, проблемы редко бывают. к тому же можешь сразу проверять длину текста для спарсенного тега и выкидывать слишком короткие или длинные
источник
20:44пожаловаться#9

НД

Новиков Дмитрий in NLP_RU - Natural Language Processing & Text Mining
Владислав Медведев
в общем с сайтами в топе, проблемы редко бывают. к тому же можешь сразу проверять длину текста для спарсенного тега и выкидывать слишком короткие или длинные
Вот не могу, этот шум тоже иногда нужен. Где я ещё ошибся? Я код тогда свой завтра доработанный скину, вроде работает.
источник
20:48пожаловаться#10

ВМ

Владислав Медведев in NLP_RU - Natural Language Processing & Text Mining
BeautifulSoup можно не использовать. Доставай xpathами
p = response_url.html.xpath('//p/text()')
p = ' '.join(x for x in p)
источник
20:57пожаловаться#11

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Владислав Медведев
BeautifulSoup можно не использовать. Доставай xpathами
p = response_url.html.xpath('//p/text()')
p = ' '.join(x for x in p)
Тогда уж все текстосодержащие
источник
21:09пожаловаться#12

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Но все равно не правильно будет
источник
21:09пожаловаться#13

НД

Новиков Дмитрий in NLP_RU - Natural Language Processing & Text Mining
Владислав Медведев
BeautifulSoup можно не использовать. Доставай xpathами
p = response_url.html.xpath('//p/text()')
p = ' '.join(x for x in p)
P только заставать неправильно, текст может быть в спанах, в списках. Как я и говорил могут быть сайты где текст вообще без. Его размещён.
источник
21:34пожаловаться#14

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Новиков Дмитрий
P только заставать неправильно, текст может быть в спанах, в списках. Как я и говорил могут быть сайты где текст вообще без. Его размещён.
Ало)
источник
21:34пожаловаться#15

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Текст может быть и в дивах
источник
21:35пожаловаться#16

НД

Новиков Дмитрий in NLP_RU - Natural Language Processing & Text Mining
Cucusenok
Текст может быть и в дивах
Именно
источник
21:35пожаловаться#17

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Новиков Дмитрий
Именно
Ты упертый, я говорю, что ты парсишь xml, а ты меня не слышишь
источник
21:36пожаловаться#18

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Во первых, это дерево) и бежать тебе нужно по деревушке
источник
21:36пожаловаться#19

C

Cucusenok in NLP_RU - Natural Language Processing & Text Mining
Обходя каждую ноду
источник
21:37пожаловаться#20