E
а с каким алгоритмом?
Size: a a a
2020 June 03
ЕТ
а с каким алгоритмом?
LDA
ЕТ
Сейчас ещё прочитал, что советую удалять n-граммы, если какой-то процент слов в них является стоп-словами. По типу "to be" и так далее.
E
тогда надо удалять на этапе препросессинга текста вместе с пунктуацией
E
вообще я бы делала проще, очистить текст, нормализовать по максимуму например сделать лемматизацию или стемминг и в ЛДА
ЕТ
тогда надо удалять на этапе препросессинга текста вместе с пунктуацией
Да, я тоже так думал делать, но тогда могут возникнуть ложные нграммы же. И это меня смущает.
E
что значит, ложные?
ЕТ
что значит, ложные?
Например, вот у меня список стоп-слов для русского. И была бы триграмма "никогда не хотел", а получится какая-нибудь "белый не хотел".
E
ну и что? это неважно
E
если текст всегда предобрабатывается одинаково, то статистика будет однородно считаться
D(
Например, вот у меня список стоп-слов для русского. И была бы триграмма "никогда не хотел", а получится какая-нибудь "белый не хотел".
Если у тебя такой список стоп-слов, и ты удаляешь N-граммы со стоп-словами, то "никогда не хотел" тоже будет удалено :)
Ну и вообще, многие так называемые "стоп-слова" как раз и создают всю прелесть устойчивых выражений.
Поэтому лично я не удалял бы ничего.
Ну и вообще, многие так называемые "стоп-слова" как раз и создают всю прелесть устойчивых выражений.
Поэтому лично я не удалял бы ничего.
ЕТ
Что же делать. =D
E
в ЛДА стоп слова создают много шума
E
они не дают никакой информации о теме
ЕТ
Ну, я всё равно учусь, так что попробую все варианты.
D(
Насколько я знаю, удаление "стоп-слов" придумали в information retrieval (то бишь для поисковиков), чтобы не матчить по ним запросы с документами - иначе было бы слишком много ложных матчей.
В большинстве других задач стоп-слова не очень вредны, так что если их не удалять, кажется, сильно хуже не будет.
В большинстве других задач стоп-слова не очень вредны, так что если их не удалять, кажется, сильно хуже не будет.
D(
они не дают никакой информации о теме
Ну и что? Если они присутствуют в каждой теме, то алгоритм сам научится их игнорировать.
D(
они не дают никакой информации о теме
Хотя вообще-то некоторые из них очень даже дают.
Например, как часто ты видела в научных статьях или, скажем, в юридических актах слово "я"? 🙃
Например, как часто ты видела в научных статьях или, скажем, в юридических актах слово "я"? 🙃