D(
Или, например, слово "два". Само по себе оно не очень информативное, и слово "стул" не очень информативное, а вот в рамках одной биграммы они означают нечто большее)
Size: a a a
2020 June 03
E
еще для ЛДА есть варианты удалять все слова короче четырех знаков, или все слова с частотой выше определенного порога
E
но это все на усмотрение. Надо пробовать и сравнивать
E
вы нам главное расскажите что получилось в итоге
E
а то мы тут советуем и неизвестно помогает это или нет :)
2020 June 04
ЕТ
Спасибо, что советуете, на редкость дружелюбные к новичкам люди тут.
ЕТ
Пока что я помучался с нехваткой оперативки, её всего лишь 32Гб, и удалил триграммы, которые начинаются или заканчиваются на стоп-слово. Думаю, так будет окей.
E
Как же мы раньше тренировали ЛДА на 2 гб оперативки? :)
ЕТ
Как же мы раньше тренировали ЛДА на 2 гб оперативки? :)
Для ЛДА хватило 2Гб оперативки. У меня корпус огромный просто.
E
тогда тем более имеет смысл убирать стоп слова и все малозначительное, все будет работать быстрее
ЕТ
тогда тем более имеет смысл убирать стоп слова и все малозначительное, все будет работать быстрее
Убрал. Темы получаются несколько малоосмысленными с человеческой точки зрения, но я ещё погоняю.
E
Зависит от количества тем, от длины текстов, от количества текстов, от много чего
ЕТ
А я верно понимаю, что, если у меня, скажем, есть 20 текстов, и я хочу сравнить у них самые важные n-граммы, то я собираю их в корпус все, считаю tf-idf и потом беру для каждого текста по, скажем, 5 n-грамм с самым высоким tf-idf. И это уже имеет какой-никакой смысл.
ЕТ
Зависит от количества тем, от длины текстов, от количества текстов, от много чего
Ну, у меня 27 художественных текстов одного жанра. Я пытаюсь из них вытащить темы. Постепенно всё осмысленнее становится.
2020 June 13
C
Подскажите пожалуйста, у меня есть модель random forest она работает весьма не плохо, но периодически делает "выбросы". Очевидно, это связано с тем как работает лес, у меня есть мысль по верх нее поставь ещё логистическую регрессию. Думаю есть ещё варианты нивелировать или аппроксимировать выбросы леса.
Не подскажете?
Не подскажете?
D•
@gwenywere вы не против, если я вам дам полномочия модератора? :) за существенный вклад в развитие группы и за помощь по теме
E
Я не против :) спасибо!
E
Cucusenok
Подскажите пожалуйста, у меня есть модель random forest она работает весьма не плохо, но периодически делает "выбросы". Очевидно, это связано с тем как работает лес, у меня есть мысль по верх нее поставь ещё логистическую регрессию. Думаю есть ещё варианты нивелировать или аппроксимировать выбросы леса.
Не подскажете?
Не подскажете?
на каких данных?
C
Тексты - стоп слова, токенайзер, лемматизированные и в вектор
E
а задача какая? классификация?