ck
Что вы использовали для классификации, быстрое? Быстрое 🚀
Supervised FastText может кто пробовал?
Supervised FastText может кто пробовал?
Что вы использовали для классификации, быстрое? Быстрое 🚀
Supervised FastText может кто пробовал?
Size: a a a
2020 February 25
FF
Я пробовал, там svm над фт ембеддингами. Работает довольно быстро на коротких сообщениях
ck
Я пробовал, там svm над фт ембеддингами. Работает довольно быстро на коротких сообщениях
Спасибо. Запишу в план
AK
@cnstntn_kndrtv кажется имеет смысл посмотреть на задачу под разыми углами. Например - какое у нее время жизни и потенциал роста? Возможно имеет смысл просто купить железа и заниматься более важными задачами
AK
С технической стороны я бы начал с профилирования - точно знать, что тормозит
ck
@cnstntn_kndrtv кажется имеет смысл посмотреть на задачу под разыми углами. Например - какое у нее время жизни и потенциал роста? Возможно имеет смысл просто купить железа и заниматься более важными задачами
Согласен. Прогресс в любом случае будет ограничен железом.
Количество классов будет расти, количество и разнообразие текстов - тоже.
Но тут моего желания недостаточно.
Количество классов будет расти, количество и разнообразие текстов - тоже.
Но тут моего желания недостаточно.
AK
NER можно сделать быстрым. Например при использовании классических методов и линейных моделей. Вот например: https://emorynlp.github.io/nlp4j/components/named-entity-recognition.htm
AK
Сейчас конечно это не SOTA, но может работать быстро
ck
NER можно сделать быстрым. Например при использовании классических методов и линейных моделей. Вот например: https://emorynlp.github.io/nlp4j/components/named-entity-recognition.htm
404
AK
в свое время по ускорению меня впечатлило вот это: https://www.hpl.hp.com/techreports/2008/HPL-2008-91R1.pdf
D
Подскажите хороший размеченный датасет по сентименту, достаточно positive и negative.
CT
Подскажите хороший размеченный датасет по сентименту, достаточно positive и negative.
imdb
CT
Если на ру, то https://study.mokoron.com/
V
Только его надо хорошенько почистить, там много мусора и смайлов
В идеале просто оставить алфавит и цифры)
В идеале просто оставить алфавит и цифры)
CT
Ну смайлы вполне неплохая фича для тональности, имхо)
V
Тоже верно)
Правда боюсь нейронка (или что-то ещё) запомнит, что (((( - это негатив, а )))) - позитив и на этом всё)
У меня так было с BiLSTM, он особо на другое и не реагировал. Т.к. в датасете очень много мусора
Правда боюсь нейронка (или что-то ещё) запомнит, что (((( - это негатив, а )))) - позитив и на этом всё)
У меня так было с BiLSTM, он особо на другое и не реагировал. Т.к. в датасете очень много мусора
V
А, и обязательно надо ссылки вычистить, и отсылки к другим профилям (которые с @ начинаются)
V
Кстати, точность около 75% на sentiment для русского - нормальное значение или можно получить больше?
Обучал на предложенном выше датасете из набора русских твитов, перед BiLSTM использовал word2vec для получения векторов
Обучал на предложенном выше датасете из набора русских твитов, перед BiLSTM использовал word2vec для получения векторов