V
а кто-то трогал https://github.com/makcedward/nlpaug ?
интересно как оно в деле? а то выглядит заманчиво
интересно как оно в деле? а то выглядит заманчиво
Size: a a a
2020 February 06
PM
Господа и дамы, может кто-то подсказать как понимать теги в TreeTagger ?
PM
каждая буква означает какое-то конкретное значение?
PM
В общем, если
Category=Noun, Type = common, Gender = masculine, Number = singular, Case = accusative, Animate = no
corresponds to the MSD tag Ncmsan.
то что значит
Как P-----r как
или
машина Ncfsnn машина
можете подсказать? Или хотя бы где найти список значений тегов
Category=Noun, Type = common, Gender = masculine, Number = singular, Case = accusative, Animate = no
corresponds to the MSD tag Ncmsan.
то что значит
Как P-----r как
или
машина Ncfsnn машина
можете подсказать? Или хотя бы где найти список значений тегов
PM
или может подскажете какой-то более удобный путь для определения всяких морфологий и тд?
AK
это похоже на формат морф. признаков из freeling: https://freeling-user-manual.readthedocs.io/en/latest/tagsets/tagset-ru/
PM
да, похоже ) но я нашел оригинальную - если что тут - http://corpus.leeds.ac.uk/mocky/msd.N-ru.html
D
Open Data Science: Открытый курс «Deep Learning in NLP» от создателей DeepPavlov на базе курса cs224n https://habr.com/ru/post/487172/?utm_source=habrahabr&utm_medium=rss&utm_campaign=corporate_blog
D
кто-нибудь в курсе: личное присутствие обязательно?
V
А есть ли записи лекций/будут ли? Таким как я, кто не в РФ живёт, очень хотелось бы посмотреть)
A
там написано, что лекций нет
A
надо самостоятельно смотреть видео, а на семинарах только обсуждать с преподавателем, чего ты там не понял
В
Здравствуйте. Есть ли способы подавать в sklearn tfidf не массив текстов, а массив из массивов предложений? Конечная цель - чтобы в н-граммы не попадали слова подряд из разных предложений
m
в тфидф же частотную матрицу подают
D(
Здравствуйте. Есть ли способы подавать в sklearn tfidf не массив текстов, а массив из массивов предложений? Конечная цель - чтобы в н-граммы не попадали слова подряд из разных предложений
В качестве хака можно отделить предложения друг от друга (n-1) специальными токенами, тогда в n-грамы токены из двух соседних предложений попасть не смогут. Это можно закодить как отдельный препроцессор текста.
Ну или можно сделать только 1 специальный токен, и потом словарь tfidf'а пофильтровать, выкинув все n-граммы, в которых этот токен не в начале/конце.
Ну или можно сделать только 1 специальный токен, и потом словарь tfidf'а пофильтровать, выкинув все n-граммы, в которых этот токен не в начале/конце.
В
В качестве хака можно отделить предложения друг от друга (n-1) специальными токенами, тогда в n-грамы токены из двух соседних предложений попасть не смогут. Это можно закодить как отдельный препроцессор текста.
Ну или можно сделать только 1 специальный токен, и потом словарь tfidf'а пофильтровать, выкинув все n-граммы, в которых этот токен не в начале/конце.
Ну или можно сделать только 1 специальный токен, и потом словарь tfidf'а пофильтровать, выкинув все n-граммы, в которых этот токен не в начале/конце.
Спасибо
M
Привет. Никто не знает, есть ли какие-нибудь статьи по эмбедингу предложений где используют Open Information Extraction для представления предложения в виде логического трипла?
2020 February 11
AK
Добрый день! как сейчас лучше всего делать suggestions для сайта?
КЧ
Добрый день! как сейчас лучше всего делать suggestions для сайта?
Autosuggestion для дополнения введенной подстроки?
Trie + частотная статистика запросов (если есть, а иначе близость по левенштейну какому-нибудь)
Trie + частотная статистика запросов (если есть, а иначе близость по левенштейну какому-нибудь)