YB
А если посчитать разницу частот слов в темах и во всем корпусе (или в другом, например новостном)?
Получится простой, интерпретируемый подход.
Получится простой, интерпретируемый подход.
И называется он наивный байес.
Size: a a a
2019 December 16
YB
Есть реализации из коробки в том же sklearn
D(
Всем привет!
Я возвращаюсь ещё раз к fasttext'у, ибо испытываю некоторое непонимание.
Судя по коду в gensim, при конвертации или обучении фасттекста для слов, которые входят в словарь, производится операция adjust_vectors. Для каждого слова усредняется его личный вектор и все векторы n-грам, и это кладётся в табличку
Я взял для примера модель с rusvectores
А теперь у меня вопрос: что происходит? Какую чёрную магию проделали с фасттекстами на rusvectores, и нужно ли мне эту магию воспроизводить?
Может быть, в этом чате есть авторы rusvectores или кто-то, кто знает, что там происходило?)
Я возвращаюсь ещё раз к fasttext'у, ибо испытываю некоторое непонимание.
Судя по коду в gensim, при конвертации или обучении фасттекста для слов, которые входят в словарь, производится операция adjust_vectors. Для каждого слова усредняется его личный вектор и все векторы n-грам, и это кладётся в табличку
vocab, откуда при применении вектор просто достаётся без изменений. Я взял для примера модель с rusvectores
araneum_none_fasttextskipgram_300_5_2018, и вижу в ней некоторые противоречия. А именно, я ожидаю, что в ней уже проведена операция adjust_vectors, и векторы в vocab вычислены в точности как я описал выше. Но вместо этого в vocab находится что-то совсем другое! Вот как воспроизвести: https://pastebin.com/W2zJ32GyА теперь у меня вопрос: что происходит? Какую чёрную магию проделали с фасттекстами на rusvectores, и нужно ли мне эту магию воспроизводить?
Может быть, в этом чате есть авторы rusvectores или кто-то, кто знает, что там происходило?)
DK
Всем привет!
Я возвращаюсь ещё раз к fasttext'у, ибо испытываю некоторое непонимание.
Судя по коду в gensim, при конвертации или обучении фасттекста для слов, которые входят в словарь, производится операция adjust_vectors. Для каждого слова усредняется его личный вектор и все векторы n-грам, и это кладётся в табличку
Я взял для примера модель с rusvectores
А теперь у меня вопрос: что происходит? Какую чёрную магию проделали с фасттекстами на rusvectores, и нужно ли мне эту магию воспроизводить?
Может быть, в этом чате есть авторы rusvectores или кто-то, кто знает, что там происходило?)
Я возвращаюсь ещё раз к fasttext'у, ибо испытываю некоторое непонимание.
Судя по коду в gensim, при конвертации или обучении фасттекста для слов, которые входят в словарь, производится операция adjust_vectors. Для каждого слова усредняется его личный вектор и все векторы n-грам, и это кладётся в табличку
vocab, откуда при применении вектор просто достаётся без изменений. Я взял для примера модель с rusvectores
araneum_none_fasttextskipgram_300_5_2018, и вижу в ней некоторые противоречия. А именно, я ожидаю, что в ней уже проведена операция adjust_vectors, и векторы в vocab вычислены в точности как я описал выше. Но вместо этого в vocab находится что-то совсем другое! Вот как воспроизвести: https://pastebin.com/W2zJ32GyА теперь у меня вопрос: что происходит? Какую чёрную магию проделали с фасттекстами на rusvectores, и нужно ли мне эту магию воспроизводить?
Может быть, в этом чате есть авторы rusvectores или кто-то, кто знает, что там происходило?)
Переслал автору русвекторес
D(
Переслал автору русвекторес
Благодарю!
АК
Ребят, как сделать нормальную генерацию маленьких текстов через gpt2, обученный на малом количестве размеченного текста(15стр), не получая overfit? Я уже комбинаторно менял почти все параметры, но все одно и тоже на выходе. Пробовал все что на скрине
АК
КЧ
А если посчитать разницу частот слов в темах и во всем корпусе (или в другом, например новостном)?
Получится простой, интерпретируемый подход.
Получится простой, интерпретируемый подход.
Следующий уровень - смотреть распределение совокупных частот слов + биграм...:)
2019 December 17
V
теперь можно шарить и качать кастомные модельки
https://twitter.com/huggingface/status/1206638627251539969
https://twitter.com/huggingface/status/1206638627251539969
VR
Добрый день. А в группе есть лингвисты? Те, кто хорошо разбирается в русском языке.
VR
Есть интересная задача, мы с коллегами трудимся над пониманием и извлечением информации
PM
Добрый день. А в группе есть лингвисты? Те, кто хорошо разбирается в русском языке.
а вы для себя или апишку пилите для всех?
ck
Это дерево из какого-то синтаксического UD анализатора.
А вы чем его визуализировали?
А вы чем его визуализировали?
VR
Pavel Makhnev
а вы для себя или апишку пилите для всех?
это OpenSource
m
ксти про ud, что сейчас есть хорошого для ру/англ языков?
VR
Это дерево из какого-то синтаксического UD анализатора.
А вы чем его визуализировали?
А вы чем его визуализировали?
explacy
m
я пробовал это, но компьютеры себя не оправдали
VR
это какие-то крайние примеры )
Y
А если lg модель или так же?