FF
Но если в наглую долго и печально перед подачей в сетку создать вектора на каждый токен, то вроде ничего не мешает этому работать
Так тогда потеряется смысл предобученных эмбеддингов
Size: a a a
2021 March 11
d
Я сонный и не понимаю почему
FF
Я сонный и не понимаю почему
Такие эмбеддинги нужно учить с нуля, вместо того, чтобы взять уже предобученные
d
Модель на входе оперирует чиселками из предобученных эмбеддингов, всё честно
d
Под долго и печально я понимаю скармливание токенов предобученному фасттексту
FF
А ну собственно да, как я и предложил первоначально
d
Я извиняюсь, что непонятно выразился
DD
Но если в наглую долго и печально перед подачей в сетку создать вектора на каждый токен, то вроде ничего не мешает этому работать
А почему долго-то?
Чтоб получить вектор ft, нужно сделать несколько лукапов в таблице эмбеддингов и усреднить найденные вектора - не должно быть медленнее, чем форвард по паре слоёв нейронки.
Чтоб получить вектор ft, нужно сделать несколько лукапов в таблице эмбеддингов и усреднить найденные вектора - не должно быть медленнее, чем форвард по паре слоёв нейронки.
d
А почему долго-то?
Чтоб получить вектор ft, нужно сделать несколько лукапов в таблице эмбеддингов и усреднить найденные вектора - не должно быть медленнее, чем форвард по паре слоёв нейронки.
Чтоб получить вектор ft, нужно сделать несколько лукапов в таблице эмбеддингов и усреднить найденные вектора - не должно быть медленнее, чем форвард по паре слоёв нейронки.
Дольше, чем когда у нас в модели лежат нужные вектора
d
Не более того
2021 March 12
BS
Всем привет ребят, есть кто подал в mbzuai?
АК
Bekassyl Syzdykov
Всем привет ребят, есть кто подал в mbzuai?
а что эьто?
A
Я это делаю так. Беру текст, разрезаю на предложения. Потом каждое предложение разбираю парсером зависимостей, полученное дерево разрезаю на кустики (правила разрезания придумал эвристически). Далее каждый кустик (который просто подстрока) прогоняю через fasttext и усредняю по словам. Полученный вектор заталкиваю в искалку соседей. Работает.
а про парсер зависимостей, и "разрезание дерева на кустики"
а удавалость чтобы это для русского работало? или для англа?
и для такого лучше spacy или natasha?
а удавалость чтобы это для русского работало? или для англа?
и для такого лучше spacy или natasha?
DD
а про парсер зависимостей, и "разрезание дерева на кустики"
а удавалость чтобы это для русского работало? или для англа?
и для такого лучше spacy или natasha?
а удавалость чтобы это для русского работало? или для англа?
и для такого лучше spacy или natasha?
Я делал это для русского с наташей.
N
а про парсер зависимостей, и "разрезание дерева на кустики"
а удавалость чтобы это для русского работало? или для англа?
и для такого лучше spacy или natasha?
а удавалость чтобы это для русского работало? или для англа?
и для такого лучше spacy или natasha?
spacy пока очень свежий релиз, и там пока есть нюансы какие-то вроде
N
а так непонятно, почему бы это не должно было работать, мы оперируем составляющими "главное слово + зависимые" очень много когда (вон даже вопрос про question answering был, там тоже это по сути нужно)
A
Natalia
а так непонятно, почему бы это не должно было работать, мы оперируем составляющими "главное слово + зависимые" очень много когда (вон даже вопрос про question answering был, там тоже это по сути нужно)
я просто не встречал тьюториалов/решений где бы такое юзали и оно бы хорошо заходило на практике, для русского языка
может не там ходил?
может не там ходил?
N
для русского языка просто ещё и маловато публикаций/либ/прочего
N
A
Natalia
клёво!
и ксати вроде spacy тоже умеет выделять подобные чанки
и ксати вроде spacy тоже умеет выделять подобные чанки