D
Всем спать, товарищи!
Size: a a a
2019 December 26
D
Занавес закрывается
D
Антракт!
D
До новых встреч!)
MО
А о чем спор был?
DK
А о чем спор был?
Что нейросеть может выловить только априори известные математически понятные вещи и ничего нового о языке никогда не скажет
D
И кто победил то?)
D
Я чёт пропустил этот момент, ходил за попкорном
CT
Мир дружба жвачка
2019 December 27
A
А вот вопрос. Есть у меня модель, которая из текста выделяет intent (классификация), может пометить нужные части фразы (sequence tagging) и дополнительно вешает лейблы (sentiment analysis). А теперь я хочу обратное - по интенту, параметрам и дополнительным лейблам сгенерить текст. И все это на character-level моделях. Куда копать?
CT
А вот вопрос. Есть у меня модель, которая из текста выделяет intent (классификация), может пометить нужные части фразы (sequence tagging) и дополнительно вешает лейблы (sentiment analysis). А теперь я хочу обратное - по интенту, параметрам и дополнительным лейблам сгенерить текст. И все это на character-level моделях. Куда копать?
чем то напоминает ctrl
A
seq2seq из строчке вида
"hello extra:morning" в "Доброе утро"
работает, но не хватает рандомизации вариантов
"hello extra:morning" в "Доброе утро"
работает, но не хватает рандомизации вариантов
CT
gpt-2 с кондишенами
A
у gpt самая маленькая модель 117 мегабайт. Character-level мне нужен именно из-за размеров
D(
у gpt самая маленькая модель 117 мегабайт. Character-level мне нужен именно из-за размеров
Если самому делать, можно в десятки мегабайт уложиться.
Ну и если у тебя есть значения слотов, которые можно включить в ответ, то можно вместо значения слота генерировать специальный токен, что на это место значение слота нужно подставить.
Это прям сильно генерацию упрощает)
Ну и если у тебя есть значения слотов, которые можно включить в ответ, то можно вместо значения слота генерировать специальный токен, что на это место значение слота нужно подставить.
Это прям сильно генерацию упрощает)
D(
seq2seq из строчке вида
"hello extra:morning" в "Доброе утро"
работает, но не хватает рандомизации вариантов
"hello extra:morning" в "Доброе утро"
работает, но не хватает рандомизации вариантов
Ну так рандомизация больше не из архитектуры модели следует, а из способа декодирования (у тебя beam search?) и разнообразия обучающей выборки.
A
в обучающей выборке было два варианта для одного интента, на выходе 100% один и тот же
A
модель взял готовую из examples из keras