Всем привет, ребят, подскажите, пожалуйста, есть ли хак, как избавиться от for loop'а в декодере seq2seq модели с attention?
Видел пару статей про сетки, которые генерируют текст не слева направа, а как-то иначе ("сверху вниз", чем-то вроде антисвёртки, или вставками - гугли insertion transformer), но, кажется, они не то чтобы критически ускорились.
А ещё нейронные грамматики (гугли rnng), генерирующие составляющие "сверху вниз", кажется, работают в среднем за логарифм от длины текста; можно их попробовать, если очень надо.