Трансформеры супер быстро учатся копировать собственные инпуты.
Вы точно хотите учить модель именно этому?

вообще я хочу получить хорошое скрытое состояние после энкодера, чтобы потом его подавать как фичи в модели второго уровня и тд, думал если трансформер хорошо научится восстанавливать input, значит у него состояние после энкодера будет хорошим, это не так?

Про переведённый sts-b не знал, спасибо. А вот про остальное - на самом деле не хватает датасета для подбора порогов для всех этих энкодеров. Непонятно, где отрезать пары так, чтобы остались условно только 4 и 5 категория по STS, разве что на глаз.

За счёт того, что трансформер обложен атеншном со всех сторон, ему очень просто научиться копипастить, ничего толком не выучив.
Поэтому при обучении всех известных автоэнкодеров типа BERT или T5 входной текст специально портят, например, заменяя слова на маски, или вообще удаляя, а трансформер учится по такому испорченному тексту предсказывать его изначальную версию.

Это один путь, как можно создать хорошее представление. В общем виде называется denoising autoencoder.
Второй путь - создать искусственный bottleneck, убрав атеншн между энкодером и декодером. Тогда в одном векторе (а не в последовательности векторов по одному на каждый токен) придётся хранить информацию обо всём инпуте целиком. Так, например, обучалась модель LASER, и выучила очень хорошие эмбеддинги предложений.

В случае трансформеров атеншн полностью не уберёшь, надо маскировать все выходы энкодера, кроме одного.
И это кстати работает довольно неплохо

Я это и имел в виду)

А вот допустим у меня не просто предложения, а какие-то последовательные действия - [x, y, z, q, ....] Целесообразно ли здесь что-то прятать на входе?

Ну пороги в любом случае нужно подбирать под собственную задачу.

то есть если в текстах по контексту что-то можно вытянуть, а тут не уверен

Купить PRO улучшенную версию

кроме одного, это какого?

А зачем тогда вообще использовать трансформер, если контекст бесполезен? Должны же быть хоть какие-то взаимосвязи между событиями. Можно же не только прятать токены, можно переставлять события местами, сдвигать влево-вправо, и так далее

да какого угодно, в общем-то

нет, он полезен, так как они все последовательно идут и она важна

в общем порядок важен

это противоречит "нельзя вытянуть по контексту"

хорошо, тогда спасибо за информацию! почитаю в эту сторону

Илья, Давид спасибо за информацию.

Вопрос в тему.
А что лучше - портить текст ближе к будущему входу? Или просто убирать "частотные ошибки"?
Вопрос про восстановление текста после ASR