BZ
Похоже на то что нужно, спасибо!
Size: a a a
2021 November 14
В
Д
Привет! Про трансформеры.
Вопрос такой, мне нужно скрытое состояние моего корпуса (то есть эмбеддинги), чтобы потом их подавать как фичи в модели второго уровня (классификаторы например), есть много данных, надо обучать на своём корпусе, соответственно мне нужно скрытое состояние, полученное с помощью encoder, decoder по идее не нужен, но чтобы обучить это скрытое состояние, полученное через encoder, мне нужно обучать весь трансформер (вместе с decoder), правильно?
Вопрос такой, мне нужно скрытое состояние моего корпуса (то есть эмбеддинги), чтобы потом их подавать как фичи в модели второго уровня (классификаторы например), есть много данных, надо обучать на своём корпусе, соответственно мне нужно скрытое состояние, полученное с помощью encoder, decoder по идее не нужен, но чтобы обучить это скрытое состояние, полученное через encoder, мне нужно обучать весь трансформер (вместе с decoder), правильно?
IG
Привет, неправильно. Есть большой класс моделей, которые состоит только из энкодера, декодера у них вообще нет. К таким моделям относятся например все BERT-like модели.
Для BART/T5 нужно предобучать весь seq2seq, да.
Для BART/T5 нужно предобучать весь seq2seq, да.
Д
То есть по факту я могу реализовать только encoder трансформера и обучать его, чтобы получить эмбеддинги, так?
IG
да, на MLM/NSP/любую конкретную задачу можно обучать только энкодер
Д
Спасибо!
2021 November 15
A
Я думал, что пропорцию нужно выбирать аналогично данным при эксплуатации модели 👀
PG
Это дефолтный подход, да. Но если данные разрежены по сущностям, модель рискует вообще не обучиться.
A
Спасибо)
EL
Всем привет! Суть задачи – распознавание текста в трудовых книжках. Насколько это вообще реально осуществить(разметка скажем около 1000 документов)?
Может кто-то уже работал над похожими задачами? У кого-то получалось что-то годное родить?
Может кто-то уже работал над похожими задачами? У кого-то получалось что-то годное родить?
A
а разметка чего именно? smartengine может проще купить как вариант...
ну или на синтетике учите пайплайн детекция буквы -> ее распознавание -> словарь.
со вторым не такая проблема, как с первым конечно.
ну или на синтетике учите пайплайн детекция буквы -> ее распознавание -> словарь.
со вторым не такая проблема, как с первым конечно.
EL
разметка: сканы трудовой, где отмечено где находится текст и что там написано
EL
Пока обсуждается вообще экономическая эффективность такого решения, есть ли смысл разрабатывать
A
хотя smart engines вряд ли для рукопашного текста сойдёт.
посмотрите тогда mmocr. там немало. но можно учить свои.
посмотрите тогда mmocr. там немало. но можно учить свои.
EL
покопаю в эту сторону, спасибо
EL
побуквенная разметка лучше чем по словам?
EL
для определения рукописного текста на картинке
A
вам без синтетики своей не затащить думаю на 1000 примеров.
побуквенная хуже чем по словам (проще хотя), но многое будет упираться в точность детекции именно слов.
пути два - либо буквы и потом исправлять ошибки, либо слова - и потом исправлять ошибки.
в случае с трудовыми я бы начал бы с букв. кадровики не врачи
побуквенная хуже чем по словам (проще хотя), но многое будет упираться в точность детекции именно слов.
пути два - либо буквы и потом исправлять ошибки, либо слова - и потом исправлять ошибки.
в случае с трудовыми я бы начал бы с букв. кадровики не врачи