Пробовал разные модели с трансформер архитектурой - ещё медленней.

Пока думаю сформировать датасет с помощью большой  SpaCy и попробовать обучить с ELMo embeddings классификатор, но может есть более простые пути?

Язык - английский.

А скармливать xml разметку можно или готовый текст?

Готовый текст

Причём текст у нас специфический, но SpaCy large справлялся хорошо

Даты с ошибками, даты с сокращениями

Но размер модели и скорость работы в Продакшн - оставляет желать лучшего.

Вопрос - математика сильно нужна?

В каком смысле?

При написании кода

матрицы всякие

Нет, не думаю. В принципе я вижу несколько стандартных решений, которые можно попробовать, но может кто-то уже решал эту задачу.

Самый простой, насколько я понимаю порезать модель от SpaCy оставив только нужное.

Спасибо)

Попробовали прунинг большой модели SpaCy - качество сильно упало

Думаю, для дат можно уменьшить модель векторов (даже взять small), а для геотегов можно взять словарь Geo entities и добавить сравнение текущего слова со словарём в виде дополнительной фичи для модели tok2vec (так называется субмодель для word embeddings в spacy). Тогда опять же вектора можно будет уменьшить. Ну и там вектора ещё сами обычно с размерности 300 до размерности 96 уменьшаются, можно сразу снизить для задачи и перекомпилировать, хотя это скорости почти не добавит. Могу проконсультировать подробнее, пишите.

Ребята, привет
Задача суммаризации статей, может кто-то подсказать есть ли датасеты на русском и/или предобученные модели? Видел только датасет РИА-новостей, но там текст новости + заголовок к нему, немного не то.

а каких статей?

http://docs.deeppavlov.ai/en/master/apiref/models/bert.html#deeppavlov.models.bert.bert_as_summarizer.BertAsSummarizer есть от ДП самарайзер на берте