Нужно же, чтобы классификатор не только лейбл возвращал, но и вероятность этого лейбла, так?

Да, так нужно

Тогда в sklearn это функция predict_proba

А он возвращает только один класс? Или несколько и на каждую вероятность? Просто не за ПК

Может возвращать и все классы

Ребята, привет!
Подскажите, пожалуйста, по поводу функционала модели GPT-2 для русского языка.

На гитхабе нашла несколько моделей (ru). Как поняла они заточены под задачу генерации текста, хотя может и еще что-то умеют, пока не представляю. Сейчас пытаюсь затестить.

Ранее с GPT-2 я не работала (как для eng так и rus версии). В некоторых местах пишут,что с GPT-2 можно делать много разных интересностей, например краткую версию текста "summary" (однако для русского языка, ничего не нашла)

Может кто-нибудь ранее работал с ru GPT-2 и в курсе, что происходит с версией для русского, какой набор функционала есть или в курсе где эту информацию можно найти.

Заранее спасибо!

Можно, полагаю, еще вот тут спросить: https://t.me/natural_language_processing

угу, спасибо

GPT2 - это декодер Трансформера, обученный на большом количестве неразмеченных данных. Тип языкового моделирования - causal language modeling - это когда предсказывается не случайный токен в тексте (как у Берта), а последний (как в классическом Трансформере).

Архитектура GPT-2 - куча декодеров, поэтому лучше всего эта модель подходит для генерации последовательностей. Так как модель авторегрессионная, ей на вход надо подать какой-то небольшой входной кусочек последовательности, чтобы она смогла продолжить. Соответственно, можно решать с помощью GPT-2 такие, например, задачи как генерация текста, генерация музыки, и - недавние опыты - генерация картинки. Авторы статьи, если не ошибаюсь, умудрялись решать задачи и ответа на вопросы, правда, тут надо исхитриться и задавать правильно построенные вопросы. Перевод и суммаризация тоже получаются с определёнными хитростями.

Спасибо!

Но если вам действительно нужно решить какую-то другую задачу, кроме необдуманной генерации текста, лучше, наверное, выбрать другую архитектуру. Например, для суммаризации или перевода - энкодер-декодер какого-нибудь трансформера. А для таких задач, как, например, вопрос-ответ или extractive summarisation - энкодер трансформера (например, модный Берт).

Коллеги, NLP вакансия в @datasciencejobs от Мегафона :)

Друзья, кто-нибудь использовал ИИ для поведенческой аналитики на сайте и повышения конверсии? Напишите в личку, есть проект для вас

Подскажите пожалуйста качественные источники информации по NLP, то с чего лучше начать его изучение и погружение, желательно русскоязычные источники. Спасибо :)

На stepik есть неплохой бесплатный русскоязычный курс по NLP от Самсунга https://stepik.org/course/54098/syllabus. Похоже на то, что надо?)

Спасибо)

Спасибо, похоже вполне)

Всем добрый день!
Подскажите, пожалуйста, кто-то пользовался наработками Ильи Козиева (https://github.com/Koziev) по nlp? Интересует конкретно лемматизация, быстрее работает, чем pymorphy?
И как по сравнению с ними работает pymystem?