👀

year++ :)

Всем привет и с Новым годом!
Друзья, какие вы знаете более-менее публичные лидерборды по русскоязычному NLP?
Мечтаю об аналоге GLUE. Понимаю, что такого нет, но надеюсь, что по кусочкам можно собрать.
Так что если вы знаете для разных русских NLP-задач датасеты+разбивки трейн/тест+метрики - поделитесь, пожалуйста.

Для затравки: открыты ли данные, на которых DeepPavlov свои русские модельки замеряет?

Надо брать ежегодные конкурсы Диалога (morphoeval, factrueval , ...) а также semeval от НГУ.

Процентов на 90. Есть исключения, но обычно открыты

Да, Диалог первым приходи в голову)
Semeval погляжу, спасибо!

И, кстати, у glue есть большой недостаток. У нескольких заданий статистика (т.е. не обобщение, а скорее, в варианте "всегда говори да, наберёшь 70%") позволяет DL алгоритму показывать 80%-90%. А если декоррелировать -- то 60% (и это в бинарном тесте).
Поэтому появился SuperGlue

Ага, читал про это

Добрый день.
При использовании Yargy-парсера столкнулся с задачей распознавания дат. Помимо обрабатываемых готовым правилом форматов дат присутствуют следующие:
1) 1970-01-01T00:00:00;
2) 19700101;

Первый формат имеет типичное решение, но вот со вторым возникли трудности, поскольку вся дата в таком формате представляет собой один цельный токен и интерпретировать его на общую модель "типовым решением по примеру" не выходит.

Необходимо каким--то образом разбить токен при обработке на 3 составные части.

Дайте, пожалуйста, совет - что с этим можно сделать, или если кто сталкивался - пример решения такого типа задачи.

Так то простая регулярка поможет, но если в тексте есть числа в 8 знаков, то у тебя проблемы.

Посмотри на либу dateparser, там можно покрутить нужный формат

По крайней мере я заставил ее работать в очень широком диапазоне

В тексте не исключено появление таких чисел.

Также в тексте будет производиться поиск ФИО и Адресов, поэтому хотелось бы использовать один инструмент (Yargy).

Пока, помимо выделения попадающих в диапазон (хотя бы годов) значений дальше не продвинулся:

DATE_IN_SINGLE_INT = and_(
   type('INT'),
   gte(19000000),
   lte(21000000)
)

Поскольку разбить на данном этапе токен на меньшие не выйдет (с Yargy познакомился недавно, поэтому могу ошибаться), то ищу другие способы решения вопроса.

Интересный вопрос

А решение есть?

За помощью в решении в этот чат и обратился.

Вопрос по сути сводится к следующему - можно ли один токен распределить на несколько атрибутов модели (день, месяц, год)?

Я сам ищу ответ)

How to approach this problem where multiple file contains similar data I want to train model