Видел не про сарказм, а про юмор от ребят из УРФУ https://github.com/computational-humor/humor-recognition https://www.aclweb.org/anthology/P19-1394.pdf

{
  "Скупой платит дважды. Пойду работать к скупому.": 1,
  "Алло. Нет, милая, конечно, не сплю, сегодня же ночь со воскресенье на понедельник. У тебя такой милый голос, когда ты в гомно. Конечно приеду.": 1,
  "У любой женщины должна быть подруга- уебище, которая дает «полезные» советы, потому что «разбирается» в мужской психологии.": 1,
  "Сходи со мной в ларек.": 1,
  "Ничто так не будит по утрам, как чувство, что сейчас обоссышься.": 1,
  "ты, эгоистичный ублюдок!!! спасибо, ты тоже ничего..": 1,
  "Начал думать — впал в депрессию.": 1,
...
  "не молодостью живем не старостью умираем": 0,
  "Telegram предложил способ поддержать свободный интернет": 0,
  "За ним вошел инспектор полиции в мундире и следом все еще не переставший дрожать Таддеуш Шолто.": 0,
  "Ничего, обо мне не беспокойся. Побеспокойся лучше о своей подружке. Она там давненько.": 0,
  "не зарься на чужое свое береги": 0,
}

LOL NLP https://cs.hse.ru/data/2020/04/07/1554782664/18_12_pavel_braslavski_hymor.pdf https://www.youtube.com/watch?v=dsZ0cwPgn1g

Кроте поля tag там есть поля pos и словарь feats, нужно обращаться к ним https://github.com/natasha/slovnet/blob/3df9cbdc672f4c64bbc3359165198b44aa8cf3d2/slovnet/markup.py#L105-L110

Встроенного вывода в CONLL нет, нужно написать код, пример https://github.com/natasha/nerus/blob/master/scripts/main.py#L623-L672

{
  "Скупой платит дважды. Пойду работать к скупому.": 1,
  "Алло. Нет, милая, конечно, не сплю, сегодня же ночь со воскресенье на понедельник. У тебя такой милый голос, когда ты в гомно. Конечно приеду.": 1,
  "У любой женщины должна быть подруга- уебище, которая дает «полезные» советы, потому что «разбирается» в мужской психологии.": 1,
  "Сходи со мной в ларек.": 1,
  "Ничто так не будит по утрам, как чувство, что сейчас обоссышься.": 1,
  "ты, эгоистичный ублюдок!!! спасибо, ты тоже ничего..": 1,
  "Начал думать — впал в депрессию.": 1,
...
  "не молодостью живем не старостью умираем": 0,
  "Telegram предложил способ поддержать свободный интернет": 0,
  "За ним вошел инспектор полиции в мундире и следом все еще не переставший дрожать Таддеуш Шолто.": 0,
  "Ничего, обо мне не беспокойся. Побеспокойся лучше о своей подружке. Она там давненько.": 0,
  "не зарься на чужое свое береги": 0,
}

Спасибо!

Вы можете поковырять атрибут _raw, но это непубличный АПИ ))

from yargy import Parser
from yargy.predicates import normalized
from yargy.interpretation import fact

F = fact('F', 'a')
R = normalized('красного').interpretation(F.a.normalized()).interpretation(F)
parser = Parser(R)
match = parser.match('красный')

display(match.fact)
display(match.fact._raw)

F(
    a='красный'
)
InterpretatorFact(
    attributes={'a': NormalizerResult(
         value='красный',
         input=Chain(
             tokens=[MorphToken(
                  value='красный',
                  span=[0, 7),
                  type='RU',
                  forms=[Form('красный', Grams(ADJF,Qual,masc,nomn,sing)),
                   Form('красный', Grams(ADJF,Qual,accs,inan,masc,sing)),
                   Form('красный', Grams(NOUN,anim,masc,nomn,sing))]
              )],
             key=None
         )
     )},
    repeatable=set(),
    modified={'a'}
)

Ключи на download, положить в ~/.slovnet.json

{
    "s3_key_id": "5bl7HUFkHjaRjOrRapGE",
    "s3_key": "tNIClFobfoqzScvROzCDpDkOB7k1HbVZiXgcbKTc",
    "s3_bucket": "natasha-slovnet"
}

Ребят, а кто юзает huggingface и трансформеры? Ищем способ как изменить архитектуру в их либе transformers. Нам надо например добавить свой слой между Add Norm и Linear. Искали в доках, не нашли.
Кто знает?

Мне кажется, можно просто написать свой PyTorch модуль, скопипастив код их модели и внеся нужные правки.
Я не прав?

😉Да

Ну вот не можем найти место куда правки вписывать там же должна быть архитектура, всякие слои и пр

state_dict?

Ну вот например исходный код BERT, там всё по слоям разложено. Со всеми остальными моделями - аналогично.

Так, это да. А есть ли в доках примеры изменений таких

https://github.com/strawberrypie/bert_adapter/blob/master/src/adapters/bert.py
Можешь попробовать вот так сделать

Спасибо глянем

спасибо!

Всем привет! Прошу совета в связи с немецким.

Мы ищем библиотеку/апи склонения на java/js для немецкого языка (типа нашего русского “Морфер”).

Нашли Simple NLG DE, но она не чисто для склонения, а для построения предложений. Склонение в ней представлено как модуль, поэтому нет уверенности, что будет хорошо работать вне контекста целых предложений.

Еще есть Morphy, но это exe-шник, а не библиотека/апи.

Возможно кто-то сталкивался с этой задачей и мог бы поделиться решением. Спасибо!

@irinakrotova Ира? 🇩🇪

ну для начала можно посмотреть, что под unimorph писали для разных тасков sigmorphon

посмотрим, спасибо

вот такого типа таски: https://sigmorphon.github.io/sharedtasks/2019/task1/