Если это causal свёртка, которая только в одну сторону смотрит, то можно полную аналогию с RNN сделать.
В противном случае надо пользоваться другими тулзами из этого треда, основанными на градиентах или на модификациях входного текста.

Далее есть статья про text fooler

Там есть методология оценки важности слов на вероятность ответа

Ща скину

1907.11932.pdf

Можно приземлить идею не на берт :)

Это конечно больше про влияние на текст

Есть стандартный пример:
from transformers import BertTokenizer, BertForSequenceClassification
import torch
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
model(**inputs).logits
А как его переписать без **inputs что-бы он работал?
Я разные массивы на вход model подавал, но так и не  получил рабочий результат

здравствуйте! возможно, есть такой же телеграм сообщество где обсуждают computer vision (на русс яз)?

Можно попробовать задать тут: https://t.me/opencv_ru

спасибо

Всем привет! Решаю задачу классификации текстов. Использую LSTM. Тексты - юридические. Очень часто в той или иной категории текстов (метке) используются определенные языковые обороты. Но иногда и нет. (Но чаще все-таки - да.)
Может кто-то подсказать, как "сказать" модели, что если она видит в тексте те или иные токены или их сочетания, то должна уделять им больше внимания и их влияние на результат должно быть больше?

Я наверное повторюсь)

Механизм внимания

Сетка сама научится с ним обращать внимание на то,что важно

Attention

Точнее это усилит ее внимание, тк в принципе в лстм заложены внутренние фильтры "gates"

Спасибо за ответ (еще раз ;) ), но может быть есть ссылки на реализацию? Kaggle? Где-то еще? Просто мне пока трудно вот так вот просто по слову attention код написать.

Я так понимаю, в модель нужно добавить attention layer, которые в keras есть «из коробки», а где именно? После lstm слоя? В общем много доп вопросов появляется.

Но так или иначе еще раз спасибо за ответ.

Гугл поможет)

Сделайте доп фичу вида "вижу целевой оборот". Такой искусственный аттеншн получится.