там правда всё не совсем просто для кастомных (не sklearn и *boost моделей), нужно самому через TextSampler'ы смещённые сэмплы генерировать (выкидывать и заменять слова)

на зато можно для действительно любой модели объяснялку делать

Буду пробывать)))

а в чем принципиальное отличие sklearn от кастомных, что имеешь в виду?

там скорее же разница в том какой токенайзер отдавать лайму?

из той же серии есть еще captum

В такой архитектуре есть очень интуитивный способ оценить вклад каждого слова в прогноз.
Берём последний LSTM слой, и делаем в нём return_sequences=True (это можно реализовать, создав такую же модель, но с return_sequences=True, и клонировав в неё веса старой).
Такая модель будет предсказывать вероятность каждого класса не в конце текста, а для каждого слова. Т.е. мы на выходе получим не 6 вероятностей, а матрицу max_comment_len*6 вероятностей.
В этой матрице можно посчитать разность всех соседних строк, и она как раз и будет вкладом каждого слова. Т.е. слово, на котором вероятность класса i сильно растёт, очевидно вносит большой вклад в этот класс в данном предложении.

ну точнее он о другом немного, но можно тоже через integrated gradients для эмбеддингов токенов пытаться интерпретировать

но тут отдельный вопрос что брать за бейслайн наблюдение

Это будет работать быстрее, чем lime, потому что lstm слои (самые тяжёлые) придётся всего один раз вперёд прогонять. Но работает только для этой архитектуры (односторонняя рекуррентная сеть).

не, для кастомных моделей нужно ещё и предиктор свой написать

спасибо

удваиваю, captum топ

а, да оборачивать нужно бывает, ты прав, для табличек там еще свои приколы с категориями бывают, приходится декорировать

кстати да, я так и не понял, что брать за бейзлайн в IG
в принципе, можно и нули, если эмбеддинг какого-нибудь pad токена тоже нулями заполнен

но ключевой момент именно в токенайзере мне кажется для лайма, по дефолту он там по пробельным вроде, а если модель сабворд использует, то грубая аппроксимация совсем может получаться

ну наверное реколл значимых токенов большой все равно, а вот детализация не очень

я обычно беру то, что паддингу соответствует, если он не обучается, то есть в слое эмбеддингов прям указан явно

а если обучается? берешь из матрицы эмбеддингов?

в целом это наверное странная ситуация, когда он обучается, но я такое встречал, просто не выставлен параметр в слое, например

бывает ещё, что сначала задают паддинг, а потом инициализируют веса в слоях и он перестает быть нулевым тензором, вроде, просто градиент к нему не приходит при обучении, если он был специфицирован

можно наверное брать и для bos/eos тензоры, если есть

ну вообще да, в том же торче есть параметр padding_idx

надо будет прогнать несколько вариантов и посмотреть
странно, что в оф. доках я ничего, связанного с бейзлайном (для текстов) не замечал