R
Она берет, но внутри себя все равно режет
Size: a a a
2021 March 16
D
Понял, вкусно.
R
Просто попробуй циклом добавлять слова и сравнить эмбеддинги
CT
Как вариант, можно порезать текст на пересекающиеся чанки и усреднить эмбеддинг
D
Но если текст больше 100 токенов, то все равно же он возьмёт просто первых 100 токенов? Просто у меня вся суть в основном в начале(первые 100 токенов)
D
Но это все равно порежет качество конечно
R
Danila Milovanov
Но если текст больше 100 токенов, то все равно же он возьмёт просто первых 100 токенов? Просто у меня вся суть в основном в начале(первые 100 токенов)
Ага
D
Как вариант, можно порезать текст на пересекающиеся чанки и усреднить эмбеддинг
А насколько хорош получается усреднённый эмбеддинг? Просто не работал ещё с этим
CT
it depends
CT
Проще просто взять и протестить)
D
Согласен, спасибо
CT
Но по опыту так получается чутка лучше, чем просто резать на непересекающиеся чанки и усреднять
D
Но по опыту так получается чутка лучше, чем просто резать на непересекающиеся чанки и усреднять
А не подскажите где можно почить про пересекающиеся чанки? Гугл пока что не помог
CT
[Мама мыла раму] -> [мама мыла], [мыла раму]
D
А, я понял, спасибо большое!
D
В USE Large же датасет больше чем в USE Small?
D
Или в чём их отличия?
CT
Danila Milovanov
В USE Large же датасет больше чем в USE Small?
Различия только в размере модели
CT
Ну и в архитектуре моделек
SL
Гайз, пробую файнтюнить руберт для нер, тексты до 300 токенов, выдает следующую ошибку:
RuntimeError('The size of tensor a (541) must match the size of tensor b (512) at non-singleton dimension 1')
В чем может быть проблема?
RuntimeError('The size of tensor a (541) must match the size of tensor b (512) at non-singleton dimension 1')
В чем может быть проблема?