Для тестов использовал pipeline от HuggingFace, применял разные методы объединения токенов (simple, first, average, max), но ни один не дал желаемого результата.

Использовать вместо pipeline голые tokenizer и model, и написать собственный код для агрегации результатов.

А сберовская roberta тоже так может? ;)

Не знаю, пока не пробовал её. Но судя по Russiansupeeglue, она весьма годная.
А вообще так-то и диппавловский BERT тоже нормально заводится.

ребята, такой вопрос. У меня есть 15 категорий в трудовой области, где перечисленны в виде пар слов, обязанности, что человек должнен выполнить. Например, сфера ИТ, навыки [работа команда:34,чистый код:49…] там частота появления. Я хочу как то это визуализировать правильно, но не знаю как. Может типа graph, просто бар с счётом не хочется, слишком много и примитивно. Может есть у кого опыт? В каждый категории сотни навыков.

Радиально-полосчатая?.. https://habrahabr.ru/post/345204/

Ну или "роза ветров", по классификации статьи...

Облако тегов?

слишком много элементов в категории

Нужно отобразить сотни элементов, чтобы было понятно?

Придётся элементы отображать без подписей. Т. е. на картинке не будет слов «работа команда» и «чистый код».

Вообще, нужно более подробное ТЗ.

Да, диппавловский я попробовал, но там что-то с 10-ти примеров не самое идеальное качество, хотя и неплохое. Поэтому и спросил.

Непопулярные не отображать или отображать чёрточками.

народ какой либой можно быстрее всего рассчитывать расстояние Левенштейна?

сам написал но она медленная

python-Levenshtein

Pullentity пробовали привлекать?

🔫 @MariiaTouzakova кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@wadimiusz, @WinteryFox, @viviby, Dmitrii Tatarnikov, @steysie
При поддержке Золота Бородача

Нет, что это ?)