t2
Но возможно я его неправильно готовлю
Size: a a a
2019 February 20
AP
0.7 bert против 0.84 tf-idf на логреге
Ощутимо. Токенизация учитывает знаки препинания?
t2
Выкидываю все знаки, препроцессинг еще разный. Для берт не производил чистку стоп-слов и лемматизации не делал, по рекомендациям. Возможно со стоп словами это я зря?)
t2
В bert вообще пользовался их препроцессингом, не помню остаются ли там знаки
AP
Препроцессинг, конечно, нужно унифицировать.
t2
Для tf-idf лемматизация играет в плюс, у берта же, скорее будет в минус, хотя я еще не замерял. Попробую на досуге
AP
Я имел ввиду) про подготовку для самого bert, а не cross-model
2019 February 26
YS
У меня на классификации заявок не побило TF-IDF(50к фичей n-gramm+char-gramm),
Ооо, братишка, я аналогичной задачей начал заниматься - автоматическая маршрутизация заявок на поддержку по группам обработки. Но ты, похоже, меня на 2 корпуса обгоняешь по закопанности в тему :)
YS
вот бы позырить твои наработки...
2019 March 01
A
На моих данных да, но в них 1. сильный дизбаланс 2. есть плохая разметка
Про сильный дисбалланс - может будет эффективно использовать метрику roc auc вместо accuracy? Сам занимался когда-то этой темой, и столкнулся с этими же проблемами. Сейчас бы попробовал сменить метрику, и опять погонять модель по обучению, только теперь нет для этого ни времени ни смысла.
t2
Appa
Про сильный дисбалланс - может будет эффективно использовать метрику roc auc вместо accuracy? Сам занимался когда-то этой темой, и столкнулся с этими же проблемами. Сейчас бы попробовал сменить метрику, и опять погонять модель по обучению, только теперь нет для этого ни времени ни смысла.
А как при мультиклассе свести ее к одной метрике? AUC же только для одного класса построить можно. В прочем я сейчас подумал что взвешенно (пропорционально дизбалансу) усреднять - вполне таки выход.
A
А, ну возможно. Я сейчас разбирался с этой метрикой, но для бинарной классификации. Про подвох с многоклассовостью не подумал.
2019 March 09
MT
Здравствуйте, есть кто использовал spaCy для нахождения сущностей в тексте? Не могу понять почему например для нахождения имени человека используется label PERSON, а для таких же сущностей на немецком языке используется label PER? Разве нет какого-то единого интерфейса?
2019 March 15
VM
Коллеги, привет! Можете пожалуйста подсказать готовый классификатор текстов по тематикам для английского языка? Или принято всегда свой пилить под задачу?
2019 April 10
V
добрый день! нужна помощь, направите, пожалуйста, в нужные материалы 🙏
есть задача: дан датасет (2 столбца, поисковый запрос + его дата). среди этих запросов нужно найти записи, которые относятся, например, к футболу.
я создала массив со словами типо "футбол, месси, чм, цска", разбиваю каждый запрос на леммы с помощью SnowballStemmer и смотрю, есть ли там слово из массива. есть ли еще какие варианты как это сделать?
есть задача: дан датасет (2 столбца, поисковый запрос + его дата). среди этих запросов нужно найти записи, которые относятся, например, к футболу.
я создала массив со словами типо "футбол, месси, чм, цска", разбиваю каждый запрос на леммы с помощью SnowballStemmer и смотрю, есть ли там слово из массива. есть ли еще какие варианты как это сделать?
D🐈
добрый день! нужна помощь, направите, пожалуйста, в нужные материалы 🙏
есть задача: дан датасет (2 столбца, поисковый запрос + его дата). среди этих запросов нужно найти записи, которые относятся, например, к футболу.
я создала массив со словами типо "футбол, месси, чм, цска", разбиваю каждый запрос на леммы с помощью SnowballStemmer и смотрю, есть ли там слово из массива. есть ли еще какие варианты как это сделать?
есть задача: дан датасет (2 столбца, поисковый запрос + его дата). среди этих запросов нужно найти записи, которые относятся, например, к футболу.
я создала массив со словами типо "футбол, месси, чм, цска", разбиваю каждый запрос на леммы с помощью SnowballStemmer и смотрю, есть ли там слово из массива. есть ли еще какие варианты как это сделать?
Что значит нужно найти записи, относящиеся к футболу? Можно подробнее?
Просто найти слова можно и регулярным выражением. Или речь идёт о семантике? Или надо классифицировать?
Просто найти слова можно и регулярным выражением. Или речь идёт о семантике? Или надо классифицировать?
D🐈
Вообще всё сводится к лемматизации, но до того надо бы нормализовать текст: удалить лишние символы (если такие есть), токенизировать, перевести в нижний регистр для удобства
D🐈
Вообще есть такая штука, называется bag of words. Вот наверное это тоже следует посмотреть, ознакомиться
V
Вообще есть такая штука, называется bag of words. Вот наверное это тоже следует посмотреть, ознакомиться
Спасибо, почитаю