Size: a a a

Natural Language Processing

2020 March 20

IS

I Sh in Natural Language Processing
Ну да) Но если человек работал только с tf-idf, и ему нужно что-то рабочее, зачем его загружать подробностями? - захочет, сам потом прочтёт))
источник

DL

Dmitry Legchikov in Natural Language Processing
я работал и с фасттекстом и с трансформерами))

Тут больше момент того как это тащить в прод и поддерживать.

tf-idf как бейзлайн показал себя хорошо, сомнения теперь на уровне как отправить модель в свободное плавание в проде с наименьшей болью
источник

АН

Александр Нагаев in Natural Language Processing
Dmitry Legchikov
я работал и с фасттекстом и с трансформерами))

Тут больше момент того как это тащить в прод и поддерживать.

tf-idf как бейзлайн показал себя хорошо, сомнения теперь на уровне как отправить модель в свободное плавание в проде с наименьшей болью
Tfidf полностью зависим от словаря, fasttext нет, tfidf нужно переобучать всегда, fasttext можно дообучить
источник

DL

Dmitry Legchikov in Natural Language Processing
кажется что если что-то пойдет не так, его проще переобучить и отправить обратно
источник

АН

Александр Нагаев in Natural Language Processing
Вот и ищи выгоду
источник

DL

Dmitry Legchikov in Natural Language Processing
спасибо, пойду экспериментировать
источник

D(

David (ddale) Dale in Natural Language Processing
Dmitry Legchikov
я работал и с фасттекстом и с трансформерами))

Тут больше момент того как это тащить в прод и поддерживать.

tf-idf как бейзлайн показал себя хорошо, сомнения теперь на уровне как отправить модель в свободное плавание в проде с наименьшей болью
FT в проде чувствует себя отлично, вычисляется реально быстро, GPU не требует.
источник

D

Dmitry in Natural Language Processing
Подтверждаю, мы тоже используем, правда как классификатор
источник

АН

Александр Нагаев in Natural Language Processing
Ft как классификатор?
источник

D

Dmitry in Natural Language Processing
Александр Нагаев
Ft как классификатор?
Да, размечаем тексты метками и тренируем классификатор
источник

D

Dmitry in Natural Language Processing
Например вопросы пользователей по тематикам. А потом определяем к какой группе вопросов относится вопрос пользователя и отвечаем ему (готовым ответом или с подстановкой)
источник

FF

Futorio Franklin in Natural Language Processing
Там же из коробки svm классификатор есть
источник

D

Dmitry in Natural Language Processing
Futorio Franklin
Там же из коробки svm классификатор есть
Где? В FastText SVM нет
источник

АН

Александр Нагаев in Natural Language Processing
Dmitry
Да, размечаем тексты метками и тренируем классификатор
ну вы используете ft как ембеддер а потом класифицируете
источник

D

Dmitry in Natural Language Processing
Александр Нагаев
ну вы используете ft как ембеддер а потом класифицируете
Да, все верно.
источник

FF

Futorio Franklin in Natural Language Processing
Dmitry
Где? В FastText SVM нет
Сори действительно, там изменённый линейный классификатор
источник

АН

Александр Нагаев in Natural Language Processing
Кто-то ещё использует стандартные алгоритмы в проде ? 🧐
источник

FF

Futorio Franklin in Natural Language Processing
источник

D

Dmitry in Natural Language Processing
Что такое стандартные алгоритмы и почему бы их не использовать?)
Тот же байесовский классификатор выдает иногда очень неплохие результаты.
источник

АН

Александр Нагаев in Natural Language Processing
Dmitry
Что такое стандартные алгоритмы и почему бы их не использовать?)
Тот же байесовский классификатор выдает иногда очень неплохие результаты.
Sklearn fit predict
источник