Size: a a a

Natural Language Processing

2021 November 05

AB

Arcady Balandin in Natural Language Processing
Хочу словарик составить
Play - его вектор
Play - его вектор
Если слово имеет несколько значений то несколько записей.
Пока не понимаю как из hdf5 извлечь это
источник

EH

Ecce Homie in Natural Language Processing
А что ты потом будешь делать с этим? Просто хранить где то и получать доступ когда захочешь?
источник

EH

Ecce Homie in Natural Language Processing
Просто не совсем понятно в чем именно проблема
источник

AB

Arcady Balandin in Natural Language Processing
Да. Ещё точнее я ужму модель до самых частых слов,конвертну в Json и дальше буду с Json работать напрямую сличая расстояния между векторами. Возможно даже из браузера но без tf.js. просто напрямую. Для word2vec такой json давно есть. Для Elmo пока не пойму как получить
источник

DD

David Dale in Natural Language Processing
Я предлагаю взять корпус текстов, провернуть их через элмо, и получить список пар (слово + вектор этого слова в определенном контексте). Дальше для каждого слова выполнить кластеризацию всех его векторов в разных контекстах, и те слова, где кластеров вышло несколько, и считать полисемичными. А вектором смысла считать центр соответствующего кластера.
источник

AB

Arcady Balandin in Natural Language Processing
Ох. Звучит логично. Но я думал без корпуса можно из самой натрененной модели уже это извлечь.
источник

DD

David Dale in Natural Language Processing
В качестве алгоритма кластеризации можно использовать стандартный agglomerative clustering с порогом по дальности, который нужно будет подобрать вручную, так, чтобы кластеров получилось не слишком много.
источник

DD

David Dale in Natural Language Processing
Боюсь, что нельзя.
источник

AB

Arcady Balandin in Natural Language Processing
Спасибо!
источник
2021 November 06

КЗ

Катя Забабурина... in Natural Language Processing
Всем привет! 👋 Подскажите, если знаете какие-либо годные курсы по NLP с возможностью получить удостоверение о повышении квалифицикации? Для новичков знаю этот (https://python-school.ru/courses/pnlp-natural-language-processing/), но может есть более узкоспециализированные по отдельным задачам? Или сами проходили что-то подобное, что можете порекомендовать?
источник

B

Banof in Natural Language Processing
🔫 @Basery987 кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@wadimiusz, @Sorokin_Alexander, @LoneGeek, n i, Natalia
При поддержке Золота Бородача
источник

VS

Vyacheslav Sherkunov in Natural Language Processing
Такое в принципе возможно делать?
источник

🐙

🐙 in Natural Language Processing
источник

B

Banof in Natural Language Processing
🔫 @JonasEli кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@automotom, @gislygisly, @kekusmekusses, @dimstream, @kevlarsweetheart
При поддержке Золота Бородача
источник

SS

Sergey Shulga in Natural Language Processing
Народ, а что сейчас есть годного в управляемой аугментации или генерации текста? Хочется закидывать в скрипт одно или пару понятий, а на выходе получать предложение (в идеале не одно) с ними. Что-то вроде Т5 нужно, но с сохранением ключевых терминов.
источник

A

Andrey in Natural Language Processing
вот пример с huggingface labse
источник

VS

Vyacheslav Sherkunov in Natural Language Processing
Спасибо👍 будем изучать.
источник

IG

Ilya Gusev in Natural Language Processing
Так а чем T5 не устраивает? Под такую задачу можно любого размера корпус нагенерировать для обучения
источник

IG

Ilya Gusev in Natural Language Processing
Если есть выделялка понятий
источник

IG

Ilya Gusev in Natural Language Processing
Любые современные seq2seq подойдут, да даже чистый Трансформер
источник