Теперь другой вопрос: кто каким aligner'ом пользуется для last_hidden_state -> Token.vector ? У меня есть свой велосипед для этого, хочу готовое решение.
(PS: не то, чтобы я не в курсе, про spacy-alignments, но я не понимаю, что он делает 😊 )

ОК, я разобрался :)

Приглашаем всех "сов" (ибо время Калифорнийское) на наш воркшоп:

Welcome to participate in the International Workshop on Interpretable Natural Language Processing as part of Artificial General Intelligence Conference on October 15, 2021
https://aigents.github.io/inlp/

While general conversational intelligence (GCI) can be considered one of the core aspects of AGI, the fields of AGI and NLP currently have little overlap, with few existing AGI architectures capable of comprehending natural language and nearly all NLP systems founded upon specialized, hardcoded rules and language-specific frameworks. This workshop is centered around the idea of INLP, an extension of the interpretable AI (IAI) concept to NLP; INLP allows for acquisition of natural language, comprehension of textual communications, and production of textual messages in a reasonable and transparent way. The proposed presentations regarding Link Grammar (LG), unsupervised LG learning, interpretable NLG/NLS, and sentiment mining/topic matching cover various INLP methods that may bring a greater degree of GCI to proto-AGI pipelines.

Physical attendance (watching the online webinar in a viewing room at the Hilton Garden Inn in Palo Alto) requires registration at http://agi-conf.org/2021/registration/. Virtual/online attendance is completely free of charge and requires registration at https://forms.gle/hVkackmcv6ioBsWw7. The Zoom information for virtual/online attendance will be sent to registrants (those who fill out the INLP registration form) before October 15 via the emails included in registrants’ form responses.

https://aigents.github.io/inlp/

Hello everyone,
I have read some papers related to improved the accuracy of pre-trained word embeddings in sentiment analysis for example this paper combined three approaches such as POS tagging , lexicon_based and word2vec/Glove word embedding in order to adress some issues occur in traditional word embedings , My questions are:
1- How they generated POS embeddings and lexicon embeddings as they meansiond in POS they generated a constant vector but it doesn’t clear how ? is it real value?
2- thay used some of lexicons for enhance sentiment information but they didn’t meansiond why they used these lexicons specifically?
3- they said after generated all vectors then will be concatenated with each othe ? Could you please clarify what is mean concatenation?
4- If some interested about improving pre-trained word embedding can we make a discussion about what is common problems in word embeddings and how can we solve , please tell me
Thanks 🙏

Здравствуйте, подскажите пожалуйста, можно ли "дообучить" TfidfVectorizer? Допустим, показали ему корпус документов, он сформировал матрицу tf-idf, показали ему ещё несколько документов и он обновляет свою исходную матрицу, согласно этим документам, вместо того, что бы строить новую.

Напрямую я такой функциональности в sklearn не вижу, если ручками написать, то ничего проблемного.  Храните обе матрицы tf и df и обновляйте по мере надобности.

а sparsity матрицы разве можно так просто обновлять?

Если вы храните sparse матрицы, то зависит от формата. Некоторые буквально созданы для того, чтобы по координатам обновлять значения. Словарь у вас фиксированный же всё равно будет.

Если есть задача обрабатывать токены, которых не было в обучающей выборке, я бы рекомендовал использовать HashingVectorizer. Там нет взвешивания по частоте и иногда бывают коллизии, зато там в принципе не бывает токенов out-of-vocabulary, потому что нет vocabulary. Особенно хорошо работает с character ngrams, на куче задач типа классификации токсичности заходил на ура

да, HashingVectorizer тоже сейчас рассматриваю, но хотелось бы именно дообучить tf-idf

Вообще, есть подозрение, что можно в принципе ограничиваться вектором (n_terms, 1), в котором обновляем df; tf мы всё равно считаем с документа. А дальше в формулу два числа подставили и вот наш tfidf

ну да, как вариант

Нейросетевые методы в обработке естественного языка
Йоав Гольдберг

Год: 2019
Язык: русский 🇷🇺

#книга #нейросети #rus

А подскажите, где можно прочитать про трансформеры?  На которых GPT-3 работает? Что это такое и с чем его едят.

мне вот эта серия объяснений трансформеров нравится:
https://elvissaravia.substack.com/p/learn-about-transformers-a-recipe

Всем привет

подскажите, пожалуйста, с чего начать изучение nlp?