N
клёво!
и ксати вроде spacy тоже умеет выделять подобные чанки
и ксати вроде spacy тоже умеет выделять подобные чанки
Size: a a a
2021 March 12
N
может, но надо допилить немножко
SK
Такой вопрос, а не подскажете как под капотом работает fasttext supervised_learning хотел би узнать для себе, если можна скинуть пару ссилок? И возможно ли сделать такую же модель например на PyTorch?
2021 March 14
AS
Кто-нибудь знает как нормируется расстояние Левенштейна между двумя строками (в postgreSQL) чтобы близость от 0 до 1 выдавать? на длину бОльшей строки?
SL
Всем привет!
Кто-нибудь, может, сталкивался со следующей проблемой в spacy во время дебага данных с конфигом с моделью "bert-base-multilingual-uncased" (потому что с tok2vec такой проблемы не возникает):
ValueError: [E093] token.ent_iob values make invalid sequence: I without B
50|O тыс|O .|O фунтов|O
Проблема в том, что у токенов, на которых выдает ошибку, нету тага "I" в принципе...
Кто-нибудь, может, сталкивался со следующей проблемой в spacy во время дебага данных с конфигом с моделью "bert-base-multilingual-uncased" (потому что с tok2vec такой проблемы не возникает):
ValueError: [E093] token.ent_iob values make invalid sequence: I without B
50|O тыс|O .|O фунтов|O
Проблема в том, что у токенов, на которых выдает ошибку, нету тага "I" в принципе...
MK
Такой вопрос, а не подскажете как под капотом работает fasttext supervised_learning хотел би узнать для себе, если можна скинуть пару ссилок? И возможно ли сделать такую же модель например на PyTorch?
Н
Привет!
Подскажите, а кто-то строил ансамблевые модели над синтаксическими парсерами?
Подскажите, а кто-то строил ансамблевые модели над синтаксическими парсерами?
SP
Привет!
Подскажите, а кто-то строил ансамблевые модели над синтаксическими парсерами?
Подскажите, а кто-то строил ансамблевые модели над синтаксическими парсерами?
Настя, какая задача? Ансамблевые модели - это посто последовательность моделей которые следуют логике, что вы подразумеваете под синтаксическим парсером? Мы решали похожие задачи для клиентов.
SP
По моему SpaCy match использовали чтобы находить определенные конструкции и потом поверх них тренировали модели для авторазметки.
Н
Настя, какая задача? Ансамблевые модели - это посто последовательность моделей которые следуют логике, что вы подразумеваете под синтаксическим парсером? Мы решали похожие задачи для клиентов.
Я изучала синтаксические анализаторы (spacy, slovnet, deeppavlov) для 1 входного предложения на русском языке.
Нужно построить смешанный ансамбль, объединить модели и добиться лучшей точности, чем у каждой модели в отдельности.
Это задание ВКР
Нужно построить смешанный ансамбль, объединить модели и добиться лучшей точности, чем у каждой модели в отдельности.
Это задание ВКР
AK
Семинар @cointegrated про программирование ботов для Алисы, и вообще хороший канал про NLP и чатботов
AK
Наверное, стоит сюда закинуть мой недавний двухчасовой вебинар по разработке навыков Алисы в Python
https://youtu.be/VlkCJ26Gd60
https://youtu.be/VlkCJ26Gd60
Е
Я изучала синтаксические анализаторы (spacy, slovnet, deeppavlov) для 1 входного предложения на русском языке.
Нужно построить смешанный ансамбль, объединить модели и добиться лучшей точности, чем у каждой модели в отдельности.
Это задание ВКР
Нужно построить смешанный ансамбль, объединить модели и добиться лучшей точности, чем у каждой модели в отдельности.
Это задание ВКР
Я бы сначала определился с исходными данными. Потом получил показатели метрик эффективности для каждой модели на выбранном датасете. А после принимал решение об ансамбле. Может оказаться, что одна из моделей плохо справляется с задачей и ее не надо учитывать. Может только одна из моделей показывает удовлетворительный результат.
N
можно вообще на типы ошибок посмотреть для начала
А
Все привет ребят,
"""Load IMDB dataset, tokenize texts, and display its representation for each word"""
Появилось такое задание никак не могу понять что надо сделать
в IMDB датасете, просто 50к текстов
"""Load IMDB dataset, tokenize texts, and display its representation for each word"""
Появилось такое задание никак не могу понять что надо сделать
в IMDB датасете, просто 50к текстов
А
Кто может хотябы направить
А
Что надо найти
A
Кто может хотябы направить
Сделать токенизацию текстов, и вывести на экран несколько слов.
А
И все получается? Просто вывести?)
Е
Здесь не написано отображать их в какое-то векторное пространство