нечто подобное, кстати, я уже делаю. Визуально вроде бы неплохо работает )

есть какой то разбор иерархии хомского для чайников?

ребят, возможно уже задавали вопрос, но вдруг - как у Наташи из location extractor достать найденную локацию в той форме, какой она была в тексте?

нашел, span

Is there a telegram NLP channel for people who speak English?

You can ask your questions in English here

🔫 @praveen_techmanager кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@yuri_baburov, @bougay, @v696973, @karpishin, Brenoritvrezorkre

Okay.

Could you suggest projects for NLP in the field of big data

Ребят, подскажите а как делать иерархическую классификацию? Когда общее кол-во классов велико, но кол-во подкатегорий для каждой категории не велико? делать отельные модели для каждой категории?

Есть алгоритмы которые сразу обе задачи решают, HDBSCAN, например

сказано же, классификацию, а кластеризацию)

Зависит от того, какую метрику ты хочешь оптимизировать.
Если любая ошибка классификации для тебя одинаково плоха (вне зависимости от того, верно ли ты угадал категорию верхнего уровня), то классификатор, учитывающий иерархическую структуру классов, вряд ли будет лучше обычного, не-иерархического.
А если тебе важно угадать хотя бы верхнеуровневую категорию, то да, можно сделать два уровня: одна модель предсказывает категорию, а другая (по модели на категорию) - подкатегорию.

более того, в каждой подкатегории можно натренить отдельную модель

Понял спасибо, правда когда дерево иерархий глубины 4, т.е. у каждого отзыва клиента 3 поля описывающих его заявку, то столько моделей проблемно делать

Ну на самом деле это может быть не 100500 моделей, а одна, в которую категория, с которой мы в данный момент хотим работать, подаётся как фича.

но так как подгатегории зависят от основной категории, то нельзя исключить, что модель выдаст несущесвующую для данной категории подгатегорию

Здравствуйте. Загрузил предобучную русскоязычную BERT модель. Всё делаю строго по инструкции, на моменте load_trained_model_from_checkpoint вылетает питон. Стоит win10x64, tf 2.0.0. Пробовал также на 1.14, тоже вылетает. Кто знает, в чем может быть проблема?

Привет! Дано: большое количество предобработанных текстов в таком виде: 1) «мотивы» (атомарные составляющие текстов) 2) «традиции» (условно, язык, страна, или место, где записывались мотивы; каждая традиция состоит из множества мотивов; имеет также географические координаты) 3) разреженная матрица традиции/мотивы: какие мотивы в каких традициях встречаются. 4) отдельные мотивы малозначимы и могут являться шумами, но статистически значимые совпадения многих мотивов в разных традициях могут показывать их, в некотором смысле, «родство». Известно, что разные традиции имеют разную степень «родства» и включают разные «комбинации» других традиций, плюс какое-то количество своих уникальных мотивов. В разных крупномасштабных регионах преобладают разные группы мотивов. Требуется: Что бы такого наглядного из этой матрицы можно было бы кластеризовать/классифицировать/регрессировать/еще как-то выделить? Как можно попытаться выделить крупномасштабные структуры? Что можно было бы попробовать отобразить на карте? Какими алгоритмами?

По теме иерархий сразу вспоминается formal concept analysis, но это просто воспоминание.