И какую модель юзать? Стоит ли уходить в w2v, d2v? Или хватит tf-idf?

А кто-то применял подходы для классификации с noisy labels? Поделитесь опытом.

можно начать с бейзлайна лемматизация + tf-idf + логистическая регрессия, его нормально потюнить, и дальше уже пытаться нейронками переплюнуть

Кстати, замена чисел в текстах на "#NUMBER" имеет смысл и пользу?

Это очень контекстуально

Я например не могу терять числа, но фт например с ними не очень, меняю числа на числительные

Давай три примера классификаторов разберём: хотим номер этажа на выходе, хотим количество комнат определять, хотим определять город.

В первом случае лучше оставить, во втором можно заменить на shape (NN.N для 23.4, или в этом особом случае на 2N.N для 23.4 -- оставить первую значащую цифру), в третьем -- все числа на N.
Чем грубее представление -- тем лучше генерализация (особенно, если примеров мало), но мы можем потерять какие-то детали.

Как так получилось, что в spaCy есть модели для литовского и люксембургского языка, но нет для русского?

Если что, про spacy-ru я знаю

а они хорошие? :)

Я не знаю. Может и нет, но иногда хоть что-то нужно. Тебе респект, конечно, за spacy-ru. В основую либу не было идеи законтрибутить?

я готовлю хорошую версию для контрибуции, почти готова.
она была бы уже давно готова, если бы был единый датасет для NER.

версии с "хоть что-то" там есть, лемматизация там как-то работает из коробки.

ну меня как раз больше всего ner интересует прямо сейчас и немного синтаксический парсер

думаю, многим интересно, что происходит со spacy-ru, поэтому расскажу в двух словах:
- обучение из CLI в spacy 2.1 и 2.2 сломано (поэтому, у меня сделано через скрипт)
- хочется добавить аугментации для трибанков POS/DEP (не сделано)
- хочется несколько NER объединить в одной модели, т.к. самый крупный датасет размечен только на PERSON, ORG, LOC (сделано вчерновую, т.к. там есть нюансы).
- в spacy для многих языков с большим количеством морфологии низкая точность, т.к. фичи для языков  — неоптимальные (т.к. не поддерживается fasttext, что мог бы эти фичи успешно заменить), вот мой issue по этому поводу:
https://github.com/explosion/spaCy/issues/4815
способ для фикса придуман, он рабочий, правда, есть два разных варианта: делать более быстрый стемминг через snowball (модуль pystemmer) или более медленную лемматизацию через pymorphy2 . оба способа работают, но я их ещё не сравнивал. что думаете?
такая пред-лемматизация через pymorphy2 даёт максимум 10к-15к слов/сек, что предположительно замедлит spacy с 8к слов/сек до 5к-6к слов/сек. этого не хотелось бы.
я тестирую эффект на задаче классификации, и получаю точность 65% без стемминга, 70% со стеммингом, 71% с лемматизацией, но эксперимент был не очень чистый, (этот 1% может быть из-за грязноты эксперимента)

Нужен совет по модели кластеризации. Есть список клиентов -> у клиентов есть список товаров -> Каждый товар содержит несколько слов.
Хочу кластеризировать клиентов в несколько групп по виду деятельности - то есть по общим топикам.

Как бы вы представили такую модель для кластеризации в вектора например для kmeans?

А в чем профит от аугментаций на этих фичах? Чтобы модель была устойчивее к ошибкам парсера\таггера?

Моя гипотеза пока такая - каждое слово превратить в вектор по fasttext, выделить топ 100 слов например на TF-IDF и разложить на 100 слов * 100 (размер вектора fasttext) и так получится 10000 колонок. Может что-то экономнее?

да. дело в том, что корпус для DEP не очень большой — там всего 110 словоформ участвует и кажется всего около миллиона слов. для POS можно дополнять другими корпусами, конечно (и не все совместимы друг с другом), но для DEP всё. а DEP — модель синтаксиса — самая важная для любого сложного применения spacy и подобных технологий.