IG
Если цель просто найти редкие слова - IDF достаточно
Size: a a a
2021 November 26
A
А я понял почему, спасибо!
2021 November 27
YB
Редких слов недостаточно: вдруг у вас где-то в "INFO: Processing entry 12345: Арбуз" в логе данные проскакивают, тогда оно будет на такие данные триггериться.
Тогда без кластеризации не обойтись. Можно делать аналог word2vec и его кластеризацию, и потом определять нормальные кластера и неправильные кластера. И вообще не кластера.
Тогда без кластеризации не обойтись. Можно делать аналог word2vec и его кластеризацию, и потом определять нормальные кластера и неправильные кластера. И вообще не кластера.
VL
Если вначале всегда вот так указана дата, я бы её вообще не брал в векторизацию.
Превратить её во время и поставить временной индекс датафрейму.
Даже год можно добавить, если знаете год последнего месяца в логах.
Превратить её во время и поставить временной индекс датафрейму.
Даже год можно добавить, если знаете год последнего месяца в логах.
N
Добрый день. Подскажите, чем кроме Наташи, можно разбить на части русскоязычные адреса, по своим условиям?
KS
Sdk Pullenti Address
DE
Добрый день, есть ли какие-либо средства для извлечения смысла предложения?
A
вагон и маленькая тележка годных начиная с конца 2017 (появления BERT). приконкретизируйте немного задачу
DE
Необходимо, чтобы программа переформулировала данное ей предложение и смысл чтобы не терялся. В лучшем случае, чтобы могла находить противоречия в предложении
d
А можно пример первой и второй задачи?
d
Первое похоже на парафрайзинг
A
1. с парафразом много решений. одно из, например, https://huggingface.co/cointegrated/rut5-base-multitask
2. вообще по идее bert из коробки то и решает. любые модели с вложениями и косинусное расстояние
2. вообще по идее bert из коробки то и решает. любые модели с вложениями и косинусное расстояние
A
насчёт второго не уверен что верно понял правда
DE
Вторая задача, пример: Высшая математика - это так интересно и увлекательно, что я даже успел заснуть
d
Боюсь, такую задачу сносно решают модели, которым видеокарточка на 512Гб нужна для рефереса, а сборка данных для файнтюнинга обойдётся в миллион-другой рублей )
DE
Я думал можно каждое слово на онтологию разбивать, к какой сфере или к какому общему понятию относится и сравнивать каждое слово в предложении
A
побить предложение на куски хоть через https://huggingface.co/cointegrated/rubert-tiny и посмотреть косинусом, вяжутся или нет
DE
О, интересно
DE
Спасибо
A
