IG
в среднем расчитывается примерно 60 центов за час работы толокера
Size: a a a
2021 April 09
FF
Я столкнулся с проблемой большого количества нерелевантных кластеров. В основном 2 типа, в первом новости одинаковые по начальной подстроке (к примеру какая-то плашка одного новостного издания или другой мусор) и из-за этого объеденяется много нерелеванта. Так же много кластеров объединяется по каким-то абстрактным правилам (типа города, локации, либо професси)
IG
Так тут как раз проблема не в ширине окна модели. А в её умении игнорировать мусор и выделять важные аспекты.
IG
Время требуется вот на что:
- написание инструкции, её валидация;
- наша собственная разметка небольшого семпла примеров;
- набор обучения, экзамена, ханипотов;
- подготовка и загрузка в Толоку данных;
- слежение за метриками разметки (качество на ханипотах, время выполнения и всякое такое);
- реагирование на сообщения толокеров;
- написание инструкции, её валидация;
- наша собственная разметка небольшого семпла примеров;
- набор обучения, экзамена, ханипотов;
- подготовка и загрузка в Толоку данных;
- слежение за метриками разметки (качество на ханипотах, время выполнения и всякое такое);
- реагирование на сообщения толокеров;
AA
Спасибо большое, интересно, мне интуитивно казалось, что объем разметки требуется больше. Наверное, для разового эксперимента 12 тысяч примеров можно даже своими силами разметить, чтобы не тратить время на освоение толоки
וק
Я делал как то модельки на бертах (несколько стратегий усреднений результата от большого постэканного тензора) , потом моделька с суммаризацтей , и моделька с VAE с получением вектора меньшей размерности. Лучше всех была последняя но настолько затратная , что использовалась на самом деле первая
FF
А как измеряли качество?
וק
Там действительно, очень сложно уместить вектор огромной размерности в нечто хорошее в виде вектора малой размерности применительно к статьм. Насчёт новостей. Да наверное там не все важно. Но вот в медицине это не совсем так
IG
Тут вопрос в соотношении затрат, да. 10к+примеров я бы точно в Толоку отдавал, мне после примерно 100 размеченных текстовых примеров уже плоховато.
וק
Ну у меня не было задачи найти похожие , была задача классификации что проще. F1 брался и т п.
НК
Подскажите, пожалуйста, какую кластеризацию использовать если на входе
Id документа №1
Id категория №1
Дробное значение релевантности
...
Id документа №1
Id категория №..X
Дробное значение релевантности
в наборе число документов может быть сотни тысяч, у каждого из документов десятки категорий
Id документа №1
Id категория №1
Дробное значение релевантности
...
Id документа №1
Id категория №..X
Дробное значение релевантности
в наборе число документов может быть сотни тысяч, у каждого из документов десятки категорий
DD
Кажется, это задача не кластеризации, а multilabel классификации. Или вообще регрессии (если предсказывать релевантность с MSE лоссом).
Или я что-то не так понял?
Или я что-то не так понял?
DD
Релевантности для одного документа суммируются в единицу, или необязательно?
НК
Релевантность уже подсчитана для каждой категории. Нужно как раз кластеризовать документы с похожими категориями и максимально близкими по релевантности.
DD
Получается, что вектор релевантностей примерно полностью описывает всё, что нам нужно знать о документе?
Е
Я бы попробовал взять какую-нибудь l2 меру над векторами с релевантностью (вектор содержит все категории) и использовать DBSCAN
DD
Плюсую.
Может быть, вектора сначала нужно будет нормализовать (так, чтобы сумма релевантностей или их квадратов была 1) - но может быть, и нет.
Может быть, вектора сначала нужно будет нормализовать (так, чтобы сумма релевантностей или их квадратов была 1) - но может быть, и нет.
Е
Только матрица смежности будет > 10^10 ячеек + в каждой ячейке по числу двойной точности ≈ 75 Гб, если я не ошибаюсь.
Нужно как-то оптимизировать.
Нужно как-то оптимизировать.
РН
DBSCAN избыточный. k-means или k-medoids. В любом случае автору нужно поупражняться в sklearn: https://scikit-learn.org/stable/modules/clustering.html