W(
куда смотреть? что нажимать?
Size: a a a
2021 May 14
W(
а у ну еще забыл добавить что
2021 May 16
PН
Привет. Мне нужно распознавать простую капчу, могу ли я для этого использовать катбуст и если да, то как именно? Мне нужно будет нарезать текст на символы?
AS
Для картинок, скорее всего, катбуст не самый лучший выбор. Лучше посмотрите в сторону нейронных сетей (pytorch, tensorflow).
PН
А для чего он хорош? Я давно видел доклад яндекса о нём, не знаю что это за библиотека, но кажется что её смысл в поиске связей. Где стоит использовать катбуст? Например для предложения статей по мета информации стоит попробовать?
AS
катбуст (и другие библиотеки градиентного бустинга) хорош в табличных данных. Например, предложения статей по метаинформации, да
PН
А какой типичный случай использования? Я собираю теги, описывающие о чём эта статья, скармливаю catboost и он перечисляет статьи с похожими тегами?
Какие именно данные обычно собирают для катбуста, что бы он мог предложить похожую статью которая понравится пользователю читающему текущую статью?
Какие именно данные обычно собирают для катбуста, что бы он мог предложить похожую статью которая понравится пользователю читающему текущую статью?
AS
> А какой типичный случай использования? Я собираю теги, описывающие о чём эта статья, скармливаю catboost и он перечисляет статьи с похожими тегами?
Не уверен, что правильно понял этот сценарий. Кажется, здесь вам вообще не нужен catboost. Если у вас есть описание всех статей с их тегами, то catboost не нужен. Можно проще.
В этом случае, возможно, можно рассмотреть задачу многоклассовой классификации: у вас есть набор данных в котором каждая строка: статья и список тегов. Необходимо для новой статьи подобрать подходящие теги на основе предыдущих данных. К тому же в catboost уже есть возможность работы с текстовыми признаками (текст статьи)
> Какие именно данные обычно собирают для катбуста, что бы он мог предложить похожую статью которая понравится пользователю читающему текущую статью?
Далее пример "в лоб". В проде лучше так не делать, как мне кажется.
Например, у вас есть набор данных как в предыдущем примере (статья + набор тегов) для каждого пользователя и в каждой строке есть признак того, что статья "понравилась" пользователю:
Сразу хочу сказать, что это очень приблизительный подход только для примера. На деле надо смотреть на данные.
Не уверен, что правильно понял этот сценарий. Кажется, здесь вам вообще не нужен catboost. Если у вас есть описание всех статей с их тегами, то catboost не нужен. Можно проще.
В этом случае, возможно, можно рассмотреть задачу многоклассовой классификации: у вас есть набор данных в котором каждая строка: статья и список тегов. Необходимо для новой статьи подобрать подходящие теги на основе предыдущих данных. К тому же в catboost уже есть возможность работы с текстовыми признаками (текст статьи)
> Какие именно данные обычно собирают для катбуста, что бы он мог предложить похожую статью которая понравится пользователю читающему текущую статью?
Далее пример "в лоб". В проде лучше так не делать, как мне кажется.
Например, у вас есть набор данных как в предыдущем примере (статья + набор тегов) для каждого пользователя и в каждой строке есть признак того, что статья "понравилась" пользователю:
article_id | article | science | nature | movie | user_id | like |Обучаете бинарный классификатор на этих данных (признаки - article, science, nature, movie, user_id, таргет - like)
1 | text | 1 | 0 | 0| 42 | 1 |
1 | text | 1 | 0 | 0| 146 | 0 |
Сразу хочу сказать, что это очень приблизительный подход только для примера. На деле надо смотреть на данные.
AS
То что вы хотите сделать — по сути рекомендательная система. Более полную информацию можно найти по такому запросу в вашей любимой поисковой системе
PН
Понятно. А для чего *используют* catboost?
Какой типичный случай его использования?
Какой типичный случай его использования?
AS
Задачи классификации, регрессии.
Рекомендательную систему тоже можно реализовать как задачу классификации.
Рекомендательную систему тоже можно реализовать как задачу классификации.
PН
А что он может классифицировать? Только тексты?
Например у меня сайт с картинками котов, пользователи сами ставят теги, я хочу что бы в целях поддержания консистентности контента, мне приходили репорты о неправильно предложенных пользователями тегах.
Я могу использовать для этого катбуст? Если да, то как это делать, в случае с картинками?
Например, есть проверенный сет картинок, в котором теги стоят правильно, можно использовать его, если нужно
Например у меня сайт с картинками котов, пользователи сами ставят теги, я хочу что бы в целях поддержания консистентности контента, мне приходили репорты о неправильно предложенных пользователями тегах.
Я могу использовать для этого катбуст? Если да, то как это делать, в случае с картинками?
Например, есть проверенный сет картинок, в котором теги стоят правильно, можно использовать его, если нужно
C
Total messages: 11721
AS
Текстовые, числовые данные.
Для классификации изображений обычно применяют нейронки, как я уже говорил выше.
То есть вам нужна сетка, которая будет предсказывать для каждой картинки подходящие теги.
Для классификации изображений обычно применяют нейронки, как я уже говорил выше.
То есть вам нужна сетка, которая будет предсказывать для каждой картинки подходящие теги.
PН
А какие конкретно задачи типичны для решения их катбустом?
Сталкиваясь с какой типичной задачей мне стоит сказать себе "говорят, это хорошо решается катбустом, выдели 20 часов что бы попробовать"?
Можешь привести не класс задач, а конкретные примеры использования? Например что ты решаешь этим инструментом?
Сталкиваясь с какой типичной задачей мне стоит сказать себе "говорят, это хорошо решается катбустом, выдели 20 часов что бы попробовать"?
Можешь привести не класс задач, а конкретные примеры использования? Например что ты решаешь этим инструментом?
PН
В каких именно фичах используешь его
D
можно зайти на сайт катбуста и прочитать про него, и посмотреть примеры,которые там приведены и так же гугл никто не отменял
PН
Я смотрел доклад, но там не говорили о конкретных примерах применения
D
т.к. конкретных примеров будет много;есть классы задач регрессия\классификация\ранжирование ,если задача сводится к этим классам, то можно использовать catboost, к любой задаче классического МЛ катбуст подойет
AS
@spamtarget примеры задач привёл @Daillek. Если говорить без детализации – любая задача классического МЛ.
Например, использовал в соревновании на kaggle https://www.kaggle.com/c/m5-forecasting-accuracy
Например, использовал в соревновании на kaggle https://www.kaggle.com/c/m5-forecasting-accuracy
