Так. Надо пойти ещё раз перечитать задание.

вроде, так:

1 колонка: то, что пользователь выбрал (открыл ссылку)
2: то, по каким параметрам он ссылку открыл.

В 1 колонке он просмотрел «Ламборгини, быстрая», а во 2 изначально искал «дешевый спорткар».

И, видимо, автору надо понять, насколько «Ламборгини» близка к «спорткарам» и можно ли пренебречь «дешевый» (или вернуть какое-то усреднение по всем векторам).

что означает фраза "% который означает на сколько колонка 1 подходит колонке 2"?

что значит подходит?

что значит, подходит на 30%?

@Sergey_Ilyin , @gwenywere

Все что я пытаюсь сделать - составить валидируюущую колонку, для обучения с учителем. Но может лучше решать как-то сразу, т.к проверочных данных, правильных ответов у меня нет и вряд ли смогу их правильно составить. Или использовать метрики близости - расстояние Левенштейна?

Другой пример, допустим в первой колонке перечислены навыки работника из резюме, а во второй вакансия работаля.

Глобальная задача заключается в том, что нужно как-то узнать, на сколько % работодателю подходит сотрудник (рассматривать ему его или нет).

Не знаю возможно ли это сделать, кажется много проблем. Это олимпиада...

Не знаю, можно ли это делать в олимпиадных заданиях, но вам правильно подсказали, что валидацию лучше размечать руками))

с резюме и вакансией задача выглядит полегче, потому что скорее всего и там и там будут приблизительно одинаковые слова (если вакансия подходит) и можно по растоянию определить схожесть (много вариатов как было выше). Потому что с машинами даже для человека разметить сложно по критериям красивая, недорогая и тд, кому-то нравится одно, кому-то другое, для кого-то это дорого, а для кого-то нет. Или тогда во второй колонке должны быть более четкие характеристики, типа цвета, примеров моделей, кузова, цена от и до и тд

Левенштейн это метрика для работы со строками и отдельными символами. Используется в основном для исправления орфографических ошибок и опечаток. Cosine similarity это метрика семантической близости двух текстов. Используется для поиска близких по смыслу текстов, например, у вас есть запрос и много разных текстов и вам надо найти самый близкий по смыслу текст к этому запросу.

У вас же больше проблема либо language inference, либо вообще sentiment classification

И то, и другое размечается руками, либо каким-то четким лейблом как например звездочки в отзывах на Амазоне

Также что-то похожее есть и в ранкинге поисковых запросов. Например, есть запрос, выдача в поиске и метрика — переход по ссылке. Есть переход — запрос и выдача соотносятся, нет перехода, выдача не соответствует запросу.

Спасибо

а что это за олимпиада такая?

У брата в 10 классе проходит

ничего себе :)

это по информатике олимпиада?

хорошая олимпиада :)

Я так понимаю, с 1 курса они все в сеньоры переходят?

наверное, все-таки все не так сложно в этом задании. Может быть, можно составить какие-то правила и сделать типа "экспертную систему", если нужна красивая, то такие характеристики, если недорогая, то такой ранг цен, и так далее

Добрый день! Ищу специалиста по nlp, который мог бы помочь с lda анализом большого корпуса новостей. Если это будет возможно, будет здорово объяснить базовые механизмы анализа. По срокам: до 19 июня, оплата в районе 10к, возможно больше, если сможете помочь еще с одной частью. Подробности в лс.