V
Есть большой датасет из твитов, размеченных на положительные и отрицательные
Size: a a a
2020 February 14
FF
Добрый день. Подскажите, есть ли готовые решения (в либах) по определению эмоциональной окраски сообщений клиентов (язык - русский, неграмотный)? Или с чего стоит к этому подступиться?
https://github.com/bureaucratic-labs/dostoevsky как вариант на фасттексте, если нужно можно обучить свою модель
ИС
Спасибо всем)
NK
DeepPavlov - у них есть две готовые модели для русского
NF
Всем привет. А у NER Natasha - есть UI?
ID
Всем привет. Подскажите, пожалуйста, датасеты для Pos Tagging такие, чтобы были размечены с помощью Penn Treebank Tagset. Я нашел wsj, conll200 и masc. Но последние два достаточно маленькие, может у кого-то есть еще варианты?
SP
Коллеги, во второй раз обращаюсь к вам со своей бедой. Неужели никто не встречал датасетов с относительными датами на человеческом языке? «К концу года» «В ближайший вторник»? Месяц размечаем сами, страшная мука.
SP
Думаем на Толоку скинуть, но там и проверять придётся, а как это делать без датасета непонятно.
SP
Relative dates - и на на английском ноль, или не там ищу.
SP
Про парсеры забудьте - я опишу наши муки, нет готового решения, только рассуждения про « да я бы за вечер все сделал» dateparser, natty, timeforhuman - все остой
SP
И так февраль так ещё это.
IK
Думаем на Толоку скинуть, но там и проверять придётся, а как это делать без датасета непонятно.
Вы хотите, чтобы толокеры сами написали разные текстовые варианты? Можно же сделать два проекта: в одном толокеры пишут в произвольной форме с пост-оплатой, в другом другие толокеры их перепроверяют.
YB
Коллеги, во второй раз обращаюсь к вам со своей бедой. Неужели никто не встречал датасетов с относительными датами на человеческом языке? «К концу года» «В ближайший вторник»? Месяц размечаем сами, страшная мука.
а как вы размечаете? мы же обсуждали тут:
берёте по аналогиям кластеры дат из fasttext, их размечаете — вот вам и датасет.
(важно то, что из него попало в даты, и то, что не попало)
берёте по аналогиям кластеры дат из fasttext, их размечаете — вот вам и датасет.
(важно то, что из него попало в даты, и то, что не попало)
SP
Вы хотите, чтобы толокеры сами написали разные текстовые варианты? Можно же сделать два проекта: в одном толокеры пишут в произвольной форме с пост-оплатой, в другом другие толокеры их перепроверяют.
Нет, длительность от заданной даты
IK
Нет, длительность от заданной даты
А сами текстовые строки уже собраны?
SP
Через неделю - 14 дней от текущей точки
SP
а как вы размечаете? мы же обсуждали тут:
берёте по аналогиям кластеры дат из fasttext, их размечаете — вот вам и датасет.
(важно то, что из него попало в даты, и то, что не попало)
берёте по аналогиям кластеры дат из fasttext, их размечаете — вот вам и датасет.
(важно то, что из него попало в даты, и то, что не попало)
Я не понял как
IK
А сами текстовые строки уже собраны?
И все надежные, все — про относительную дату?
YB
Я не понял как
берёте склеиваете существительные и числительные во фразы.
потом учите word2vec на полученном тексте.
потом берёте слово "вчера" и находите все слова и фразы, что находятся на косинусном расстоянии 0.65 и выше.
берёте фразу "два дня назад" и поступаете так же.
набрали фразы. потом их расширяете таким же образом, ища синонимы через word2vec.
потом учите word2vec на полученном тексте.
потом берёте слово "вчера" и находите все слова и фразы, что находятся на косинусном расстоянии 0.65 и выше.
берёте фразу "два дня назад" и поступаете так же.
набрали фразы. потом их расширяете таким же образом, ища синонимы через word2vec.