ещё, кстати, кажется, что в болтовне чаще встречаются местоимения личные и указательные (а в запросах нет)

но в целом, короче, да, кажется, что осмысленней именно использовать какой-то классификатор, в котором можно дополнительно акцентировать внимание на конкретные фичи. и сначала действительно посмотреть на данные хорошенько и подумать, в чём типичные различия между классами

Зачем же все решать в лоб?
Какая разметка, если есть и тв программа и новости, и культура с историей, и продукты с товарами. И называться они могут с местоимениями и с  пунктуацией. Типа "моя семья", соки "я" и т.п.
То есть надо менять постановку задачи!
Либо история диалога, либо маркеры, либо надо "держать"  все вертикали = поисковики по разным коллекциям.

вообще есть некоторое подозрение, что люди чаще используют маркеры запроса (типа "Алиса, найди") именно в голосовых ассистентах, ср. строка браузера, где и так очевидно, что это именно эта узкая спецзадача

про историю диалога хорошее замечание

а называться что угодно может с пунктуацией, но её даже в обычных-то поисковиках в норме опускают

а про местоимения и прочее было замечание скорее про частотности, потому что в любом нормальном диалоге то же "ты" (и формы 2 л. глаголов) явно будут встречаться чаще, чем в корпусе рандомных запросов

💥 Для тех, кто развивается в ML-разработке и Data Science. Новичкам и с опытом в Python.

- Регистрация открыта до 24 декабря включительно.
- Грант 4000 рублей - для всех участников на использование Yandex DataSphere.
https://bit.ly/2KIwkbT

AI Community и Yandex.Cloud впервые запускают онлайн-соревнование по анализу данных Yet Another Data Challenge.

Этот конкурс для тебя, если тебе интересно:
🟡 проверить свои навыки и получить опыт решения интересной задачи по генеративному ML;
🟡 пообщаться с опытными экспертами из Yandex.Cloud в чате и на вебинарах соревнования;
🟡 создать свою первую генеративную мелодию;

🏆 Призы конкурса:
1 место: MacBook Air 13 дюймов, 512 Гб + грант на DataSphere 150 000 руб;
2 место: Apple iPhone 12 Pro 6,1 дюйма + грант на DataSphere 100 000 руб;
3 место: Apple Watch Series 6 размер + грант на DataSphere 50 000 руб;

Топ-10 участников - награждаются Yandex Станцией Мини;
200 активных участников получают футболки Yandex.Cloud.

Регистрация, детали и лидерборд: https://bit.ly/2KIwkbT

Всем привет, есть ли готовые решения для анализа или кодирования (эмбеддинги) лингвистического стиля автора?

Задачей стоит находить людей, которые оставляют посты на форуме, используя несколько аккаунтов. Идея в том, что стилистически такие посты могут быть близки друг другу

ну в классической стилометрии, как ни странно, один из лучших методов на данный момент основан чуть ли не на тупо частотностях конкретных слов. гуглить stylometry, есть пакет для R и наверняка для питона тоже

ну а так - тупо пройтись хотя бы по https://github.com/topics/stylometry и https://github.com/topics/author-identification

и https://github.com/topics/authorship-attribution

Спасибо большое

да не за что
вот тут есть обзор с очень странным сочетанием места публикации и русскими авторами, но выглядит при этом как будто бы очень адекватно: https://fruct.org/publications/fruct25/files/Lag.pdf

там видно, что эмбеддинги как будто бы особо действительно пока не очень интенсивно в этом используются, ну и есть куча ссылок на работы

в частности, на Рудера с компанией, которые как будто что-то делали, но кода я не нашла: https://arxiv.org/pdf/1609.06686.pdf

Со своей стороны я пока нашел только применение ГАНов для выделения и переноса стилей
https://youtu.be/KK7VruLo9vg?t=1127

Первое интуитивное желание у меня было взять BERT и дообучить с акцентом на стиль. Но пока непонятно, как именно это лучше сделать

небольшой вопрос на счет CFG используя nltk:

у меня задача такая (простая учебная), у меня сложность с определением значения у которого есть пробелы и состоит из нескольких слов.

далее конструирую деревья некоторых простых значений.

но получаю:

что ожидаемо исходя из деревьев

как это синтактически правильно пишется ?

приветствую.
подскажите, а есть какая-нибудь механика или прием, делающий из условного телеграм-чата, условный корпус и достаточно халявно?
какая-то работа с временным окном или наиболее вероятные сцепления разных reply в длинные документы?

дело в том, что все осмотренные мной техники NLP тяготеют к обработке сравнительно длинных текстов.
при попытке перенести их на сообщения, зачастую ничего осмысленного не получается. слишком короткие сообщения.

надеюсь, это задача типовая и много раз решалась в последнее время.