Если честно, то мне кажется 1) не получится реализовать адекватно.
Так как мусора в кусках текста на столько много, то реализовать 2) тоже будет проблематично.
3) - не решение проблемы на 100% и опять же вопрос как реализовывать.
4) - не знаю как реализовывать, но наверное это лучшее что можно было бы предложить. Оператор будет видеть не какой-то неструктурированный набор текста, а осмысленное словосочетание ("дорогие услуги", "неудобный сервис", и т.д.).
5) У меня сомнения на счёт этого. Regular expressions находят хотя бы негативные слова из тонны мусора, без этого мне кажется любой последующий алгоритм будет плохо работать. То что успел понять точно - выкидывание regular expressions ведёт к значительному замедлению расчётов.
6) Думаю это не повредит и например способ 4) не будет без этого работать. На это уйдут месяцы, и хорошо бы знать, что они были потрачены не зря и есть общая идея как улучшить результаты.

В общем, спасибо что дочитали до конца и я открыт к любым вашим идеям.

AI / ИИ
Китайские разработчики придумали, как использовать искусственный интеллект для обнаружения налоговых преступлений, пишет South China Morning Post. Ученые уверяют, что их система способна выявить около 95% всех известных махинаций в налоговой сфере, а также определить некоторые другие финансовые хитрости.

В ходе создания разработки ученые использовали сведения, собранные у более чем 300 тыс. налоговых инспекторов. Эта информация понадобилась для того, чтобы обучить искусственный интеллект выявлять аферистов и уклонистов. Несмотря на перенаселенность Китая, сотрудников налоговой стране все равно не хватает, пишет издание.

Пока неизвестно, когда новую разработку начнут использовать на государственном уровне. Однако ее уже протестировали в ряде регионов страны. Технология подключена ко всем китайским базам данных, которые содержат информацию о товарообороте компаний, а также к ряду других источников сведений о финансах.
@

1) для такой задачи нужно чтобы модель хорошо понимала смысл текста с учетом далекого контекста. В этом лучшие на сегодня модели трансформеры (unicorn ai)

2) проще будет заставить модель прочитать текст и потом попросить выжимку (дать модели текст, приклеить фразу "и в итоге я хочу" и заставить модель дополнить текст еще 100 словами например)

3) скорее всего это слишком низкоуровневый взгляд на проблему

4) натренировать модель (пре-обученную) классифицировать темы можно. но модель может больше. Например выбрать дальнейшее действие - определенный оператор, игнорирование, открыть таск. Т.е. что у вас там возможно из действий.

5) да. Мне не нравится это решение. Чем меньше данных потеряно от изначальных тем лучше. Это слишком грубое выкидывание данных, потеря контекста. Лучше сохранять все данные о клиенте, склеивать тексты и потом скармливать трансформеру все чтобы трансформер "помнил" контекст даже прошлых разговоров.

6) если вам ехать а не шашечки то не стоит использовать не предобученные модели

Большое спасибо за ответ! Вы рекомендуете использовать трансформер (BERT?) для этой задачи?

Я имел ввиду взять gpt-2
Он существенно больше

Можно и bert если ресурсы ограничены. работают они похоже

Но времч машрны куда дешевле времени оператора и даже 1% угадывания сильно повлияет думаю

А в каком смысле больше? И можно тогда ещё раз, какой алгоритм вы предлагаете использовать в  gpt-2?  Sentiment analysis?

Я предлагаю взять gpt-2 как предобученную модель и доучить на ваших данных чтобы решать вашу бизнес задачу. Т.е. выдавать следущее нужное действие или делать продолжение текста чтобы сказать оператору кратко в чем была суть задачи.

Готовые решения типа sentiment analysis вам скорее всего не подойдут. И нужно будет пост-обучение на ваших данных и с вашими решениями. Потому что они уникальны и в остальном мире почти не встречаются.

Поздравляю Всех С Новым Годом!

Спасибо! А что думаете на счёт textqa от DeepPavlov? Может ли это оказаться более эффективным?
Также сейчас читаю про Aspect based sentiment analysis. Не знаю, на сколько может быть полезным для задачи.

​​🎄С НОВЫМ ГОДОМ 🎄

🚏 Новый 2020 год обещает быть годом особенным, годом этапным и переломным. Дело здесь не только в моих субъективных ощущениях или красивой цифре: я бы сказал, это носится воздухе , поэтому слушайте ветер он выведет 🌬💨

📜 Рецепт же готовности к большим переменам — это ясность и твёрдость.  В первую очередь, задумайтесь , а чего же именно вы хотите от жизни ❓Если осознали прекрасно. Во - вторую, уже включайте фильтры, которые отсеят лишнее и оставят самые приоритетные задачи

💯 Именно твёрдости, ясности и четкой постановки желаемого я хотел бы пожелать подписчикам канала Торчик поскольку именно  через эти состояния добывается всё остальное. Гораздо достойнее, интереснее и приятнее получить это ВСЁ — чем бы оно ни было лично для вас — самостоятельно, нежели оказаться пассивным получателем даров судьбы

⚜ Будьте, друзья мои, счастливы, сильны и обретите наконец смысл — только по-честному,  завоюйте всё сами и прежде всего изнутри

✅ Лишь в этом случае блага будут подлинными и сколь-нибудь надёжными

🇷🇺 Поздравляю с 2⃣0⃣2⃣0⃣ каждого друга и подписчика, каждого с кем пересекались на перекрестке жизни. И где бы вы не оказались , всегда помните: порой, судьба не справедлива, но жизнь - игра, играй красиво!

Ну если вам нужно импортозамещение можете попробовать. Но гпт на данный момент лучшая модель

Recurrent Independent Mechanisms

Code: https://github.com/maximecb/gym-minigrid

Paper: https://openreview.net/forum?id=BylaUTNtPS

AI / ИИ
2 января исполняется 100 лет Айзеку Азимову. В прошлом году имя фантаста активно мелькало во многих газетах, журналах, телепрограммах - дело в том, что в середине 80-х он составил прогноз на год 2019-й. Всем было интересно, какие из пророчеств сбылись? А сбылись массовая компьютеризация, исчезновение ряда профессий, смена концепции образования, проблемы с экологией… Но этот знаменитый прогноз - далеко не все, что оставил после себя писатель. 

Он по-настоящему серьезно ставил философские задачи в области технологий. Например, сформулировал те самые законы робототехники, определившие не только литературу о роботах на многие не годы - десятилетия вперед, и заговорил о путешествиях во времени не в терминах попаданцев вроде янки при дворе короля Артура, а в рамках причинной проблемы.

Три закона робототехники:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться командам, которые ему дает человек, кроме тех случаев, когда эти команды противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму законам.

(Из "Руководства по робототехнике, 56-е издание, 2058 год").
@

не поскольку, а в той степени.

Кто читал Харари размотают эти законы как тряпку, там куча противоречий, любое определение берите и сразу ломается, например что такое вред

каскадность законов снимает большинство противоречий :)

принцип CSS рулит :)

Всех с новым годом! Deep learning and machine learning в чем разница?

Дай денях, а я тебя в гугле разбаню. Сможешь узнать тогда