Всем привет! Такой вопрос. Есть у меня тексты (разговор абонента с оператором, без пунктуации, на английском) и в этих текстах в ручную выделены фразы нескольких категорий обещаний которые дал оператор абоненту (перезвонить назад, назначить встречу и т.д.). В целом 12 категорий. Сейчас я думаю над созданием алгоритма для этого. Выделил для себя два шага.
1) На первом шаге надо научить алгоритм находить конец и начало всех обещаний. То есть чтобы вставлялся тег начала и тег конца.
2) Второй шаг состоит в созданий классификатора, который бы распихивал обещания по нужным категориям.

Второй шаг, как я понимаю, хорошо разработан и это называется text classification. Сейчас смотрю как люди это делают. А вот по теме первого шага я чего-то не смог найти никаких разработок. Не подскажите в какую сторону копать? Может существуют подходы которые решают два шага одновременно?

Ты можешь разбить все тексты на какие-нибудь кусочки (например, токены, или скажем сразу фразы), и для них теггером (например, BiLSTM'кой) предсказывать IOB-разметку. Как для NER.

То есть на вход модели подаётся последовательность токенов, а на выходе последовательность тегов типа O, O, O, O, B-callback, I-callback, I-callback, O, O

строим синтаксическое дерево, оттуда выделяем последовательности слов, которые, скажем, есть в словаре английских выражений.
альтернатива — считать вектора для n-грамм и смотреть, что вектор let_down сильно отличается от среднего из вектора для let и вектора для down. тогда значит это какое-то выражение.

Приветствую. Где всему тому, что вы знаете, учиться?

онлайн-курсы, чтение научных работ, книжки, работа по специальности.

Если есть цель вытащить актуальную информацию, первое и третье поможет?

Или это только чтобы научиться?

да. смотря какие, конечно, но курсы многие актуальны, и книжки некоторые до сих пор актуальны.

вообще, работа инженера — декомпозировать задачу и выбирать в 99% из доступных альтернатив (или делать свою альтернативу, если ничего не подходит).

поэтому если учиться, то инженерные навыки тоже нужно приобретать. а с ними можно уже лучше разбираться в источниках информации.

Спасибо. Если вдруг потребовалось бы перечислить топ 10 инженерных навыков - какие бы обозначили как самые важные?

слишком сложный вопрос в такой постановке. могу рекомендовать лишь загуглить.

первый же ответ гугла вполне себе норм: https://medcollege5.ru/rabota-i-zarplata/professionalnye-navyki-inzhenera.html
нужно лишь немного ещё учесть специфику IT-инженеров

и вот ещё неплохой ответ про IT-специфику:
https://habr.com/ru/post/483218/

Всем привет. Я в python и в яп совсем новичёк, сел изучать yargy, потому что интересно и хочется сделать для себя один проект.
Работаю в Visual Studio Code 1.41.1 и питоне 3.8.1
Немного вопросов:
1) Каким образом можно удобно вытащить элементы из найденных токенов?
[MorphToken('молока', [11, 17), 'RU', [Form('молоко', Grams(NOUN,Sgtm,gent,inan,neut,sing))
я смог только вытащить value
for token in tokenized:
token.value
как обратиться к остальным?

2) Что за запись такая: [11, 17)
почему открывающая скобка квадратная, а закрывающая круглая?

3) есть ли какой-нибудь вариант печатать «спаны» цветом прямо в консоли VSC?
смотрю сейчас выступление Александра Кукушкина где используется ipymarkup и jupyter notebook.
а можно как-нибудь в консоли это делать?

Заранее извиняюсь за нубские вопросы :)

2 - это не синтаксис Python, это просто текстовое представление объекта span. Правая круглая скобка символизирует то что элемент с индексом 17 не входит в диапазон.

1 - можно вывести dir от token и посмотреть поля. Можно посмотреть доступные поля в исходниках библиотеки.

3 - консоль vscode не поддерживает изменение цвета, насколько я знаю. Вроде бы в библиотеке была возможность выделения спанов в тексте квадратными скобками.

Математическая нотация.

кстати, поддерживает, нашёл изменение цветов вот так:

import colorama
from colorama import Fore, Style
print(f"{Fore.GREEN} Hello World {Style.RESET_ALL}")

и цветной JSON ещё нашёл:

import json
from pygments import highlight, lexers, formatters
formatted_json = json.dumps(json.loads(json_data), indent=4)
colorful_json = highlight(formatted_json, lexers.JsonLexer(), formatters.TerminalFormatter())

*когда сам ответил на свой вопрос*