Сам тоже долго присматривался, сейчас в паре проектов взяли на вооружение - очень быстро можно сделать UI, по сравнению с Jinja или тем более загружать фронтовика. Под капотом там Tornado + React

Привет всем! У меня стоит задача вытащить из предложения  ключевые параметры для SQL запроса. Подскажите пожалуйста с чего нужно начать чтобы сделать такое

я бы прогнал через банальный TF-IDF, а дальше было бы видно

Предложения по смыслу в основном такие "Дай мне такой-то отчет за такой-то период"

Мне нужно вытащить что за отчет и какой период запршивается

предположу, что всплывут биграммы "такой-то отчет"
За период не уверен, т.к. если это даты цифрами, то обычно, цифры отбрасываются, но надо пробовать

вот как раз даты могут быть "за неделю", "за прошлый месяц", "с 20.10,21"

надо пробовать ))

Обычно такие слоты ner-подобным алгоритмом вытаскиваются. Можно на ML, можно на ярги или регулярках.

То есть нужно готовить набор данных со всеми возможными вариантами написания запрашиваемой даты?

А есть примеры ner подобных алгоритмов ?

боже, ну вы попали. я раз 5 к этому тренажеру подходил - с разным успехом.

1. сильно универсально не сделать, поэтому сразу ограничивайте полет фантазии хотельщика
2. возьмите любой классификатор интентов + dateparser + справочники насклоняйте

чем меньше будете хотеть разума, тем лучше работать будет.

даже в power bi это дичь без слез не взглянешь. (или visiology , ну там получше, но интерфейс не сказать языковой).

и кстати... дашборды ничем не хуже ;)

Для тф ничего специально готовить не надо, все под капотом

Тогда я не очень понимаю о чем вы. В моем понимании tfidf это калькулятор вычисления важности слов для заданных документов/тематик

И он работает на основе данных которые в него грузят

видимо речь про классификацию интентов. или я хз

Подготовка = разметка. Не много не так написал

А нет ли подобных датасетов ?

Здравствуйте. Подскажите, пожалуйста, знатоки библиотеки transformers от Huggingface в чем может быть причина, что в функции generate не работают bad_words_ids?
Пытаюсь убрать ряд слов
bad_words_ids = tokenizer(["word"]).input_ids но слово как появлялось в выходе Bart, так и появляется

вообще тут как будто бы много вещей не так
надо просто сделать print(bad_words_ids) и убедится, что во-первых там нет спец-токенов, а во-вторых тензор одномерный