SM
Переслано от Kir L
друзья коллеги, кто занимался когда-либо измерением качества диалога/улучшением бота, есть пара вопросов:
1. Может быть есть ссылка на какой-то хороший материал по метрикам диалогов, пока читаю все подряд из гугла;
2. Представьте, что у вас есть лог диалогов, чат-бот с навыками, у каждого случая запуска навыка можно выделить начало и конец. Можно выделить положительно законченные случаи вызова навыка и отрицательно законченные. Какие бы исследования таких логов вы сделали бы в первую очередь?
Мне пока в голову не приходит ничего кроме как отобрать отрицательные и смотреть, почему они не закончились успешно, чтобы потом на основании этого сделать какие-то общие выводы.
1. Может быть есть ссылка на какой-то хороший материал по метрикам диалогов, пока читаю все подряд из гугла;
2. Представьте, что у вас есть лог диалогов, чат-бот с навыками, у каждого случая запуска навыка можно выделить начало и конец. Можно выделить положительно законченные случаи вызова навыка и отрицательно законченные. Какие бы исследования таких логов вы сделали бы в первую очередь?
Мне пока в голову не приходит ничего кроме как отобрать отрицательные и смотреть, почему они не закончились успешно, чтобы потом на основании этого сделать какие-то общие выводы.
Вторую фразу проверять после приветствия бота можно ( бывает человек изначально против беседы с ботом). Проверять орфографию, ,разговорную,ненормативную лексику, количество вопросов. Формулировки, т.е. структуру предложений (полные,неполные). Я бы так как- нибудь.
