2
Мне интересная идея. Я бы занялся
Size: a a a
2020 March 21
A
понять вряд ли, тут скорее кнопки прокликивать
2
Alexey
понять вряд ли, тут скорее кнопки прокликивать
Почему?
ДП
Alexey
понять вряд ли, тут скорее кнопки прокликивать
а если вопрос типа "Скажите как вас зовут?"
ДП
хотя тогда случайная фраза пойдёт )
VP
Зачем случайные. Можно понять что ожидается.. и посылать
Тогда лучше нормальные тесты написать )
A
да, кажется, максимум можно вычленять кусочки вроде "скажите "начинаем"" и оттуда команды доставать
2
Тогда лучше нормальные тесты написать )
Тут задача иная, упростить тестирование навыкОв.
ДП
нейросетку обучить )
VP
Друзья, а кто-нибудь тут делал систему для брутфорсного тестирования навыка?
Типа даёшь ей вебхук, а она притворяется юзером, кидает в навык случайные фразочки, протыкивает саджесты, и т.п. И выдает потом получившиеся диалоги, статистику по временам ответа, и все такое.
Если никто не делал, давайте попробуем вместе?
Типа даёшь ей вебхук, а она притворяется юзером, кидает в навык случайные фразочки, протыкивает саджесты, и т.п. И выдает потом получившиеся диалоги, статистику по временам ответа, и все такое.
Если никто не делал, давайте попробуем вместе?
Мне кажется это будет не особо полезно :) Статистику по временам ответов и все остальное можно и из обычных логов взять. А рандомные фразы будут все время затыкаться в какой-нибудь точке сценария. Например,как написал Денис, ввод имени. Если в навыке проверка на Yandex.FIO, то рандомные ыразы этот шаг не пройдут. Придется все время подкручивать.
VP
Я пишу обычные e2e тесты с помощью alice-tester. И то там много нюансов. Например, в бд нужно мокнуть какие-то поля, чтобы проверить определенную ветку.
VP
А эта штука будет долбиться по ограниченному кол-ву путей и все.
DD
Мне кажется это будет не особо полезно :) Статистику по временам ответов и все остальное можно и из обычных логов взять. А рандомные фразы будут все время затыкаться в какой-нибудь точке сценария. Например,как написал Денис, ввод имени. Если в навыке проверка на Yandex.FIO, то рандомные ыразы этот шаг не пройдут. Придется все время подкручивать.
Я собираюсь использовать такой инструмент на ранних стадиях - когда навык не опубликован, и статистики из живых логов ещё нет.
DD
Я пишу обычные e2e тесты с помощью alice-tester. И то там много нюансов. Например, в бд нужно мокнуть какие-то поля, чтобы проверить определенную ветку.
Нормальные тесты, конечно, супер важно, и заменять их я не пытаюсь. Просто подумал, что клёво было бы быстро генерировать комбинаторно много дополнительных тестов, используя ответы самого навыка и внешние данные.
VP
Я собираюсь использовать такой инструмент на ранних стадиях - когда навык не опубликован, и статистики из живых логов ещё нет.
Ну попробовать можно ) Ради интереса, как твой навык выдержит такой поток бредогенератора
ДП
Я собираюсь использовать такой инструмент на ранних стадиях - когда навык не опубликован, и статистики из живых логов ещё нет.
Тогда бот в телеграме не подойдёт, это должна быть локальная тулза
DD
Тогда бот в телеграме не подойдёт, это должна быть локальная тулза
Ну я как раз думал про cli
ДП
Но на питоне я вам не помощник, простите ) Один раз его пробовал на хакатоне и всё. Я вот хочу какой-нибудь функциональный язык выучить, например F#.
A
cli не так легко локально стартовать (разные оси и т.д.), удобнее просто давать url кому-то