GG
Далее заматчить все события по этому классификатору
Size: a a a
2019 May 30
AB
Скорее для начала нужен классификатор отказов
а это не есть некий паттерн ?
AB
я бы для начало опредлил что есть true, что есть false ..... а далее уже классифицировал выполнение в рамках тогоже true/false
GG
а это не есть некий паттерн ?
Ну, я не знаю как это назвать
AB
идея очень прикольная, если рассматривать CI/CD .... и некую эволюцию, этих процедур..... в сторону ML
AB
так ?
GG
Примерно
FL
Ну long-term идея в том, чтобы система могла автоматически анализировать логи, составлять regex'ы и категоризировать их, чтобы затем автоматически ставить причину падения для deployment'ов
Кажется, что на ваших объемах вручную проанализировать все известные ошибки и составить регэкспы будет на три порядка дешевле, чем писать артифишиал интеллидженс машин лёрнинг десижн мейкер.
На данных большего объёма можно будет выстроить систему автоматизации первой линии поддержки, наклепать эвристик для упрощения разметки и тулов для классификации новых типов ошибок. И только когда это всё будет сделано, и этого будет уже не хватать, настанет время расчехлять "честное" машинное обучение.
На данных большего объёма можно будет выстроить систему автоматизации первой линии поддержки, наклепать эвристик для упрощения разметки и тулов для классификации новых типов ошибок. И только когда это всё будет сделано, и этого будет уже не хватать, настанет время расчехлять "честное" машинное обучение.
2019 May 31
ЕГ
согласен .... regex или еще, что нужны паттерны как true так и false для обучения..... что бы система могла разпознать, что делать в конкрентной ситуации или обучится этому на истории.....
Это не обязательно, есть одноклассовые методы для выявления аномалий, работают даже на небольших выборках
GG
Евгений Глотов
Это не обязательно, есть одноклассовые методы для выявления аномалий, работают даже на небольших выборках
можно поподробнее?
FL
можно поподробнее?
Семейство алгоритмов, которые пытаются обощить исходную выборку, а потом оценивают вероятность, что новый элемент принадлежит к этой выборке. Много разных вариантов и теорий, как это сделать.
В целом, это весьма неустойчивый и требовательный к данным подход. Если есть возможность свести задачу к многоклассовой классификации - надо сводить.
В целом, это весьма неустойчивый и требовательный к данным подход. Если есть возможность свести задачу к многоклассовой классификации - надо сводить.
GG
Семейство алгоритмов, которые пытаются обощить исходную выборку, а потом оценивают вероятность, что новый элемент принадлежит к этой выборке. Много разных вариантов и теорий, как это сделать.
В целом, это весьма неустойчивый и требовательный к данным подход. Если есть возможность свести задачу к многоклассовой классификации - надо сводить.
В целом, это весьма неустойчивый и требовательный к данным подход. Если есть возможность свести задачу к многоклассовой классификации - надо сводить.
Т.е. как я понимаю, категоризация (как я и говорил) все равно изначально ?
FL
Я не понял, что вы имеете ввиду, простите. =(
Категоризация - это термин не из машинного обучения.
Категоризация - это термин не из машинного обучения.
GG
Я не mlщик 😭
АП
Как фанат ml в data engineering Вкину свои 5 копеек. Логи как сгенерированая информация я так понимаю может быть распаршена, зная алгоритмы генерации. Задача извлечения паттернов - здравствуй nlp
АП
Но я так понимаю можно сделать кластеризацию на этом пространстве. Это позволит для начала узнать типы фейлов. Для классификации пока не определены классы.
АП
Для начала попробуйте прогнать логи через Фаст текст и на предложении Провести кластеризацию. Это соберёт паттерны вполне не плохо.
GG
О, фасттекст опять. Он же жесть какой ресурсоемкий и вроде оптимизирован для гпу ?