И ещё. Я так понимаю ( в меру своей испорченности) , что системе нужно скармливать не только негативные кейсы, но и позитивные. Чтобы она могла их фильтровать.

1000 логов это прям очень мало

Хм, а зачем ей позитивные кейсы, если нам нужно создать set из regex правил, чтобы match'ить причины error'ов? 🤔

А сколько надо прям чтобы минимум? 10000? Или еще больше?

Добрый вечер.

Извиняюсь за длинный текст, но очень нужна Ваша помощь по Data Science. Я DevOps engineer, который никогда не работал с Big Data, Data Science и Machine learning, но впереди у меня написание master's thesis в университете и хотел бы взять что-то интересное из того, с чем никогда не сталкивался. И чтобы как-то совместить мои знания и узнать что-то новое, решил сделать проект, включающий в себя DevOps + Infrastructure + Machine Learning.

В комании, где я работаю, у нас используется CI/CD в полноценном её виде: deployment в live environment происходит до 100 раз в день ежедневно. Во время деплоймента запускается множество Jenkins Job, которые билдят docker image, прогоняют тесты, push'ат всё в гитхаб, деплоят в production и так далее. Проблема в том, что деплойменты периодически падают на каком-нибудь этапе, а анализ поломки занимает много времени.

Я хочу написать сервис, который будет собирать информацию с упавших jenkins job, парсить из них логи и анализировать какие error message's чаще всего встречаются. Затем этот сервис будет автоматически строить regex правила на основании этих error message'ей (например, есть regex: "^(?=.*npm ERR!).*$)" и в логах будет совпадение по этому regex'у. Тогда мы можем сказать, что билд упал, потому что были проблемы с NPM'ом). Автоматически сгенерированные regex rule'ы, будет изучать инженер и категоризовать их (например, раз в неделю). В итоге у нас появится система, которая автоматически генерирует причины падений и возможно в будущем можно будет автоматизировать категоризацию этих regex rule' ов.

Вопрос: насколько это вообще глупая затея? И имеет ли этот проект хоть какую-то связь с machine learing? Если нет, то что можно было бы добавить, чтобы поработать с machine learning. Пока что все выглядит логично и выполнимо с моей точки зрения:
1. Собрать кучу jenkins job, которые имеют failed status (думаю, что надо не меньше 1000 таких логов)
2. Спарсить из них все логи
3. Проанализировать какие error message встречаются чаще всего
4. Автоматически сгенерировать regex правила
5. Категоризировать правила
6. Сделать voting систему, чтобы можно было поставить +1 или -1, когда система сама проставила причину поломки, чтобы создать рейтинг ошибок и насколько они соответствуют действительности

Буду очень благодарен любой помощи!

Я думаю , что от мульена. Но я не de, а так - сочувствующий

В пдфке выше - работа "Using Distributed Traces for Anomaly Detection", можете подсмотреть идеи, дополнения к реализации

Спасибо большое 🙏

Понимаете , я с энтизиазмом отношусь к Вашему начинанию. Это реально крутая идея. Но фактически - на наивной реализации регекспа далеко не уедешь. И вообще, если уж на то пошло, value какой будет ? Ну, условно, упало у бизнеса 1500 пайплайнов из 100000 - и что ?

Ну long-term идея в том, чтобы система могла автоматически анализировать логи, составлять regex'ы и категоризировать их, чтобы затем автоматически ставить причину падения для deployment'ов

Пускай там эмэль модель будет на 100500 нейронов. Вы ее тренируете. И получаете.... Черный ящик. Но вызовов много. Саму нейронку запустить, например

Хм, почему в итоге получаем черный ящик по итогу?
И чем заменить regexp'ы?

Да чего вы до регепксов то докопались

согласен .... regex или еще, что нужны паттерны как true так и false для обучения..... что бы система могла разпознать, что делать в конкрентной ситуации или обучится этому на истории.....