и понимаю что мой потоковый бот не такая уж и плохая идея была)

"количество повторений" - как считать планируется?

а т оу меня кажется есть готовое выражение на авк

примерно на таком же наборе полей лога нжинкс применяется

количество повторений считает вроде правильно

awk -F#011 '$3!~/регулярка по исключению локальніх айпишников/ && $6!~/(.*урлкоторыйнеинтересует1.*|.*другойурлкоторыйнеинтересует.*)/ && $7~/(401|403)/ {array[$3]++} END {for(i in array) if(array[i] > 20) print array[i], i }' /opt/syslog/nginx.log | sort -r -n > /opt/ipserrs.txt

if [ -s ipserrs.txt ]
then
for line in $( awk '{ print $2 }' ips.txt )
do awk -v var="$line" -F#011 'BEGIN { OFS = "#" } $3 ~ var && $7~/(401|403)/ { print $3, $6, $7, $14 }' /opt/syslog/nginx.log | sort -u >> final.txt
done
fi

в моем лог формате третье поле - remote_addr

if(array[i] > 20) можно убрать.
у меня это условие, что если менее 20 ошибок - чтобы не срабатывал

внутри ipserrs.txt
<айпишник> <количество для этого айпишника строк выполняющих условия из первого выражения>

ну а второе выражение внутри ифа аналог греп

но только по единственному полю

а вот тут я встал в ступор

в идеале я хотел чтобы это было одно сообщение каждое 5 минут по комбинации что я скинул выше, но для меня это пока сложно

ну, если использовать велосипеды и костыли...

получаем за 5 минут все значения

с помощью jq извлекаем в текст

sort > file 1
sort -u > file 2

потом для каждой строки из файла 2 с помощью grep -с считаем количество ее вхождени в файле 1

всё

но, медленно

если раскурить на авк - будет очень быстрее