потому что даже если kubernetes sd подключить - он снаружи не сможет сходить на поды/сервисы etc

Ага, главная проблема с тем, что внешнему прому нужно обеспечивать доступ к сервисам внутри куба?

Ага

Либо vpn вовнутрь тянуть, либо делать свои CRD которые он будет читать, а в CRD оператор будет писать внешние эндпоинты... Но думаю сам понимаешь, кто это все конечно не бесплатно)

Платишь временем и стабильностью

Помню, в Саусбридж решали эту проблему
На внешний мониторинг и логохранилище перешли как раз когда на небольших инсталляциях стандартные метрики и логи давали такую нагрузку, что мониторинг и логи жрали больше прода
Но эт было несколько лет назад, там и Эластик был другой, и операторы новые появились

AFAIK nginx параллельно появлялся. Там же апач юзался до этого вроде.
Много идей из апача Сысоев затащил в nginx.
Т.е. не было такого, что бизнес ждал, пока он писал nginx. Так наверное нигде не бывает.
Я даже по своему опыту знаю, что спотыкаешься об производительность того или иного решения,  там как правило еще есть место для масштабирования тюнинга, но что-то в этом всё не устраивает и в какой-то момент доходишь до понимания, что надо бы использовать что-то другое или написать своё.

Ну и тем, что кому-то кроме тебя вместо стандартных решений придется разбираться в навороченных костылях, которые по сути ничего не экономят

Эт да, просто есть вопрос - а вырос бы nginx, если бы Сысоев не отработал в Рамблере без дерганий 10 или сколько там лет?

Может и быстрее бы вырос

Сысоев вообще кажется человеком, для которого важна стабильность
Он лет 10 поддерживал техсаппорт в мейллисте и ирц))
В Рамблере этом дохлом работал

Причем первые годы Рамблер был норм, а последние-то точно был дохлым

его там к слову могли рублем удерживать например )

особенно если там на базе nginx много чего критичного напилено )

Мы например модули писали для энжика, чтобы часть нагрузки общей снимать с бэков.

И банерная система у нас работала как модуль энжика...

Интересно, как было, конечно
Сысоев же еще человек из другой эпохи, по сути
Из тех, кто наш Интернет строил с начала 90х))

да. и не всем людям комфортно менять работу каждый год в поисках бОльшего рубля например

А из той команды Рамблера вышли Ашманов, Бартунов и другие ребята из Postgres Pro, Олег Бунин (который Конференции Олега Бунина / Highload++, etc, если кто не знает) и еще много кто

да, про Бунина знал, а про остальных нет )