Конечно, это глобальный тренд: маленьким клиентам проще переехать на облако, большие самостоятельны на столько что сами могут все держать

Snowflake, Databricks, Firebolt и друзья изначально не предлагают никаких он-премных опций, рынку это даже нравится

то есть считанные единицы крупных сервис-провайдеров.

чё делать всяким мелким конторкам и проектикам, окромя как переезжать в облако — а ничего. нет другого варианта для нас

пока был бесплатный хдп, могли на нём как-то локально жить. а всё, больше так не можем. у клаудеры цена для нас неподъёмная от слова "совсем"

а чтобы развернуть ваниль (и, вероятно, навсегда на этом деплое застрять), надо потратить время. ну и обслуживать самосборный онпремис в конторе, где 4 фултайм сотрудника, эт тупо некому

В доклаудные времена всякий финтек, адтек, производственные компании, контент провайдер, даже соцсеть я одну поднимал на ванили)

Точно не единицы

будь у меня хотя бы человек 10, я бы тоже поручил кому-нить онпрем поднять

а то вон на eu-west-2 частенько не бывает достаточно ec2 инстансов нужного нам размера, ждать приходится часов по 10 :/

то есть если предположить такую ситуацию:
1) маленькая компания, скажем все аналитическое ИТ держат 6 человек
2) данных и нагрузки столько что файлсервер/minio + standalone spark или postgresql или clickhouse уже никак нехватает, нужен HDFS + YARN для пайплайнов
3) на облако нельзя

кмк в таком случае от ванили компания только выиграет, можно будет за счет cutting edge фич, точечных оптимизаций и нестандартных настроек отжать из железа максимум

Там все очень криво

Прям совсем криво

Я не спорю, но факт остается фактом

а если данных с четверть петабайта (и это блин всего за полгода навалило), вся алгоритмика уже оптимизирована вусмерть, подписки поставлены на автоматику, и образовался дичайший завал по мелким частным проектам, то чё делать?

людей набрать на саппорт мне не дают :/

а может быть такое что завал случился из-за оптимизации "вусмерть"?

не, просто количество. понабрали многовато заказов с сильно специфичными требованиями

вместо 1 карты по 1 набору параметров надо строить 250 карт по 50 параметрам

сам-то расчёт на полчаса, просто их х250 теперь таких расчётов блин :(

тогда это старый добрый scope creep, пусть раскошеливаются на обновление

паршиво то, что каждый расчёт — это деплой кластера в EMR. потому как каждый раз свой набор датасетов и подбор памяти/CPU, и невозможно сделать вменяемый перманентный под весь набор расчётов. ну и гонять всё время данные с s3 туда-сюда.

будь своё железо, загнал бы разворот в кубер с нужной нарезкой, а так большую часть времени ждём, пока оно развернётся, заберёт из s3, и так далее :(