А не работает же эта модель почти? Только прям совсем гигантские игроки на такое покупаются — всякая пега и сап тому примеры

к спарку можно подключаться по  jdbc через thriftserver. очень даже годится для spark - dbt

Это тоже решение, нужно пробовать.

хайв дольше процессит, но надежнее, если не хочется памяти покупать размером с hdfs

аргумент, да

@asm0dey без обид, но сейчас первое что делаю устанавливая на свежий комп ide первое что делаю это отключаю вагон говна вида "мы вам вкорячили ии для саджеста и тд" потому что иначе франкенштей это самое мягкое что я могу сказать

И так делает почти все моё окружение

Часть людей пользуются корпоративной лицензией

часть за свои (я в том числе), готов платить просто потому что не те эти деньги чтобы поддержать продукт

Но вот постоянные свистоперделки, вместо решения вопросов скорости напрягают

Сколько лет вы выностите индексацию из ui потока? До сих пор до конца не вынесли

true story

А вот, тоже вопрос: как насчёт IDE, в которой только тулы для дата инжиров, а всякой мишуры типа аппсерверов не будет?

Условно подклчение к БД, цеппелин, скала, пайтон и всё

А, ну и всякие там remote fs

Самый надежный енжайн это mr2, утром запустил утром точно доехало, если место на дисках не кончилось 🤣

Никаких обид, спасибо за фидбек

Насчёт индексации — ну опять же там люди поумнее меня работают и, как всегда в легаси, ничего не бывает просто. Там вон даже на этом фоне Fleet начали делать — принципиально новая архитектура и вот это вот всё. Но до настоящей полноценной IDE ему ещё далеко конечно

Я понимаю, вторая фича которая раньше была, а теперь нету

Открываешь на импорт новый проект

Раньше пока импортится, можно уже глянуть в текстовом редакторе код(даже подсветка не нужна)

Сейчас и импорт сделает и попытается скачать зависимости, и уже потом только в навигации покажет какие файлы к проекту относятся и ты их сможешь открыть

На больших проектах это часто превращается в "поставил на открытие, пошёл на кофе"

Ну или если что по мелочи просмотреть vim или vscode

А бага про то, что пока зависимости качаются почему-то индексация не работает уже заведена! Там Тагир был оч недоволен этой штукой. И я оч надеюсь что этим занимаются (но не уверен точно)

лул, эт прям вообще жиза. откроешь спарк какой-нибудь, git pull и ушел пить чай.

а когда еще приходится работать с каким-то проектом, у которого окружение в докере (к сожалению) - х5 времени на пересоздание скелетонов или чего там

Я не понял последнего :(

Почему докер что-то замедляет?

проблема в том, что Alex описал. пока там все пересоздается, ходить по файлам нельзя, даже просто в read only режиме

Всё ещё не поня причём тут докер :(