ну типо какой то DSL который бы под капотом делал все эти преобразования?

в общем, ничего готового не нашлось, потому и пишу.

понимаю что не ниженерный подход но - насколько это разумно - его же нужно будет поддерживать, а он будет сложный. Не проще ли. нанять людей который будут вручную это делать?

просто какое то изобретение велосипеда. мб я ошибаюсь...

@workales а кубики в существующих пентахах/стримсетах не подходят?

По мне сделать джобсервер который будет по запросу что нужно побымать с нужными параметрами и блок интеграции с этим сервером будет проще чем все с нуля писать

В итоге он и будет лишь таск входящий выполнил и завершил его

ну что-то такое вырисовывается. щас пока что в teamcity забиты несколько десятков наиболее common pipelines — вручную собранные, и параметризованы. сатанист дёргает билды через рест с наборами параметров. написал на питоне себе обвязку. но на каждый новый процесс ему надо собирать уникальный конфиг, а тут уйма ошибок. текстовый файл в сотни строк править весьма непростая задача, а разбивать на меньшие подпроцессы муторно.

Kedro случайно не о том же? https://www.mckinsey.com/about-us/new-at-mckinsey-blog/meet-kedro-mckinseys-first-open-source-software-tool

Нормальная ссылка https://github.com/quantumblacklabs/kedro

Hi! Someone from BARCELONA??

Unlikely

Anton @epikhinm это выглядит как игрушечный экскаватор для поиграться на питончике в локальной песочнице. моя программа максимум — сделать аппарат для добычи руды с астероидов, и продавать как сервис в облаках. отчуждаемый продукт, а не фреймворк. если мы таки сможем кому-нибудь крупному продаться... 6 лет наш стартап существует, а автоматизацию пилим уже больше двух. не сможем продаться — оставим у себя без гуя, видимо.

про кейс я уже точно решил после НГ сделаю серию статей на хабре. про то, как с прототипа на MapReduce + PostGIS пришли к спарку на AWS, снизили себестоимость в 1000 и ускорились в 10000 раз. по дороге были ещё повороты в Azure и geospark, путешествие было интересным.

Oybek has been banned! Reason: CAS ban.

Если скучно - пиши код

Всем привет. Митап по найфаю в мск

https://youtu.be/g8oEkYjDbcc

Ссылка на трансляцию

Ну заходи к ним в гости и пиши код, одно другому не мешает.

Можно кластер поднимать 😂

Не, думаю там подымальщики свои есть

@krivdathetriewe @optician_owl дропните там выше

Эт если девопсы есть на проекте :( А то у нас всё самому настраивать надо себе))