Size: a a a

2021 March 18

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
кстати, пипл.

я тут спустя три года разработки пайплайна для своего спарканутого ETL (и 15 тыщ деплойнутых кластеров) решил, наконец, для него какой-никакой гуй сделать. а то до сих пор сатанисты конфиги писали ручками. и лажали периодически.

можно я вам пару скриншотов покажу, а вы мне скажете своё фи?
Кмк лучше писать конфиг в тексте (гит, дифф, вот это все), а в гуе только визуализировать
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
Кмк лучше писать конфиг в тексте (гит, дифф, вот это все), а в гуе только визуализировать
см. третий скрин
источник

KS

K S in Data Engineers
Dmitriy Pavlov
Читаешь мои мысли! Я вот так хотел:
На Cloudera
На Hortonworks
На Собрали сами (Bigtop)
На Собрали сами (не BigTop)
На AWS (Elastic MapReduce) [Cloud]
На MapR
На IBM Open Platform
На Pivotal Big Data Suite
На Azure HDInsight [Cloud]
На Google Cloud Platform (Dataproc) [Cloud]
На Alibaba/Aliyun (E-MapReduce) [Cloud]
На Яндекс.Облако (Dataproc) [Cloud]
На Arenadata Hadoop (ADH)
На Mail Cloud Solutions (Big Data) [Cloud]
Не на Hadoop: S3 + Spark
Не на Hadoop: Clickhouse
Не на Hadoop: Google BigQuery
Не на Hadoop: Snowflake
Не на Hadoop: Redshift
Не на Hadoop: Greenplum
Не на Hadoop: Другие системы (напишу в чат)
Можно указывать несколько кандидатов по убыванию. Например:

Cloudera > GCP, AWS, Snowflake
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
см. третий скрин
Ну там просто рендеринг, как я понял, я имел в виду что изначально писать в редакторе
источник

AZ

Anton Zadorozhniy in Data Engineers
И формат со схемой, чтобы редактор схему энфорсил и подсвечивал
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
Ну там просто рендеринг, как я понял, я имел в виду что изначально писать в редакторе
если прикручу туда подсветку синтаксиса и автокомплит, будет редактор
источник

AE

Alexey Evdokimov in Data Engineers
не знаю тока на чём это делать, я фронтом с 11 года не занимался от слова вообще
источник

TT

Tsh Tsh in Data Engineers
Alexey Evdokimov
кстати, пипл.

я тут спустя три года разработки пайплайна для своего спарканутого ETL (и 15 тыщ деплойнутых кластеров) решил, наконец, для него какой-никакой гуй сделать. а то до сих пор сатанисты конфиги писали ручками. и лажали периодически.

можно я вам пару скриншотов покажу, а вы мне скажете своё фи?
А есть загрузка параметров из жсона или ямла? Мы такое делали пару лет назад
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
если прикручу туда подсветку синтаксиса и автокомплит, будет редактор
Ну просто есть вроде редакторы на выбор, но если хочется ещё один сделать - это конечно дело благородное
источник

AE

Alexey Evdokimov in Data Engineers
до позавчера никаких не было
источник

AE

Alexey Evdokimov in Data Engineers
конфиги писались в .ini в VSCode
источник

AE

Alexey Evdokimov in Data Engineers
а один конфиг это несколько сотен строк
источник

AZ

Anton Zadorozhniy in Data Engineers
Tsh Tsh
А есть загрузка параметров из жсона или ямла? Мы такое делали пару лет назад
Да, я именно про такое, видел много где и сам делал пару раз, вроде такого https://developers.redhat.com/blog/2020/11/25/how-to-configure-yaml-schema-to-make-editing-files-easier/
источник

AE

Alexey Evdokimov in Data Engineers
yaml он хрупкий слишком
источник

R

Renarde in Data Engineers
Alexey Evdokimov
см. третий скрин
https://www.prophecy.io/ делает что-то похожее
источник

AE

Alexey Evdokimov in Data Engineers
так вы мне скажите, гуй в таком виде покатит или нет?
источник

AE

Alexey Evdokimov in Data Engineers
ничего чужое брать мы точно не станем, оно нам не подойдёт
источник

AE

Alexey Evdokimov in Data Engineers
слишком специфические задачи у нас
источник

KS

K S in Data Engineers
Andrey Smirnov
я тут недавно давал ссылку на выступление Холден, она в красках все описала (когда обсуждали использование arrow в спарк)
Я поискал по вашим сообщениям, но что-то не могу найти эту ссылку. Если нетрудно, можете ещё поделиться?
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
yaml он хрупкий слишком
Действительно, ямл со схемой гораздо хрупче пропертей, он такой же хрупкий как xml! ;)
источник