Size: a a a

2021 March 18

AZ

Anton Zadorozhniy in Data Engineers
Я так понял в сумме все, врядли у кого-то один кластер хадупа на всю компанию
источник

DP

Dmitriy Pavlov in Data Engineers
Alexey Evdokimov
хм, а что если мы не держим перманентные кластера? вот у нас от 0 до 300 в зависимости от проекта
Ага, всё в сумме, можно взять максимум и поделить пополам условно
источник

AZ

Anton Zadorozhniy in Data Engineers
Лучше бы форму чем отдельные опросы, они же не связаны
источник

AZ

Anton Zadorozhniy in Data Engineers
Нельзя понять каких размеров инсталляции с конкретными дистрами
источник

AE

Alexey Evdokimov in Data Engineers
нтерестно. то есть мне надо все 15к деплойментов суммировать и поделить %)
источник

DP

Dmitriy Pavlov in Data Engineers
Anton Zadorozhniy
Лучше бы форму чем отдельные опросы, они же не связаны
На форму люди почти не переходят, этож лишнее действие. В чате Greenplum уже проверял, больше всего инфы если именно в телеге опрос
источник

AZ

Anton Zadorozhniy in Data Engineers
Мне интересно посмотреть на результаты, но у меня вообще нет хадупа щас :(
источник

DP

Dmitriy Pavlov in Data Engineers
Anton Zadorozhniy
Мне интересно посмотреть на результаты, но у меня вообще нет хадупа щас :(
Можно другое выбрать, не страшно :)
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitriy Pavlov
Можно другое выбрать, не страшно :)
В опросе «куда мигрировать» хорошо бы разделить «другое» на «объектный сторадж + компьют на кубере» и «база данных»
источник

DP

Dmitriy Pavlov in Data Engineers
Anton Zadorozhniy
В опросе «куда мигрировать» хорошо бы разделить «другое» на «объектный сторадж + компьют на кубере» и «база данных»
Читаешь мои мысли! Я вот так хотел:
На Cloudera
На Hortonworks
На Собрали сами (Bigtop)
На Собрали сами (не BigTop)
На AWS (Elastic MapReduce) [Cloud]
На MapR
На IBM Open Platform
На Pivotal Big Data Suite
На Azure HDInsight [Cloud]
На Google Cloud Platform (Dataproc) [Cloud]
На Alibaba/Aliyun (E-MapReduce) [Cloud]
На Яндекс.Облако (Dataproc) [Cloud]
На Arenadata Hadoop (ADH)
На Mail Cloud Solutions (Big Data) [Cloud]
Не на Hadoop: S3 + Spark
Не на Hadoop: Clickhouse
Не на Hadoop: Google BigQuery
Не на Hadoop: Snowflake
Не на Hadoop: Redshift
Не на Hadoop: Greenplum
Не на Hadoop: Другие системы (напишу в чат)
источник

DP

Dmitriy Pavlov in Data Engineers
Но только 10 пунктов)
источник

АР

Андрей Романов... in Data Engineers
Dmitriy Pavlov
Читаешь мои мысли! Я вот так хотел:
На Cloudera
На Hortonworks
На Собрали сами (Bigtop)
На Собрали сами (не BigTop)
На AWS (Elastic MapReduce) [Cloud]
На MapR
На IBM Open Platform
На Pivotal Big Data Suite
На Azure HDInsight [Cloud]
На Google Cloud Platform (Dataproc) [Cloud]
На Alibaba/Aliyun (E-MapReduce) [Cloud]
На Яндекс.Облако (Dataproc) [Cloud]
На Arenadata Hadoop (ADH)
На Mail Cloud Solutions (Big Data) [Cloud]
Не на Hadoop: S3 + Spark
Не на Hadoop: Clickhouse
Не на Hadoop: Google BigQuery
Не на Hadoop: Snowflake
Не на Hadoop: Redshift
Не на Hadoop: Greenplum
Не на Hadoop: Другие системы (напишу в чат)
можно все вынести в гугл форму
источник

АР

Андрей Романов... in Data Engineers
или там тоже ограничение?
источник

AE

Alexey Evdokimov in Data Engineers
кстати, пипл.

я тут спустя три года разработки пайплайна для своего спарканутого ETL (и 15 тыщ деплойнутых кластеров) решил, наконец, для него какой-никакой гуй сделать. а то до сих пор сатанисты конфиги писали ручками. и лажали периодически.

можно я вам пару скриншотов покажу, а вы мне скажете своё фи?
источник

DP

Dmitriy Pavlov in Data Engineers
Андрей Романов
или там тоже ограничение?
Туда люди не переходят) так едешь в метро условно и в телеге натыкал ответы. А в форму надо перейти и тд и тп
источник

AE

Alexey Evdokimov in Data Engineers
источник

AE

Alexey Evdokimov in Data Engineers
источник

AE

Alexey Evdokimov in Data Engineers
источник

DP

Dmitriy Pavlov in Data Engineers
Alexey Evdokimov
кстати, пипл.

я тут спустя три года разработки пайплайна для своего спарканутого ETL (и 15 тыщ деплойнутых кластеров) решил, наконец, для него какой-никакой гуй сделать. а то до сих пор сатанисты конфиги писали ручками. и лажали периодически.

можно я вам пару скриншотов покажу, а вы мне скажете своё фи?
Кстати совсем недавно смотрел похожее по описанию решение, делают у нас в России - Datagram (дочка Неофлекса)
источник

AE

Alexey Evdokimov in Data Engineers
источник