Size: a a a

2019 June 26

СХ

Старый Хрыч in Data Engineers
Chern Oleksander
Для теста халявчик, а потом можно смотреть, так как БИ скорей всего будет в AWS QuickSight
😕не понимаю зачем люди идут в дорогущий авс
источник

CO

Chern Oleksander in Data Engineers
Старый Хрыч
😕не понимаю зачем люди идут в дорогущий авс
та ну ладно )
Можем обменятся билингом )))
Чурь ты первый )) и на чем сидите?
источник

СХ

Старый Хрыч in Data Engineers
Chern Oleksander
та ну ладно )
Можем обменятся билингом )))
Чурь ты первый )) и на чем сидите?
😐я делал 2 цода, 150 тб оперативы
источник

СХ

Старый Хрыч in Data Engineers
более 1 пб ссд
источник

N

Nikita Blagodarnyy in Data Engineers
Chern Oleksander
Для теста халявчик, а потом можно смотреть, так как БИ скорей всего будет в AWS QuickSight
Странно как-то. Потестить одно, потом повнедрять другое.
источник

СХ

Старый Хрыч in Data Engineers
Chern Oleksander
та ну ладно )
Можем обменятся билингом )))
Чурь ты первый )) и на чем сидите?
и в авс такое просто стоило бы за месяц как у меня весь бюджет
источник

SB

Sergey Bilenko in Data Engineers
Всем доброго дня! Подскажите, пожалуйста, из этих ETL - SSIS, SAS, Informatica что-нибудь можно пощупать бесплатно (триал или демо-версия)?
А то я как-то к Open Source привык, но появилась необходимость поработать с проприетарными решениями
источник

CO

Chern Oleksander in Data Engineers
14 мускул+postgres (логи, маштабирование и тд) 5,3 ТБ ssd/100Тб hdd хранение 179 Ram
+ BI +30 вирт машин (Ec3) =~ 5$
источник

CO

Chern Oleksander in Data Engineers
5000
источник

ОИ

Олег Инвестор in Data Engineers
Я инвестор !
Есть выход на менеджера фонда с квотой на венчурные инвестиции от $100 тыс +.
Если у вас есть свои проекты или вы знаете кого нибудь, кому нужно привлечь капитал под стартап или бизнес пишите в личку.🖍

👈Пишите:  "Нужны Инвестиции".
источник

N

Nikita Blagodarnyy in Data Engineers
Sergey Bilenko
Всем доброго дня! Подскажите, пожалуйста, из этих ETL - SSIS, SAS, Informatica что-нибудь можно пощупать бесплатно (триал или демо-версия)?
А то я как-то к Open Source привык, но появилась необходимость поработать с проприетарными решениями
В дистрибутиве аренадата платформ есть бесплатная информатика
источник

N

Nikita Blagodarnyy in Data Engineers
С лицензионными ограничениями
источник

SB

Sergey Bilenko in Data Engineers
Nikita Blagodarnyy
В дистрибутиве аренадата платформ есть бесплатная информатика
Спасибо большое! Посмотрю
источник

N

Nikita Blagodarnyy in Data Engineers
Ssis вроде тоже можно потриалить
источник

N

Nikita Blagodarnyy in Data Engineers
Но он в разы медленней информатики в традиционных задачах
источник

R

Roman in Data Engineers
Chern Oleksander
Для теста халявчик, а потом можно смотреть, так как БИ скорей всего будет в AWS QuickSight
А вот можно ли в quickSight писать кастомный дашборды?
Т.е. не только через их конструктор клепать, а например на каком - нибудь языке описать дашборд?
источник

OI

Oleg Ilinsky in Data Engineers
Привет!
Вопрос)
Есть HDP3 со спарком. Есть докеры с airflow (это, на самом деле, не важно, главное, что это всё в докере). И у меня не получается запустить спарк джобы в cluster mode из докера на кластере.
Есть ворнинг 19/06/26 11:48:37 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. и  различные ошибки на тему Lib not found.
Все конфиги я скачал из ambari и закинул в контейнер (SPARK, YARN, HDFS, HADOOP) и завёл переменные окружения.
Мб кто знает, нужно ли что-то ещё добавить, чтобы всё заработало?
При запуске spark-submit/spark-shell с неймноды всё ок работает и в client и в cluster модах.
источник

СХ

Старый Хрыч in Data Engineers
😐кто то хочет лишиться результатов работы
источник

СХ

Старый Хрыч in Data Engineers
сейчас прям на докере уже какие то помешанные стали
источник

СХ

Старый Хрыч in Data Engineers
Oleg Ilinsky
Привет!
Вопрос)
Есть HDP3 со спарком. Есть докеры с airflow (это, на самом деле, не важно, главное, что это всё в докере). И у меня не получается запустить спарк джобы в cluster mode из докера на кластере.
Есть ворнинг 19/06/26 11:48:37 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. и  различные ошибки на тему Lib not found.
Все конфиги я скачал из ambari и закинул в контейнер (SPARK, YARN, HDFS, HADOOP) и завёл переменные окружения.
Мб кто знает, нужно ли что-то ещё добавить, чтобы всё заработало?
При запуске spark-submit/spark-shell с неймноды всё ок работает и в client и в cluster модах.
вы понимаете в чём отличии  докера от вм вот просто очень огромное?
источник