Size: a a a

2020 February 12

Ж

Жмака in Data Engineers
Нужен их последний хайв
источник

Ж

Жмака in Data Engineers
T
можно через бутстрап скрипт извратиться, но проще просто поменять версию EMR
Пробовал но валится на config.file.
источник

T

T in Data Engineers
Жмака
Пробовал но валится на config.file.
вы сделали бутстрап скрипт демомном чтобы он запустился после всей установки
источник

T

T in Data Engineers
я думаю там должен быть алгоритм такой:
1) Демонизируем бутсрап скрипт
2) ждем окончания установки и насткройки всей EMR фигни
3) запускае бутстрап скрипт и откатывает версию спарка
источник

Ж

Жмака in Data Engineers
У амазона есть скрипт установки в s3, воспользовался им.
источник

T

T in Data Engineers
Жмака
У амазона есть скрипт установки в s3, воспользовался им.
у меня такое было с престо конфигами вся суть в том что бутстрап скрипт запускается раньше чем ставится вся хадупоская тема
источник

T

T in Data Engineers
в моем случаии это было престо
источник

T

T in Data Engineers
по этому над было сделать так что бы он запускался после
источник

Ж

Жмака in Data Engineers
То есть через steps тогда надо?
источник

T

T in Data Engineers
Ну можно деманизировать и чекать поставился спарк или нет
источник

T

T in Data Engineers
сейчас скину снипе
источник

T

T in Data Engineers
Жмака
То есть через steps тогда надо?
#!/usr/bin/env bash

MAX_HEAP_SIZE=$1
EDEN_HEAP_SIZE=$2

tee /tmp/presto_config.sh <<EOF1
while [ ! -f /var/run/presto/presto-server.pid ]
do
 sleep 10
done

sudo tee /etc/presto/conf/jvm.config <<EOF2
-verbose:class
-server
-Xmx${MAX_HEAP_SIZE}
-Xmn${EDEN_HEAP_SIZE}
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
-Xbootclasspath/p:
-Djava.library.path=/usr/lib/hadoop/lib/native/:/usr/lib/hadoop-lzo/lib/native/:/usr/lib/
EOF2

sudo stop presto-server && sudo start presto-server
exit 0
EOF1

chmod u+x /tmp/presto_config.sh
/tmp/presto_config.sh &
exit 0
источник

T

T in Data Engineers
что типа такого, ну или через степ, я правда не уверен, что степ запустит шел скрипт на всех нодах
источник

Ж

Жмака in Data Engineers
T
#!/usr/bin/env bash

MAX_HEAP_SIZE=$1
EDEN_HEAP_SIZE=$2

tee /tmp/presto_config.sh <<EOF1
while [ ! -f /var/run/presto/presto-server.pid ]
do
 sleep 10
done

sudo tee /etc/presto/conf/jvm.config <<EOF2
-verbose:class
-server
-Xmx${MAX_HEAP_SIZE}
-Xmn${EDEN_HEAP_SIZE}
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
-Xbootclasspath/p:
-Djava.library.path=/usr/lib/hadoop/lib/native/:/usr/lib/hadoop-lzo/lib/native/:/usr/lib/
EOF2

sudo stop presto-server && sudo start presto-server
exit 0
EOF1

chmod u+x /tmp/presto_config.sh
/tmp/presto_config.sh &
exit 0
Спасибо!Сейчас попробую
источник

N

Nikolay in Data Engineers
Кто знает,что за операция такая multi в zookeeper ?
источник

P

Python in Data Engineers
Какие преимущества имеет использование Apache Flink над разработкой такого же приложения вручную? Какие недостатки? Может кто сталкивался. Маркетинговые материалы читал. По описанию примерно тоже самое что Kafka Streams.
источник

РА

Рамиль Ахмадеев in Data Engineers
Python
Какие преимущества имеет использование Apache Flink над разработкой такого же приложения вручную? Какие недостатки? Может кто сталкивался. Маркетинговые материалы читал. По описанию примерно тоже самое что Kafka Streams.
только гораздо более зрелый продукт чем кафка стримз
источник

P

Python in Data Engineers
Рамиль Ахмадеев
только гораздо более зрелый продукт чем кафка стримз
Ну с Kafka Streams мы вообще обожглись, меня скорее интересует сравнение с приложением написанным вручную.
источник

РА

Рамиль Ахмадеев in Data Engineers
тут не подскажу, в ручную мы стриминговые приложения не писали
источник

N

Nikolay in Data Engineers
Python
Ну с Kafka Streams мы вообще обожглись, меня скорее интересует сравнение с приложением написанным вручную.
А как обожглись
источник