Ж
Нужен их последний хайв
Size: a a a
2020 February 12
Ж
можно через бутстрап скрипт извратиться, но проще просто поменять версию EMR
Пробовал но валится на config.file.
T
Жмака
Пробовал но валится на config.file.
вы сделали бутстрап скрипт демомном чтобы он запустился после всей установки
T
я думаю там должен быть алгоритм такой:
1) Демонизируем бутсрап скрипт
2) ждем окончания установки и насткройки всей EMR фигни
3) запускае бутстрап скрипт и откатывает версию спарка
1) Демонизируем бутсрап скрипт
2) ждем окончания установки и насткройки всей EMR фигни
3) запускае бутстрап скрипт и откатывает версию спарка
Ж
У амазона есть скрипт установки в s3, воспользовался им.
T
Жмака
У амазона есть скрипт установки в s3, воспользовался им.
у меня такое было с престо конфигами вся суть в том что бутстрап скрипт запускается раньше чем ставится вся хадупоская тема
T
в моем случаии это было престо
T
по этому над было сделать так что бы он запускался после
Ж
То есть через steps тогда надо?
T
Ну можно деманизировать и чекать поставился спарк или нет
T
сейчас скину снипе
T
Жмака
То есть через steps тогда надо?
#!/usr/bin/env bash
MAX_HEAP_SIZE=$1
EDEN_HEAP_SIZE=$2
tee /tmp/presto_config.sh <<EOF1
while [ ! -f /var/run/presto/presto-server.pid ]
do
sleep 10
done
sudo tee /etc/presto/conf/jvm.config <<EOF2
-verbose:class
-server
-Xmx${MAX_HEAP_SIZE}
-Xmn${EDEN_HEAP_SIZE}
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
-Xbootclasspath/p:
-Djava.library.path=/usr/lib/hadoop/lib/native/:/usr/lib/hadoop-lzo/lib/native/:/usr/lib/
EOF2
sudo stop presto-server && sudo start presto-server
exit 0
EOF1
chmod u+x /tmp/presto_config.sh
/tmp/presto_config.sh &
exit 0
T
что типа такого, ну или через степ, я правда не уверен, что степ запустит шел скрипт на всех нодах
Ж
#!/usr/bin/env bash
MAX_HEAP_SIZE=$1
EDEN_HEAP_SIZE=$2
tee /tmp/presto_config.sh <<EOF1
while [ ! -f /var/run/presto/presto-server.pid ]
do
sleep 10
done
sudo tee /etc/presto/conf/jvm.config <<EOF2
-verbose:class
-server
-Xmx${MAX_HEAP_SIZE}
-Xmn${EDEN_HEAP_SIZE}
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
-Xbootclasspath/p:
-Djava.library.path=/usr/lib/hadoop/lib/native/:/usr/lib/hadoop-lzo/lib/native/:/usr/lib/
EOF2
sudo stop presto-server && sudo start presto-server
exit 0
EOF1
chmod u+x /tmp/presto_config.sh
/tmp/presto_config.sh &
exit 0
Спасибо!Сейчас попробую
N
Кто знает,что за операция такая multi в zookeeper ?
P
Какие преимущества имеет использование Apache Flink над разработкой такого же приложения вручную? Какие недостатки? Может кто сталкивался. Маркетинговые материалы читал. По описанию примерно тоже самое что Kafka Streams.
РА
Python
Какие преимущества имеет использование Apache Flink над разработкой такого же приложения вручную? Какие недостатки? Может кто сталкивался. Маркетинговые материалы читал. По описанию примерно тоже самое что Kafka Streams.
только гораздо более зрелый продукт чем кафка стримз
P
только гораздо более зрелый продукт чем кафка стримз
Ну с Kafka Streams мы вообще обожглись, меня скорее интересует сравнение с приложением написанным вручную.
РА
тут не подскажу, в ручную мы стриминговые приложения не писали
N
Python
Ну с Kafka Streams мы вообще обожглись, меня скорее интересует сравнение с приложением написанным вручную.
А как обожглись