СХ
какие у вас ноды
Size: a a a
2019 June 02
СХ
по оборудованию и по вм\контейнерам
СХ
Жмака
С диском, много записей будет. Есть может best practices для тюнинга os, гиды в этом случае?
главное замените cms на g1, а в случае если планируете больше 128 гб оперативы на ноду то и jvm не openjdk нужна будет
Ж
какие у вас ноды
Centos 7.5, ssd везде начали , ram 32 gb, второй датацентр будет в другой сети с задержкой до 10 секунд в пике самой большой нагрузки а обычно задержки до полусекунды, поэтому писать будем в первую сеть
Ж
главное замените cms на g1, а в случае если планируете больше 128 гб оперативы на ноду то и jvm не openjdk нужна будет
Столько не планируем. Пока open jdk. На оракл вроде лицензия уже нужна
СХ
Жмака
Столько не планируем. Пока open jdk. На оракл вроде лицензия уже нужна
а оракловая и не нужна, потом скину какая нужна
A
главное замените cms на g1, а в случае если планируете больше 128 гб оперативы на ноду то и jvm не openjdk нужна будет
Наши нарезают пачку машин на хост, каждая jvm на свой диск ходит
Ж
а оракловая и не нужна, потом скину какая нужна
СХ
Жмака
Столько не планируем. Пока open jdk. На оракл вроде лицензия уже нужна
A
Ради интереса: а кто-то уже пробовал амазоновскую jdk в проде? А то они некоторые перфоманс фиксы из 11 в свою сборку 8ки бекпортили
СХ
Ради интереса: а кто-то уже пробовал амазоновскую jdk в проде? А то они некоторые перфоманс фиксы из 11 в свою сборку 8ки бекпортили
амазоновскую тип юзал на фриноде, по тестам азуловская лучше была
СХ
я когда людям планировал проект на кассандре на 9 пб(3 чистых), думал повешусь
СХ
СХ
простестить не забудьте
Ж
100%. Все в тест, но требует срочно, потому что надо мигрировать с монги, которая загибается. Не уверен, что успеем перейти на 4, тем более что она только выйдет. Думаю потом можно будет мигрировать через новый датацентр с 3 на 4
СХ
Жмака
100%. Все в тест, но требует срочно, потому что надо мигрировать с монги, которая загибается. Не уверен, что успеем перейти на 4, тем более что она только выйдет. Думаю потом можно будет мигрировать через новый датацентр с 3 на 4
скорее через спарк
Ж
Уже думал через стриминг, но опасаюсь что спарк локально грохнется и тогда миграция стагет головной болью, а на кластер серверы не выделят
EI
По поводу repair много полезнго написано на https://thelastpickle.com/blog/
EI
А с платной Cassandra лучше не перебарщивать, поддержка Datastax это и зависимость от их подписки.
2019 June 03
OA
Можете подсказать- не могу понять, почему я могу прочитать паркет файл из s3a из консоли спарк, но получаю ошибку
при попытке загрузить тот же файл из python c помощью pyspark
py4j.protocol.Py4JJavaError: An error occurred while calling o38.parquet.
: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found
при попытке загрузить тот же файл из python c помощью pyspark