АЖ
Size: a a a
2019 July 24
AZ
Ну нормальный вариант mssql + redis, сделать умный клиент (или сервис-обертку) который просто держит кэш в редисе, и можно жить без редиса который мучается диском
S
а где еще кроме редиса есть битмапы для хранения?
как то жлобит терять на вместо 1 бита байт
как то жлобит терять на вместо 1 бита байт
AZ
я не помню явных битовых операций больше нигде, обычно используют какую-нибудь хорошую легковесную серализацию, вроде месседжпака
EA
Подскажите пожалуйста, каким метрикам apache hive следует уделять особое внимание? (навесить триггеры в заббиксе)
S
я не помню явных битовых операций больше нигде, обычно используют какую-нибудь хорошую легковесную серализацию, вроде месседжпака
спс, посмотрю
а то в редисе 2 млн строк с 2000 полей занимает меньше гигабайта
а то в редисе 2 млн строк с 2000 полей занимает меньше гигабайта
ЮБ
Всем привет. Есть ли где-то дока, в которой описаны все опции, которые можно проставить при чтении json файлов в спарке? Когда
spark.read.format("json").option(...) делаешь?AP
Граждане-одмены, подскажите, в какую сторону смотреть. Половина служб в амбари с красными критическими алертами, ошибка везде одна и та же, connection refused to <random_node>:<random_port>
Если не рассосалось, то можешь ли ты в YARN запустить что-то (Hive запрос, который потребует запуск TEZ, Spark задачу и т.п.), видишь ли ты ноды в Ambari, агенты в порядке?
N
Alexander Piminov
Если не рассосалось, то можешь ли ты в YARN запустить что-то (Hive запрос, который потребует запуск TEZ, Spark задачу и т.п.), видишь ли ты ноды в Ambari, агенты в порядке?
Hive норм отрабатывает. Спарк тоже. Ноды вижу, у агентов в логах ошибок нет.
N
Slider вот не заводится.
S
а откуда слайдер то
S
он же помер
AP
У него Arenadata
AP
AP
Hive норм отрабатывает. Спарк тоже. Ноды вижу, у агентов в логах ошибок нет.
А лампочки по connection refused все горят?
N
а откуда слайдер то
Кибениматика свои таски датакаталожные под ним запускает
N
В Бангалоре ещё, видимо, не помер
S
Alexander Piminov
У него Arenadata
аа, точно
там он еще жив
там он еще жив
N
Alexander Piminov
А лампочки по connection refused все горят?
Нет. HDFS, YARN, MapReduce, Зоодержатель
N
Как-будто стоечный свитч просто рандомно половину пакетов дропает. Ребутнешь другие службы-на них тоже загорится.