t
ок
Size: a a a
2020 March 31
t
тебе можно верить
PR
А есть методика подсчёта максимальной пропускной способности hdfs на чтение/запись?
V
А есть методика подсчёта максимальной пропускной способности hdfs на чтение/запись?
Как то не очень давно тут мелькала запись мероприятия, на котором докладчиком очень метко было замечено, что дата инженер - это тот, кто умеет использовать компьютеры.
V
У Вас очень общий вопрос
V
Примерно как методика подсчета скорости движения звука в среде...
A
@Uttar1 сильно общий вопрос и зависит от многих факторов
упереться в cpu если включено шифрование или ec
упереться в namenode при большом количестве запросов (она то в hdfs одна)
про диски все понимают, но были случаи когда упирались в скорость хардварного контролера (дисков много насовали, а контролер дохлый и его max был заметно ниже общей пропускной способности дисков)
поэтому расчёт часто идёт очень примерный с min/max что можно выжать
а следом проверка что реальные параметры лежат в пределах этого интервала
упереться в cpu если включено шифрование или ec
упереться в namenode при большом количестве запросов (она то в hdfs одна)
про диски все понимают, но были случаи когда упирались в скорость хардварного контролера (дисков много насовали, а контролер дохлый и его max был заметно ниже общей пропускной способности дисков)
поэтому расчёт часто идёт очень примерный с min/max что можно выжать
а следом проверка что реальные параметры лежат в пределах этого интервала
А
А есть методика подсчёта максимальной пропускной способности hdfs на чтение/запись?
есть TestDFSIO , не знаю насколько он актуален
A
последних несколько раз им и прогонял, но это не подсчет, а тестирование уже
AS
Товарищи а раскажите про ваш опыт с Druid? И для чего юзаете?
P
TT
2020 April 01
A
вопрос знатокам: есть прямо универсальный solution для получения данных с внешних REST API c помощью Azure Data Factory. у ADF есть коннекторы, но они не очень универсальны, не большой выбор например даже методов аутентификации. То есть что использовать перед ADF чтобы отовсюду можно было получать разные JSON, большие и маленькие.
A
Всем привет! Есть люди с опытом запуска Yarn с включенным spark_shuffle сервисом? Как только добавляю его в yarn-site.xml, вместо mapreduce_shuffle, Nodemanager не запускается. spark_shuffle.class установил в YarnShuffleService
A
ошибку предполагается нужно отгадать? =)
A
ошибку предполагается нужно отгадать? =)
в том-то и дело, что ошибку не пишет. пишет starting nodemanager и все. но при вызове jps процесса нет
A
поднять уровень логирования до debug/trace и посмотреть что пишет
обычно хоть что-то да пишется
обычно хоть что-то да пишется
A
или в еррор лог
A
или в stdout
D
Коллеги, почему-то перестал работать Zeppelin:
Не могу отследить событие, после которого это произошло
Можете помочь, пожалуйста?
org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreterотдает даже на вызовы интерпретатора %sql, %postgresql
Не могу отследить событие, после которого это произошло
Можете помочь, пожалуйста?