GG
hdfs куда пихать?
а зачем он ?
Size: a a a
2019 June 07
O
А серьезно? Нифига себе.
с версии 2.3.0 вроде, в целом работает даже
AZ
ладно hdfs, как жить без hive metastore?
A
это был троллинговый наброс видимо, хадуп как разделение компьюта и хранилища, где хранилище объектное - живее всех живых, просто у кого-то по какой-то возможности нет С3/блоб стораджа, и они варят HDFS
именно поэтому у знакомых если данные в s3 или вариант поднять emr и данных запихнуть на hdfs и потом процессить, то скорость на порядки отличается
O
Всем доброе утро!
Возник вопрос, как аккуратно тестировать спарковские приложения.
Суть такая - у нас есть Spark Scala приложение, которое имеет аргументы из command-line и внутри него стартует спарк:
Возник вопрос, как аккуратно тестировать спарковские приложения.
Суть такая - у нас есть Spark Scala приложение, которое имеет аргументы из command-line и внутри него стартует спарк:
var options = new JobOptionsВ тестах это обкладывается стартующим в начале всех тестов спарком:
optionsOrExit(args.options)
val spark = new SparkSession.Builder().getOrCreate
val integrator = Integrator(param1=options.param1)
integrator.performIntegration(spark)
train WithSparkContext extends BeforeAndAfterAll {
override def beforeAll() {
var spark = SparkSession.builder().getOrCreate
}
}Проблема в том что передача аргументов и запуск спарка остаются с нулевым code coverage. Как аккуратно мокнуть это поведение?получение пропертей оборачивается в объект, в тестах вместо которого подсовывается мок
A
по мне спарк в кубике тоже имеет право на жизнь, часто там именно cpu задачи
A
всякие ml или стриминг из-в кафку
AZ
именно поэтому у знакомых если данные в s3 или вариант поднять emr и данных запихнуть на hdfs и потом процессить, то скорость на порядки отличается
конечно, но hdfs тут временное хранилище, мы же про большую архитектуру, никто не делает персистент кластеров хдфс на эфемерных или ебс инстансах
A
а зачем он ?
куда складывать 10+ петабайт данных?
GG
куда складывать 10+ петабайт данных?
это шутка такая?
A
нет, это реальность
GG
типа ONE LOVE HDFS?
A
ceph пока он чисто ceph ок
когда radosgw то нужно быть аккуратней, на больших бакетах он начинает тупить и просто так его даже не дропнешь
когда radosgw то нужно быть аккуратней, на больших бакетах он начинает тупить и просто так его даже не дропнешь
A
пока не удалишь все записи внутри
A
типа ONE LOVE HDFS?
нет, мне интересно что можно из oss изпользовать в локальном датацентре
AZ
10 петабайт конечно складывать в s3
A
нету амазона, в своем датацентре или железе
GG
нет, мне интересно что можно из oss изпользовать в локальном датацентре
т.е. именно, что локальный ДЦ.........
GG
нету амазона, в своем датацентре или железе
а не нужен. Cloudian HyperStore в помощь или любая коробка с С3
GG
просто в случае с ХДФС ты переплачиваешь за компьют (цпу-рам)