A
Oleksandr Averchenko
Хадуп мёртв. Это было вынужденное решение эпохи слабых серверов.
Пошёл за попкорном и ручкой с листком, записывать
Size: a a a
2019 June 07
AZ
Anton Kovalenko
Без какой-то своей добавленной стоимости, которая востребована рынком - скорее всего нет. Но так обычно никто и не делает.
опен кор предполагает что есть какие-то компоненты и сервисы только за деньги, и там было начало дискусии про вчерашний краш клаудеры и пивотала на эту тему
СХ
мне тут недавно говорили го кодеры, что рсубд мертвы
СХ
это правда?
R
Всем доброе утро!
Возник вопрос, как аккуратно тестировать спарковские приложения.
Суть такая - у нас есть Spark Scala приложение, которое имеет аргументы из command-line и внутри него стартует спарк:
Возник вопрос, как аккуратно тестировать спарковские приложения.
Суть такая - у нас есть Spark Scala приложение, которое имеет аргументы из command-line и внутри него стартует спарк:
var options = new JobOptionsВ тестах это обкладывается стартующим в начале всех тестов спарком:
optionsOrExit(args.options)
val spark = new SparkSession.Builder().getOrCreate
val integrator = Integrator(param1=options.param1)
integrator.performIntegration(spark)
train WithSparkContext extends BeforeAndAfterAll {
override def beforeAll() {
var spark = SparkSession.builder().getOrCreate
}
}Проблема в том что передача аргументов и запуск спарка остаются с нулевым code coverage. Как аккуратно мокнуть это поведение?IK
а не заменяют ли хадуп кубером нонче? вроде поудобней им шедулить ресурсы
ЕГ
А данные куда складывать?
AZ
Всем доброе утро!
Возник вопрос, как аккуратно тестировать спарковские приложения.
Суть такая - у нас есть Spark Scala приложение, которое имеет аргументы из command-line и внутри него стартует спарк:
Возник вопрос, как аккуратно тестировать спарковские приложения.
Суть такая - у нас есть Spark Scala приложение, которое имеет аргументы из command-line и внутри него стартует спарк:
var options = new JobOptionsВ тестах это обкладывается стартующим в начале всех тестов спарком:
optionsOrExit(args.options)
val spark = new SparkSession.Builder().getOrCreate
val integrator = Integrator(param1=options.param1)
integrator.performIntegration(spark)
train WithSparkContext extends BeforeAndAfterAll {
override def beforeAll() {
var spark = SparkSession.builder().getOrCreate
}
}Проблема в том что передача аргументов и запуск спарка остаются с нулевым code coverage. Как аккуратно мокнуть это поведение?мб проще аксептанс тестом это закрыть, а не мокать?
λ
а не заменяют ли хадуп кубером нонче? вроде поудобней им шедулить ресурсы
Это ж разные во всех смыслах вещи
GG
Евгений Глотов
А данные куда складывать?
в С3
GG
Это ж разные во всех смыслах вещи
у них есть пересечение - распределенность, менеджмент ресурсов (вычислительных)
λ
у них есть пересечение - распределенность, менеджмент ресурсов (вычислительных)
Менеджмент ресурсов там кардинально разный
λ
Так как ресурсы разной природы
GG
ну, спарк можно поверх куба запускать
λ
А серьезно? Нифига себе.
GG
Менеджмент ресурсов там кардинально разный
ну, если абстрагироваться совсем - одинаково. Если вдаваться в детали - да, разный
GG
это на какую из моих реплик
A
а не заменяют ли хадуп кубером нонче? вроде поудобней им шедулить ресурсы
hdfs куда пихать?
AZ
а не заменяют ли хадуп кубером нонче? вроде поудобней им шедулить ресурсы
это был троллинговый наброс видимо, хадуп как разделение компьюта и хранилища, где хранилище объектное - живее всех живых, просто у кого-то по какой-то возможности нет С3/блоб стораджа, и они варят HDFS