DZ
отвечаю
Size: a a a
2020 December 25
DZ
никак
e
есть много вариантов- спарк джобы тестировать, качество данных , наполнение вообщем есть где разгуляться))
Есть ли дельная статья про это ?
DZ
какой конретный кейс?
AB
Есть ли дельная статья про это ?
про тестирование спарка много инфы- например вариант чтобы у тебя датафреймы на выходе были одинаковые и тд
DZ
это путь в никуда
DZ
обычно есть какая то бизнес логика которая отцепляется от спарка
AB
это путь в никуда
я узаю кейс похожий на кейсы из веб - у меня спарк джоба разбита на вызовы методов и при тестировании я могу увидеть если были изменения и тест свалится
DZ
интеграциионные тесты на не смоканых сервисах?
ME
обычно всех волнует как тестировать 500 строк sql
Подать на вход семплы и посмотреть выход? Ну и разбить 500 строк на 20 функций и тестировать отдельно, если spark sql
ME
Я сейчас пытаюсь юнит тесты такого типа написать как раз, вроде такие подходы используются
DZ
sql плохо декомпозится
DZ
если можно побить то да, норм
DZ
Но подход на семплах не всегда работает, тк в семпле может не быть корнер кейса
N
интеграциионные тесты на не смоканых сервисах?
можно на тестовых/девовых. но данных туда налить-это геморно.
AB
Подать на вход семплы и посмотреть выход? Ну и разбить 500 строк на 20 функций и тестировать отдельно, если spark sql
ну условино
val df = run()save("testData")
def run() ={
foo1()
foo2()
foo3()}
.
testDF = run()
testDf assert spark.read(testData)
val df = run()save("testData")
def run() ={
foo1()
foo2()
foo3()}
.
testDF = run()
testDf assert spark.read(testData)
ME
Но подход на семплах не всегда работает, тк в семпле может не быть корнер кейса
Это уже качество написанного теста, всегда можно написать плохие тесты, которые учитывают 10% вариантов
DZ
можно на тестовых/девовых. но данных туда налить-это геморно.
но если есть спека на сервис то я бы отвязал. поднимал бы дамб свой
DZ
Это уже качество написанного теста, всегда можно написать плохие тесты, которые учитывают 10% вариантов
тогда что такое семпл. Если мы говорим про рандомную выборку с прода, то это работать не будет
AB
интеграциионные тесты на не смоканых сервисах?
юнит тесты