A
да, именно про параллел коллекции и ForkJoinTaskSupport
Size: a a a
2021 September 08
ЕГ
На Москоу Спарк был доклад по поводу тестов
T
В догонку ещё можно глянуть Great Expectations и deequ
AS
так все же работает
AE
да чё сложного в тестах спарка?
поднял контекст на local[*], скормил апликухе подготовленный датасет, проверил результат. каждый тестовый класс обернул в AutoCloseable, чтоб контекст гасить
поднял контекст на local[*], скормил апликухе подготовленный датасет, проверил результат. каждый тестовый класс обернул в AutoCloseable, чтоб контекст гасить
AE
и вроде ничего особенного, никакой специальной магии
A
@smirnov_captain мы возможно не поняли друг друга
человек жаловался что не нашёл тредов на лист s3 хотя указал параметрт от хадупа
в процессе выяснения указал что он и не будет работать, там другой механизм
если партиций больше 10 (дефолт), то выполняется на fj пуле с макс 8 потоками
"падает" в моём предложении было landed, приземляется, "где выполняется"
не "ломается"
человек жаловался что не нашёл тредов на лист s3 хотя указал параметрт от хадупа
в процессе выяснения указал что он и не будет работать, там другой механизм
если партиций больше 10 (дефолт), то выполняется на fj пуле с макс 8 потоками
"падает" в моём предложении было landed, приземляется, "где выполняется"
не "ломается"
M
А потом жди по 3 часа на билд)
R
Согл. Можно чуть дальше пойти и написать чутка абстракций, от которых наследуюшься и пишем только логику для тестов.
Другой момент, что сам код нужно писать так, чтобы можно его покрывать тестами, а не матами.
Другой момент, что сам код нужно писать так, чтобы можно его покрывать тестами, а не матами.
AZ
это же бигдата
AE
а нефиг гигабайты в тестовые датасеты пихать
AE
подумать про модульность изначально
AS
теперь понятно,
падает это обычно плохо, приземляется/мaтepиaлизуется лучше :)
падает это обычно плохо, приземляется/мaтepиaлизуется лучше :)
R
Ноуп. За минут 3-5 у вас все пройдёт, ну может больше, если тестов очень много. Но если данных у вас не очень много тестовых, то там не откуда взять часам. Большая часть времени будет уходить на розжиг сессии
M
Там на небольших датасетах контекст через какое-то относительно больше количество тестов начинает очень педалить
M
По крайней мере у меня так было
T
По этому его посоветовали тушить
AE
я ж не просто так сказал обернуть в AutoCloseable :)
на каждый тест контекст свежий
на каждый тест контекст свежий
AE
а этот вопрос с тестами спарка не первый раз тут поднимается
AZ
а сколько у вас тестов?