ООО, нифига себе! Посмотрю, спасибо

+spark-testing-base для написания тестов с embedded spark

его можно юзать, я попробовал


но очень много оперативки тратится((((

Ну можно просто эмбеддед Спарк запускать, но конечно это всё равно будет толсто

а для флинка что-то подобное есть?

я прост его тоже изучать начал, но чёт непонятно как тестить

понятно, что он в основном для поточной обработки, но всё же

и в итоге получается проще куб

сразу Хрыч рассказывал про то что везде куб пихают где надо и не надо
сейчас рассказывает что нужно его пихать везде

Есть вот такая штука, но я ещё не разобрался что это

знаете, я пробовал запускать в контейнерах, и оперативной памяти тратилось еще больше

возможно у вас есть другой опыт, но в моем случае он нерелевантен

Ну на маке в это играть вообще смерть, но макоюзеры ссзб

если у тебя 80 кодеров, проще куб кластер с операторами под тесты, чем городить каждому кодеру инструкцию по разворачиванию этого локально

Но вот прямо выглядит как равно тестирование пайплайнов

Вот что нашёл на гитхабе, может кому пригодится

https://github.com/knaufk/flink-testing-pyramid

А вы как делаете

Оч хочу чтобы полинот развивался

Когда его открыли я посмотрел и сказал нах-нах, вероятность что в опенсорсе полетит минимальна

Кастомная бинарная сериализация сделаная на скале для общения с кернелом

Это была очень плохая шутка

Хоть я и недолюблюваю протокол jupyter кернелов на zeromq, но её можно запустить и реализовать  где и как угодно, а тут у тебя попытка реализации и поддержки протокола без схемы (ладно бы там protobuf или трифт был внутри)

Запуск питона сразу запускается кернел на скале и уже она как-то дёргает питон процесс

Питон процесс не запускается когда джупитер скала кернел  работает ?