I
pyspark.sql.SparkSession.builder.config("spark.jars", "tmp_2.11-1.0.jar").getOrCreate
вот так не получается, скрипт лежит в одной директории с jar
вот так не получается, скрипт лежит в одной директории с jar
Size: a a a
2022 February 11
2022 February 14
SI
Вопрос по PySpark + написание тестов: возможно ли запускать тесты параллельно в разных процессах (например, используя `pytest-xdist`) но используя одну локальную спарк сессию на все потоки?
SI
Или единственный вариант это в каждом потоке создавать `
SparkSession.builder.master('local[1]')`k
я просто на тест сеты разделял, а в женкинсе запускал разные тест сеты в паралель. на каждый тест сет 1 spark session только создается, на нем могут и 400 тестов исполняться
k
как-то мне показалось, что так меньше всего приседаний
в скалатест, кстати, параллельно исполняется из коробки вроде, несколько тредов используют одну и ту же сессию. с путоном и его тредами - хз, как там себя путонская спарк сессия ведет
в скалатест, кстати, параллельно исполняется из коробки вроде, несколько тредов используют одну и ту же сессию. с путоном и его тредами - хз, как там себя путонская спарк сессия ведет
SI
Нормальное решение, да. Я запускаю просто по сессии на процесс и все работает. Просто память жрет, хотелось бы одну сессию
SI
Если бы это были треды :)
k
одна сессия на много путестов у вас уже?
SI
В питоне гил, там только процессы параллелят по ядрам
SI
Не, у нас путест с xdist, в каждом воркере создаётся сессия
k
памят так и так будет жрать, я думаю. количество работы одинаковое все равно - женкинс тест сеты параллелит, или путон сам как-то хитро
SI
Ну я понял, да
k
не знаю, что такое xdist. я просто путест фиксчур прокидывал, в нем - сессия, а на ней все тесты
SI
Мне интересно можно ли из нескольких процессов на скале/питоне использовать одну спарксесссию
SI
pytest-xdist
k
из нескольких тредов на скале - можно. из нескольких процессов сомневаюсь
SI
Штука просто тесткейсы запускает параллельно
SI
Ага, вот тоже не нашёл как из нескольких процессов
SI
Только livy поднимать :)
k
не пользовался. только обычным путестом. один вызов путест - одна спарк сессия - куча тестов на ней. а параллелить тесты на 1 сессии - мало смысла, я думаю