MK
Куча народу гуляет - все заебались дома сидеть
Size: a a a
2020 May 11
M
Ваш пайтест не умеет в параллель потоки спавнить?
умеет
TA
Ваш пайтест не умеет в параллель потоки спавнить?
pytest-xdist с параметром
--numprocesses=autoMK
Тогда что перепиливал Илья @sniiick
MK
Если просто раннер оверрайднуть то ок :)
TA
Можно еще
--forked сделать.СС
Тогда что перепиливал Илья @sniiick
я делал умное распределение тестов по потокам в зависимости от времени тестов
MK
я делал умное распределение тестов по потокам в зависимости от времени тестов
Ясно понятно
СС
проблема в том что я приложения поднимаю прямо из тестов. у меня их около 30. и особенность в том, что все тестовые данные от каждого теста должны лежать во всех источниках (димк, база, моки итд) до старта приложений.
СС
xdist по дефолту разбрасывает по очереди тесты как он их коллектил
СС
и я не мог знать на какой поток какой тест попадет. поэтому приходилось на каждом поднимать все приложения и на каждом выполнять полную подготовку (потому что в рамках xdist потока каждое окружение изолировано и например 2 одинаковых приложения не могут работать на 1 базе, будут конфликты)
СС
простейшие подсчеты говорят что для запуска в 16 потоков мне приходилось поднимать 16* 30 приложений, создавать 16 *30 баз тарантулов итд, и создавать 16 копий всех тестовых данных на каждом потоке
СС
потому что в какой момент на какой поток придет тест я не знаю, это рандом
СС
я перепилил планировщик и теперь распределяю сам по приложениям и времени, стараясь уместить тесты на 1 приложение на 1 поток чтобы не выйти за среднее время потока
СС
таким образом на потоке только те тесты которые на нем будут выполняться, только их тестовые данные и минимальное дублирование приложений, только если по рассчетам тесты на одно приложение не уместилось в 1 поток по времени
MK
Блять в не проще стендалон тесты со стедалон аппой поднимать в своём пакете
СС
так можно, и так сделано в сборках на конкретный апп
СС
но есть сборки где собираются все бинари и тестируются разом
MK
У тебя конфиги апп разные? Чому нельзя синглтон апп поднять, чтобы не зависеть от потоков тестов
СС
два теста не могут одновременно работать с 1 аппом