В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

testing_in_python

1380 membersпожаловаться на группу
2021 February 25

АК

Александр Кот... in testing_in_python
Nikolay Romeiko
Спасибо, но мне нужно подготовить один тест таким образом. Сгенерить данные. Пробовал разные решения, но нужно вникать в asyncio или threading - пока результат нулевой.
на SO уже были? https://stackoverflow.com/a/65473459/8091236
ниже про threading pool map направление дали верное
Stack Overflow
Iterate and make requests over a list of URLs asynchronously
I made a script the other night that made requests to a website 100000 times with a different URL number (ranging from 0000 - 10000). I was using the requests library, but it was extremely slow. He...
источник
08:10пожаловаться#1

AM

Aleksei Moskvin in testing_in_python
Виталий
А если запускать тесты в контейнерах через selenoid, как потом собрать общий Allur отчёт?
Уточните все же, какая у вас конфигурация. Если тесты запускаются в параллель, но на одном все хосте, то проблем нет
Если же тесты запускаются в параллель распределенно, то есть на нескольких нодах, то тогда надо что-то придумывать.

Где и как при этом запущен selenoid/selenium grid не важно
источник
08:56пожаловаться#2

СС

Сказочный Сникерс... in testing_in_python
Александр Кот
на SO уже были? https://stackoverflow.com/a/65473459/8091236
ниже про threading pool map направление дали верное
Stack Overflow
Iterate and make requests over a list of URLs asynchronously
I made a script the other night that made requests to a website 100000 times with a different URL number (ranging from 0000 - 10000). I was using the requests library, but it was extremely slow. He...
к слову, такое решение (threading pool) все равно не будет параллельным) ну точнее оно будет пытаться быть параллельным пока отправлен запрос и мы ждем ответа, но сам код все равно будет выполняться последовательно
источник
12:40пожаловаться#3

A

Alex in testing_in_python
Сказочный Сникерс
к слову, такое решение (threading pool) все равно не будет параллельным) ну точнее оно будет пытаться быть параллельным пока отправлен запрос и мы ждем ответа, но сам код все равно будет выполняться последовательно
а как в рамках одного процесса достичь истинной параллельности?
источник
15:04пожаловаться#4

СС

Сказочный Сникерс... in testing_in_python
никак
источник
15:05пожаловаться#5

NV

Nikita Vandyshev in testing_in_python
А ProcessPoolExecutor разве не решит эту проблему?
источник
15:05пожаловаться#6

NV

Nikita Vandyshev in testing_in_python
и использовать обмен данными между процессами
источник
15:06пожаловаться#7

СС

Сказочный Сникерс... in testing_in_python
можно минимизировать потери за счет async, когда тред упирается в Input|Output. То есть пока мы так и так ждем IO - тред засыпает и начинает работать другой и так далее
источник
15:06пожаловаться#8

СС

Сказочный Сникерс... in testing_in_python
Nikita Vandyshev
А ProcessPoolExecutor разве не решит эту проблему?
это уже не в рамках 1 процесса)
источник
15:06пожаловаться#9

СС

Сказочный Сникерс... in testing_in_python
но да, это самый приоритетный вариант когда надо достичь истинной параллельности. 1 мастер процесс контролит воркеры и забирает с них результат (либо они шарят память между друг другом любым способом)
источник
15:08пожаловаться#10

AM

Aleksei Moskvin in testing_in_python
Можно пойти еще дальше и использовать какие-нибудь фреймворки для распределенных вычислений, вроде dask или spark (pyspark в данном случае)
источник
15:57пожаловаться#11

АК

Александр Кот... in testing_in_python
Сказочный Сникерс
к слову, такое решение (threading pool) все равно не будет параллельным) ну точнее оно будет пытаться быть параллельным пока отправлен запрос и мы ждем ответа, но сам код все равно будет выполняться последовательно
Он просто будет за раз отправлять N запросов и ждать ответов. И постоянно поддерживать очередь из 10 запросов, по скорости исполнения кода вроде не так критично в данном кейсе.
источник
16:03пожаловаться#12

СС

Сказочный Сникерс... in testing_in_python
Александр Кот
Он просто будет за раз отправлять N запросов и ждать ответов. И постоянно поддерживать очередь из 10 запросов, по скорости исполнения кода вроде не так критично в данном кейсе.
"за раз" это как?
источник
16:32пожаловаться#13

А

Алексей in testing_in_python
Alex
а как в рамках одного процесса достичь истинной параллельности?
Использовать джаву, кресты и тп языки с настоящей многопоточностью
источник
16:37пожаловаться#14

СС

Сказочный Сникерс... in testing_in_python
вот накидал простенький пример на коленке
источник
16:40пожаловаться#15

СС

Сказочный Сникерс... in testing_in_python
io
14.119089841842651
8.254918575286865
23.332992792129517
calc
5.350787878036499
0.8246402740478516
4.147642612457275
источник
16:40пожаловаться#16

T

Tishka17 in testing_in_python
Алексей
Использовать джаву, кресты и тп языки с настоящей многопоточностью
А? Что у нас ненастоящее?
источник
16:40пожаловаться#17

T

Tishka17 in testing_in_python
При сетевых обращениях GIL отпускается
источник
16:40пожаловаться#18

А

Алексей in testing_in_python
Tishka17
А? Что у нас ненастоящее?
Многопоточность 😂😂😂
источник
16:40пожаловаться#19

T

Tishka17 in testing_in_python
Алексей
Многопоточность 😂😂😂
Не замечал
источник
16:41пожаловаться#20