N
Мне нужно результат вернуть.... Увы это именно надо решить синхронно с точки зрения клиента (мобила)
В чем проблема с клиента поллить результат?
Size: a a a
2017 October 21
N
Я даже не могу такую вещь вынести в отдельный микросервис....
Почему? Как это вообще связано с клиентом?
СК
Подожди пять минут сейчас снова напишу проблему. До дома дойду
СК
предположим у меня есть такого рода вьюшечка.
Делать в цикле N запросов довольно медленно.
Для ускорения я могу использовать ThreadPoolExecutor
ThreadPoolExecutor'a мне хватает за глаза. Вьюшка на проде работает быстро в пределах 2секунд и всех это устраивает.
Но мне стало интересно как правильнее использовать asyncio + aiohttp.Client для распараллеливание запросов.
Делать в цикле N запросов довольно медленно.
Для ускорения я могу использовать ThreadPoolExecutor
ThreadPoolExecutor'a мне хватает за глаза. Вьюшка на проде работает быстро в пределах 2секунд и всех это устраивает.
Но мне стало интересно как правильнее использовать asyncio + aiohttp.Client для распараллеливание запросов.
СК
вроде бы есть метод у asyncio
run_coroutine_threadsafe(coro, loop)
run_coroutine_threadsafe(coro, loop)
СК
Но Андрей сказал, что asyncio в таком случае использовать смысла совсем нет 😞
СК
Celery невозможно использовать по ряду причин.
Мобила должна получить результат без перезапросов. То есть я не могу мобиле вернуть никий промис по которому она сможет забрать результат.
Она не может это сделать так как надо переделывать мобилу и перевыпускать сборку соответственно.
Мобила должна получить результат без перезапросов. То есть я не могу мобиле вернуть никий промис по которому она сможет забрать результат.
Она не может это сделать так как надо переделывать мобилу и перевыпускать сборку соответственно.
N
Теперь я отошёл, чуть ближе к вечеру приду и отвечу :)
AK
предположим у меня есть такого рода вьюшечка.
Делать в цикле N запросов довольно медленно.
Для ускорения я могу использовать ThreadPoolExecutor
ThreadPoolExecutor'a мне хватает за глаза. Вьюшка на проде работает быстро в пределах 2секунд и всех это устраивает.
Но мне стало интересно как правильнее использовать asyncio + aiohttp.Client для распараллеливание запросов.
Делать в цикле N запросов довольно медленно.
Для ускорения я могу использовать ThreadPoolExecutor
ThreadPoolExecutor'a мне хватает за глаза. Вьюшка на проде работает быстро в пределах 2секунд и всех это устраивает.
Но мне стало интересно как правильнее использовать asyncio + aiohttp.Client для распараллеливание запросов.
А само wsgi приложение использует треды или процессы для масштабирования?
N
Celery невозможно использовать по ряду причин.
Мобила должна получить результат без перезапросов. То есть я не могу мобиле вернуть никий промис по которому она сможет забрать результат.
Она не может это сделать так как надо переделывать мобилу и перевыпускать сборку соответственно.
Мобила должна получить результат без перезапросов. То есть я не могу мобиле вернуть никий промис по которому она сможет забрать результат.
Она не может это сделать так как надо переделывать мобилу и перевыпускать сборку соответственно.
Ну так если мобила не умеет в асинхронность - то как бы логично приложуху под нее поправить
СК
Ну так если мобила не умеет в асинхронность - то как бы логично приложуху под нее поправить
мобилу надо научить. Просто пришлось изменить ряд фунционала на бэке при этом сохранив текущее API.
СК
А само wsgi приложение использует треды или процессы для масштабирования?
используется uWSGI.
10 потоков на 8 процессов сейчас
10 потоков на 8 процессов сейчас
2017 October 23
N
Я имею ввиду обработка не входящих запросов а исходящих . Если я на 100 входных запросов создам еще 1500 потоков это не ок.
Типа вьюшка должна создать по 15 исходящих запросов и каждый запрос это отдельный поток.
ЗЫ я знаю , что надо использовать пул потоков. Меня просто интересно как эффективнее реализовать такую задачу с точки зрения ресурсов
Типа вьюшка должна создать по 15 исходящих запросов и каждый запрос это отдельный поток.
ЗЫ я знаю , что надо использовать пул потоков. Меня просто интересно как эффективнее реализовать такую задачу с точки зрения ресурсов
использование потоков в питоне - это вообще довольно сомнительная штука. Особенно для того, чтобы делать запросы.
СК
Альтернативы?
СК
Для IO их использовать нормально. Я же не вычисления делаю в потоках
SP
asyncio эффективнее для запросов получается.
IK
Для IO их использовать нормально. Я же не вычисления делаю в потоках
Но ведь именно для этого они и предназначены?
IK
Чтобы ускорять математику и алгоритмически сложные места.