АП
Отдельный сервис, который сидит в отдельном процессе, получает задачи в очередь и разгребает её
это понятно )
вопрос в производительности - один поток много не нагенерит а юзеров дохрена и всем нужно )
Size: a a a
2021 June 13
В
В
а сколько таких процессов можно запустить параллельно на одном ядре?
BT
Масштабируйте по количеству потоков =)
Для стабильной работы нужно минимум 2 потока - один на сервер, и 1 на генератор pdf.
Ну и соответственно добавлять ядра по необходимости, если очередь на генерацию будет слишком большая. Как вариант присмотреть сервера на ARM, вам важнее количество ядер, а не их производительность
Для стабильной работы нужно минимум 2 потока - один на сервер, и 1 на генератор pdf.
Ну и соответственно добавлять ядра по необходимости, если очередь на генерацию будет слишком большая. Как вариант присмотреть сервера на ARM, вам важнее количество ядер, а не их производительность
АП
А точно не нагенерит? Ну и важно насколько приемлемо заставлять пользователей ждать. На самом деле может быть так, что одного процесса хватит
В
а можно вернуться к вопросу о процессах - сколько их можно параллельно обслуживать на 1м ядре
или параллельность тут все же за счет переключения основного процесса между попроцессами реализована?
или параллельность тут все же за счет переключения основного процесса между попроцессами реализована?
BT
Запускать больше 1 процесса на 1 ядре плохая затея. Вы только потеряете в производительности на переключениях контекста ядра.
Тут вопрос в том, какое вам нужно время ответа от сервера и время генерации.
Тут вопрос в том, какое вам нужно время ответа от сервера и время генерации.
СС
Это откуда такая информация?
В
ага, значит я правильно понял что "параллельные" процессы в ноде на 1м ядре будут псевдопараллельными )
для реальной параллельности нужно несколько ядер
для реальной параллельности нужно несколько ядер
СС
Для вашей задачи есть куча инструментов в виде Airflow или Camel
BT
От спецификации процессоров. Если впихнуть невпихуемое на одно ядро - просто будет постоянное состояние гонки. Особенно если эти процессы асинхронные
В
блин, ну это еще один костыль в инфраструктуру (
хотелось бы своими силами решить а не тянуть чужие решения которые нужно изучать настраивать и поддерживать
хотелось бы своими силами решить а не тянуть чужие решения которые нужно изучать настраивать и поддерживать
В
в общем я понял - без создания кучи сервисов с достаточным количеством ядер не обойтись
СС
Ну вы любое приложение откройте, посмотрите сколько оно делает форков и проведите корреляцию между числом ядер, так-то в облаках реальные ядра очень редко дают, обычно они там виртуальные
СС
Это не костыль, а Enterprise решение
АП
Тащить эти вещи в ноду и правда похоже на костыль
В
я наверное резко выразился - для нас сейчас это проблематично - мы еще не дошли до стадии entrerprise
СС
Zero Code подход
СС
Можете реализовать простое OLTP, будет прекрасно запихнуть создание pdf в serverless, тогда избежите проблемы с будущим масштабированием
В
для серверлесс нужна инфраструктура, а мы хостимся у себя)