GG
это smi?
так точно
Size: a a a
2020 June 26
GG
у тебя нет лимитов
ST
лимитов где
GG
и если у тебя приложение запущено на гпу и второе не влезает, то ты получаешь просто no memory
*
и откуда им собирать данные? сам nvidia драйвер и интерфейс это не дает
блин, я тебя ненавижу.
ST
и если у тебя приложение запущено на гпу и второе не влезает, то ты получаешь просто no memory
+++
GG
и ограничить нельзя первое, скажем, по границе 1ГБ
ST
блин, я тебя ненавижу.
*
я теперь думаю как это сделать
*
мне будто своего секса мало
ST
мне надо знать потреблялку за под
а DCGM собирает инфу только с карты
а DCGM собирает инфу только с карты
GG
мне надо знать потреблялку за под
а DCGM собирает инфу только с карты
а DCGM собирает инфу только с карты
страдай
GG
нет готового решения
GG
идеально - по видяхе на тенанта
GG
в текущей ситуации
GG
есть костыльный способ, но он работает только для контейнеров на композе, например привязывать один контейнер на одну карту, так можно мониторить сколько именно этот контейнер сьел памяти в целом от карты и ее утилизацию. По факту в данном случае нагрузка на карту = нагрузка выделяемая приложением
с кубером когда у тебя несколько подов на нескольких картах, например 18\6, ты не можешь точно знать сколько какое приложение сьело данных
с кубером когда у тебя несколько подов на нескольких картах, например 18\6, ты не можешь точно знать сколько какое приложение сьело данных
вот как тут ты и сказал - привязывать одно устройство через —gpus или CUDA_VISIBLE_DEVICES
АА
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 8669 C /opt/conda/bin/python 30881MiB |
| 1 8670 C /opt/conda/bin/python 29283MiB |
| 2 8671 C /opt/conda/bin/python 30261MiB |
| 3 8672 C /opt/conda/bin/python 31729MiB |
+-----------------------------------------------------------------------------+
++++++
АА
вот как тут ты и сказал - привязывать одно устройство через —gpus или CUDA_VISIBLE_DEVICES
так и делаем)
АА
@vizdrag больше мониторинга, вам надо больше мониторинга. Потом когда сделаешь идеальный мониторинг, не забудь его тоже надо мониторить.