SM
nvidia-runtime в помощь
Size: a a a
2020 June 29
EL
тебе надо, чтобы у тебя рантайм был подключен при создании конкретного контейнера
/etc/docker/daemon.json
после этого докер рестартил
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}после этого докер рестартил
GG
/etc/docker/daemon.json
после этого докер рестартил
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}после этого докер рестартил
я допускаю, что этого будет недостаточно - ты проверял docker inspect'ом, что контейнеры создаются как надо, а куб не игнорирует настройки докера ?
GG
еще необходимое условие работы - наличие внутри контейнра библиотек (названия точные файлов не помню)
GG
https://github.com/NVIDIA/k8s-device-plugin - эта же фигня, как я понял, тебе нужна, если ты хочешь аннотацией limits:
nvidia.com/gpu: пользоваться
nvidia.com/gpu: пользоваться
ST
Мне в подах нужен вывод nvidia-smi, что-то типа кастомного экспортера.
В подах демонсета девайс плагина гпу ес-но не запрашиваются, но при этом софт nvidia есть и при этом руками он не ставится, либо я в упор этого не вижу.
В подах демонсета девайс плагина гпу ес-но не запрашиваются, но при этом софт nvidia есть и при этом руками он не ставится, либо я в упор этого не вижу.
не совсем понял а с какой целью вообще это иметь внутри пода
ST
https://github.com/NVIDIA/k8s-device-plugin - эта же фигня, как я понял, тебе нужна, если ты хочешь аннотацией limits:
nvidia.com/gpu: пользоваться
nvidia.com/gpu: пользоваться
+
EL
не совсем понял а с какой целью вообще это иметь внутри пода
небольшой велосипед - под собирает инфу о железе на ноде и шлёт в отдельный сервис.
SM
Всем привет. Может кто-нибудь пояснить каким образом девайс плагин прокидывает драйвера в поды? И можно ли прокинуть дрова в под, не запрашивая при этом гпу? В конкретном случае nvidia-device-plugin
если что, он вам не драйвер прокидывает, а устройство, но эт мелочи, в чем проблема то
ST
небольшой велосипед - под собирает инфу о железе на ноде и шлёт в отдельный сервис.
для этого есть просто dcgm-exporter, kubelet и node-exporter
SM
для этого есть просто dcgm-exporter, kubelet и node-exporter
ну не совсем, гпу модель тут ничего не провайдит
ST
ну не совсем, гпу модель тут ничего не провайдит
это да, но я завел ишшу))
ST
в любом случае можно самому дописать я думаю
SM
в любом случае можно самому дописать я думаю
мона
EL
если что, он вам не драйвер прокидывает, а устройство, но эт мелочи, в чем проблема то
про устройство то понятно, помимо этого и нужный софт закидывается в под.
поднимаю под на nvidia ноде без запрос гпу - nvidia-smi нет
с запросом нужный софт есть
поднимаю под на nvidia ноде без запрос гпу - nvidia-smi нет
с запросом нужный софт есть
EL
ну не совсем, гпу модель тут ничего не провайдит
помимо модели нужна инфа куда воткнута карта, цпу, рама и тд
SM
> нужный софт закидывается в под.
если это не образ с кудой, то нет, не прокидывается
если это не образ с кудой, то нет, не прокидывается
EL
я поднимаю обычный sshd
нужный мне софт - nvidia-smi и он там есть)
нужный мне софт - nvidia-smi и он там есть)
GG
я поднимаю обычный sshd
нужный мне софт - nvidia-smi и он там есть)
нужный мне софт - nvidia-smi и он там есть)
библиотеки нужны )
EL
контейнеры при этом запускаются в nvidia рантайме