UD
С кубом типичная история такая, купили тазик с картами aka dgx, а данные карты ждут из цефа ( пока он раздуплится )
Size: a a a
2021 March 10
DY
С кубом типичная история такая, купили тазик с картами aka dgx, а данные карты ждут из цефа ( пока он раздуплится )
ну вот тут мы как раз и должны быть молодцами
AZ
немного размытый вопрос, но надеюсь найдутся ответы - я работаю в фирме которая пишет скоростной сторедж под k8s, и ищу варианты нагрузок, особенно модных AI и ML, которые сильно грузят диски и часто упираются именно в них. Идея в том чтоб поднять такую вот нагрузку как демо, и показать хорошую производительность.
Любые идеи - велкам
Любые идеи - велкам
AZ
Там рядом лежат результаты на разных системах, есть с чем сравнить
DY
о, спасибо! теперь надо все это нагородить и начать выдергивать оттуда цифры :) работы на пару месяцев я думаю мне хватит
VS
из общения с другими инженерами. Они говорят что CPU больше не проблема потому что есть инстансы с GPU. И вот тут можно упереться в диски
А как инжинеры объяснят ио на поднятие данных тупо? А на передачу данных в видюху? А на расход и ограничение памяти при этом? Какие-то сферические инжинеры...
DY
А как инжинеры объяснят ио на поднятие данных тупо? А на передачу данных в видюху? А на расход и ограничение памяти при этом? Какие-то сферические инжинеры...
я не применял к ним терморектальный криптоанализ
VS
Просто gpu - это не замена cpu, это тупо решение очень ограниченного круга задач и в большинстве своем от стораджа он не зависит вообще
AZ
Еще посмотрите на petastorm, там был кажется бенчмарк, и это может быть интереснее потенциальным клиентам
DY
Еще посмотрите на petastorm, там был кажется бенчмарк, и это может быть интереснее потенциальным клиентам
спасибо, смотрю
AZ
DY
А у вас что-то вроде weka.io только на кубере?
века это как раз про GPU, у нас скорее альтернатива цефу, гластеру и прочим, нативная для кубера, и с использованием SPDK и NVMEoF
AZ
века это как раз про GPU, у нас скорее альтернатива цефу, гластеру и прочим, нативная для кубера, и с использованием SPDK и NVMEoF
Так у вас блочный или объектный интерфейс?
AZ
Я видел weka один раз в дикой природе, там три i3.metal сервили флот GPU инстансов, цифры какие-то умопомрачительные
A
Я вот сегодня дочитал второй день курса для ML Engineer, и главное что волнует людей - как зафорсить корпоративную цветовую гамму для всяких confusion матриц и ROC кривых, говорят «наш менеджер не любит аппрувить что-то что раскрашено цветами конкурента»
Где читаешь? Там записи есть?
AZ
Где читаешь? Там записи есть?
Сорян, это внутренний курс, не могу поделиться; да там и вокруг нашего AnalyticOps, врядли будет полезно
GP
века это как раз про GPU, у нас скорее альтернатива цефу, гластеру и прочим, нативная для кубера, и с использованием SPDK и NVMEoF
а у вас опенсорс или проприетарщина? есть ссылки зашарить?
AZ
В OSS есть rook.io из такого
AZ
Но он совсем не шустрый, если у господ nvmeof то наверное это под какие-то rdma штуки, должно быть интереснее чем рук и врядли опенсорсно
