AZ
Интересная в общем работа все это тестить
Size: a a a
2021 March 11
DY
My question exactly
так и ответ там же - по сети оно хуже чем по оптике или RDMA (a когда было иначе?) но не ужас-ужас
AZ
так и ответ там же - по сети оно хуже чем по оптике или RDMA (a когда было иначе?) но не ужас-ужас
Ну да, но для распределённой системы это интересные эффекты может вызывать, например вы пишете в кафку а один брокер оттормаживается и все партиции на нем работают медленнее остальных - такое хорошо бы как-то в мониторинге подсветить и как-то жить с этим научится
DY
Интересная в общем работа все это тестить
не жалуюсь :) просто я всегда инфраструктурой занимался, и плохо знаю все что касается именно датасаенсов. Поэтому некоторые вопросы могут быть глупыми
DY
Ну да, но для распределённой системы это интересные эффекты может вызывать, например вы пишете в кафку а один брокер оттормаживается и все партиции на нем работают медленнее остальных - такое хорошо бы как-то в мониторинге подсветить и как-то жить с этим научится
у нас на данный момент вторичные реплики не обслуживают запросы, так что это не проблема.
AZ
у нас на данный момент вторичные реплики не обслуживают запросы, так что это не проблема.
Я про запись, ack=all
DY
Я про запись, ack=all
это перманентный режим пока что
AZ
это перманентный режим пока что
Ну вот и получается что плохой брокер всю запись оттормозит
AZ
Кстати в ажурке есть машины с мелланоксом, just saying ;)
AZ
Вплоть до HDR, 200Gb/sec на сервер...
DY
Кстати в ажурке есть машины с мелланоксом, just saying ;)
уже использую их вовсю. Проблема в ажуре в том что на инстансах где есть хорошие диски, стоят самые старые мелланоксы четвертой серии
AZ
Да, но этим все клауды грешат.. на AWS P3 и I3 тоже нельзя просто взять и смерджить
AZ
В ажуре ИБ для НРС продвигается, мы наше барахло там тоже нормально запустить не можем
DY
Да, но этим все клауды грешат.. на AWS P3 и I3 тоже нельзя просто взять и смерджить
поэтому есть m5d
AZ
поэтому есть m5d
GPU там нет
DY
GPU там нет
зато диски вкусные и CPU нормальный (плюс правильный KVM а не дохлый Xen)
AZ
зато диски вкусные и CPU нормальный (плюс правильный KVM а не дохлый Xen)
Если бы можно было так сказать cuda - ну нету GPU зато смотри какие диски)
DY
Если бы можно было так сказать cuda - ну нету GPU зато смотри какие диски)
хех, не судьба :)
K
Kafka Definitive Guide и Learning Spark только-только обновились, их и читай
там скоро зоокипер совсем уберут у кафки