Size: a a a

2021 January 06

AZ

Anton Zadorozhniy in Data Engineers
Ceph Bluestore можно неплохо разогнать, но железо надо будет получше (и побольше), и люди должны знать что делают
источник

СХ

Старый Хрыч... in Data Engineers
K S
У нас уже стоит 10Гбитная карта, но от этого не легче, не понос так золотуха - блок сторидж отваливается периодически.
а 1 ssd на каждые 4 rbd?
источник

KS

K S in Data Engineers
Старый Хрыч
а 1 ssd на каждые 4 rbd?
Есть локальный ssd + block storage (iscsi).
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
Ceph Bluestore можно неплохо разогнать, но железо надо будет получше (и побольше), и люди должны знать что делают
2 10г линка, 1 хороший ынтепрайз ssd на каждые 4 hdd, плюс 2 ssd под систему и логи, плюс хороший проц и высокочастотную память
источник

АЖ

Андрей Жуков... in Data Engineers
K S
Есть локальный ssd + block storage (iscsi).
Резюмируя: в вашем случае цеф бесполезен и даже вреден,  так как команда не умеет его готовить,  а хдфс уже давно научилась.
источник

AZ

Anton Zadorozhniy in Data Engineers
K S
Есть локальный ssd + block storage (iscsi).
Iscsi? Omg
источник

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
2 10г линка, 1 хороший ынтепрайз ssd на каждые 4 hdd, плюс 2 ssd под систему и логи, плюс хороший проц и высокочастотную память
Infiniband тоже хорошо
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
Infiniband тоже хорошо
он уже ненужен, 40 гб эзернет дешевле и проще
источник

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
Резюмируя: в вашем случае цеф бесполезен и даже вреден,  так как команда не умеет его готовить,  а хдфс уже давно научилась.
я бы сказал это суицид на iscsi делать ceph
источник

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
я бы сказал это суицид на iscsi делать ceph
Это уже частности
источник

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
он уже ненужен, 40 гб эзернет дешевле и проще
Это если IP over IB (и недавно), а если свой протокол - IB получше будет
источник

АЖ

Андрей Жуков... in Data Engineers
Андрей Жуков
Это уже частности
Если я ни в зуб ногой про технологию,  то и про качество железа под него не смогу ничего доказать. Там будет "хрычи воевали с одной витой парой на полк"  в обратку.
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
Это если IP over IB (и недавно), а если свой протокол - IB получше будет
я в 2019 заюзал уже 100 гбит эзернет на спарке
источник

KS

K S in Data Engineers
2 недели назад отвалился блок сторидж на одном из серверов, провайдер (Packet) до сих ни хера не починил.
источник

СХ

Старый Хрыч... in Data Engineers
K S
2 недели назад отвалился блок сторидж на одном из серверов, провайдер (Packet) до сих ни хера не починил.
я бы новую работу искал если СТО нельзя убедить
источник

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
я в 2019 заюзал уже 100 гбит эзернет на спарке
У спарка требований то нет, долетело и ладно
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
У спарка требований то нет, долетело и ладно
😐ну там связка была spark+ignite
источник

KS

K S in Data Engineers
Народ, расскажите мне ужастики про iscsi.
источник

СХ

Старый Хрыч... in Data Engineers
K S
Народ, расскажите мне ужастики про iscsi.
а зачем? это просто способ подключения дисковых массивов напрямую для вм и тп
источник

СХ

Старый Хрыч... in Data Engineers
но для ceph он вообще не пригоден
источник