Size: a a a

2021 March 10

DY

Dan Y in Data Engineers
Anton Zadorozhniy
Так у вас блочный или объектный интерфейс?
блочный, плюс если очень надо NFS. Объекты можно тоже, через MinIO
источник

DY

Dan Y in Data Engineers
Anton Zadorozhniy
Я видел weka один раз в дикой природе, там три i3.metal сервили флот GPU инстансов, цифры какие-то умопомрачительные
i3.metal это всегда умопомрачительные цифры :) я на одной такой, когда был в ScyllaDB, выжимал по 5М ops/sec
источник

DY

Dan Y in Data Engineers
Grigory Pomadchin
а у вас опенсорс или проприетарщина? есть ссылки зашарить?
OSS по полной программе. mayadata.io
источник

GP

Grigory Pomadchin in Data Engineers
Dan Y
OSS по полной программе. mayadata.io
а гитхаб есть?)
источник

GP

Grigory Pomadchin in Data Engineers
или это гдето тут https://github.com/mayadata-io?
источник

DY

Dan Y in Data Engineers
как раз там
источник

GP

Grigory Pomadchin in Data Engineers
а вижу
источник

DY

Dan Y in Data Engineers
это прямо связано с openebs
источник

AZ

Anton Zadorozhniy in Data Engineers
Dan Y
OSS по полной программе. mayadata.io
OpenEBS это вроде на iscsi, или оно уже nvmeof/roce/ib умеет?
источник

DY

Dan Y in Data Engineers
Anton Zadorozhniy
OpenEBS это вроде на iscsi, или оно уже nvmeof/roce/ib умеет?
это оркестратор, там несколько разных движков, от localPV и до cStor и Jiva (первый - форк ранчера)
источник

AZ

Anton Zadorozhniy in Data Engineers
Так то iscsi и nvmeof это старший и младший брат, но nvmeof умеет по rdma
источник

DY

Dan Y in Data Engineers
mayastor - новый движок, он намного быстрее
источник

DY

Dan Y in Data Engineers
nvmeof можно и через nvme-tcp гонять, в этом весь смысл
источник
2021 March 11

AZ

Anton Zadorozhniy in Data Engineers
Dan Y
nvmeof можно и через nvme-tcp гонять, в этом весь смысл
Congestion не накрывает?
источник

DY

Dan Y in Data Engineers
Anton Zadorozhniy
Congestion не накрывает?
меня пока не накрывало :) но вопрос хороший, добавлю в кандидаты на FAQ
источник

AZ

Anton Zadorozhniy in Data Engineers
И по латенси как оно, стабильно? Я помню бенчмарки того же roce против ib и все было так себе
источник

AZ

Anton Zadorozhniy in Data Engineers
Если у вас прям такая крутая технология то можно показать TPC-DS на Greenplum или Clickhouse например
источник

DY

Dan Y in Data Engineers
Anton Zadorozhniy
И по латенси как оно, стабильно? Я помню бенчмарки того же roce против ib и все было так себе
должно быть стабильно, хотя пока что все еще очень новое и сырое конечно
источник

DY

Dan Y in Data Engineers
Anton Zadorozhniy
Congestion не накрывает?
о, нашел:

One of the disadvantages with TCP/IP is congestion. Unlike FC where buffer credits are used to ensure that the target can receive a packet before the packet is sent, The IP layer  drops the packet when the network gets congested, and it is up to TCP to ensure that no data is lost, which causes the transport to slow down when the network gets overloaded. While TCP overreacts to congestion, it doesn’t fail; it just slows down. NVMe over TCP is still substantially ahead of SCSI in terms of latency while still behind NVMe over FC and RDMA.

линк: https://community.hitachivantara.com/s/article/tcp-is-a-network-protocol-for-nvme
источник

AZ

Anton Zadorozhniy in Data Engineers
Dan Y
о, нашел:

One of the disadvantages with TCP/IP is congestion. Unlike FC where buffer credits are used to ensure that the target can receive a packet before the packet is sent, The IP layer  drops the packet when the network gets congested, and it is up to TCP to ensure that no data is lost, which causes the transport to slow down when the network gets overloaded. While TCP overreacts to congestion, it doesn’t fail; it just slows down. NVMe over TCP is still substantially ahead of SCSI in terms of latency while still behind NVMe over FC and RDMA.

линк: https://community.hitachivantara.com/s/article/tcp-is-a-network-protocol-for-nvme
My question exactly
источник