В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2206 membersпожаловаться на группу
2021 January 06

A

Alex in Data Engineers
Anton Zadorozhniy
Это тоже наверное не от хорошей жизни, какая-то зарегулированная инфра где любой сторадж - это только айскази
нет, просто не полное понимание что такое hdfs и зачем он нужен
сталкивался несколько раз с таким когда людей консультировал
источник
09:14пожаловаться#1

KS

K S in Data Engineers
Anton Zadorozhniy
Это тоже наверное не от хорошей жизни, какая-то зарегулированная инфра где любой сторадж - это только айскази
Скорее всего из-за цены. На этом хосте в iscsi вольюмы пишутся бэкапы бд под пол-петабайта.
источник
09:14пожаловаться#2

СХ

Старый Хрыч... in Data Engineers
О_о
источник
09:15пожаловаться#3

СХ

Старый Хрыч... in Data Engineers
и зачем там hdfs/ceph?
источник
09:15пожаловаться#4

AZ

Anton Zadorozhniy in Data Engineers
K S
Скорее всего из-за цены. На этом хосте в iscsi вольюмы пишутся бэкапы бд под пол-петабайта.
Это скорее всего какой-то файлер типа нетап, там можно и нормальный протокол попросить
источник
09:16пожаловаться#5

KS

K S in Data Engineers
Старый Хрыч
и зачем там hdfs/ceph?
Hdfs на других хостах, но проблема та же - iscsi.
источник
09:16пожаловаться#6

АЖ

Андрей Жуков... in Data Engineers
K S
Hdfs на других хостах, но проблема та же - iscsi.
sticker.webp
(31.35 Кб)
источник
09:16пожаловаться#7

АЖ

Андрей Жуков... in Data Engineers
можно еще на хостах виртуалки нарезать и там хадуп поставить, ваще пушка будет
источник
09:17пожаловаться#8

A

Alex in Data Engineers
Андрей Жуков
можно еще на хостах виртуалки нарезать и там хадуп поставить, ваще пушка будет
видел и такое

виртуалки с хдфс на искайзи
источник
09:18пожаловаться#9

KS

K S in Data Engineers
Андрей Жуков
можно еще на хостах виртуалки нарезать и там хадуп поставить, ваще пушка будет
Есть такие предложения - датаноды под k8s
источник
09:18пожаловаться#10

АЖ

Андрей Жуков... in Data Engineers
Alex
видел и такое

виртуалки с хдфс на искайзи
AnimatedSticker.tgs
(32.5 Кб)
источник
09:18пожаловаться#11

АЖ

Андрей Жуков... in Data Engineers
K S
Есть такие предложения - датаноды под k8s
ну тогда и хадуп нинужон - с3 апи и кубы фтв
источник
09:18пожаловаться#12

KS

K S in Data Engineers
Андрей Жуков
ну тогда и хадуп нинужон - с3 апи и кубы фтв
Облако под запретом, всё строго он прем.
источник
09:19пожаловаться#13

АЖ

Андрей Жуков... in Data Engineers
K S
Облако под запретом, всё строго он прем.
ну так цеф с с3 апи
источник
09:20пожаловаться#14

АЖ

Андрей Жуков... in Data Engineers
но это для вас совсем шиза будет
источник
09:20пожаловаться#15

AZ

Anton Zadorozhniy in Data Engineers
K S
Hdfs на других хостах, но проблема та же - iscsi.
Погоняйте TestDFSIO, какие он цифры масштабируемости показывает при росте числа файлов
источник
09:21пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
Мб вам вообще не нужен распределённый хадуп, в этом смысле
источник
09:21пожаловаться#17

KS

K S in Data Engineers
Anton Zadorozhniy
Погоняйте TestDFSIO, какие он цифры масштабируемости показывает при росте числа файлов
Хорошая идея, на днях даже пытался этот jar запустить, но руки не дошли, там надо было пути к джаве прописывать.
источник
09:23пожаловаться#18

λ

λoλdog in Data Engineers
Сложная задача
источник
09:25пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
K S
Хорошая идея, на днях даже пытался этот jar запустить, но руки не дошли, там надо было пути к джаве прописывать.
С такой необычной архитектурой (особенно когда такая важная часть как диски у вас не под контролем) надо постоянно иметь под рукой и запускать тесты инфры, у вас что-нибудь деградирует и такие тесты будут полезны как бейзлайн и отбиться, если что
источник
09:25пожаловаться#20