В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2206 membersпожаловаться на группу
2021 January 06

AZ

Anton Zadorozhniy in Data Engineers
K S
Не-а, они (не дата инженеры) почему-то думают только на один шаг вперед, не думаю о многих других аспектах.
Имеет смысл переезжать если у вас большой цеф для всего (объектный и блочный сторадж) + опсы умеют его готовить + достаточно железа и поддерживаете этот цэф не вы)
источник
08:41пожаловаться#1

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
Это прям надо постараться, чтобы на идентичном железе (особенно бареметал) обогнать HDFS на чтении больших файлов в батч джоб
Ну вдруг по хадупу спецов нет,  а по цефу есть
источник
08:42пожаловаться#2

A

Alex in Data Engineers
поддерживаете этот цэф не вы - прямо как я говорю про mongodb и k8s
источник
08:42пожаловаться#3

АЖ

Андрей Жуков... in Data Engineers
Alex
поддерживаете этот цэф не вы - прямо как я говорю про mongodb и k8s
Я так и про хадуп говорю!
источник
08:42пожаловаться#4

KS

K S in Data Engineers
Андрей Жуков
Для CTO это странное поведение :) ему надобно думать на n+1 шагов
90% этой команды странные 😁
Я сегодня посмотрел почему вываливается arrow либа при генерации паркета - оказывается кто-то догадался в постгресе создать кастомные типы данных типа smart_ass_type, которые привязан к проверке на not null.
источник
08:42пожаловаться#5

A

Alex in Data Engineers
Андрей Жуков
Я так и про хадуп говорю!
ну хадуп я знаю =)

поэтому часто лучше когда поддерживаю я, всё равно к хадуп тиму регулярно ходить рассказывать что изменить
источник
08:43пожаловаться#6

СХ

Старый Хрыч... in Data Engineers
K S
Наш CTO почему то думает, что ceph проще,быстрее и надежнее, чем hdfs.
😐в кащенко его срочно
источник
08:43пожаловаться#7

СХ

Старый Хрыч... in Data Engineers
и чем скорее тем лучше
источник
08:44пожаловаться#8

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
Я так и про хадуп говорю!
Это нормальная реакция инженера когда к нему приходят и говорят: теперь с того что вы выбрали надо переезжать вот на это
источник
08:44пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
K S
90% этой команды странные 😁
Я сегодня посмотрел почему вываливается arrow либа при генерации паркета - оказывается кто-то догадался в постгресе создать кастомные типы данных типа smart_ass_type, которые привязан к проверке на not null.
Ну на это могут быть причины
источник
08:44пожаловаться#10

KS

K S in Data Engineers
Anton Zadorozhniy
Имеет смысл переезжать если у вас большой цеф для всего (объектный и блочный сторадж) + опсы умеют его готовить + достаточно железа и поддерживаете этот цэф не вы)
Не, поддержка и разработка всё сами, вот этими вот мозолистыми руками.
источник
08:44пожаловаться#11

АЖ

Андрей Жуков... in Data Engineers
K S
Не, поддержка и разработка всё сами, вот этими вот мозолистыми руками.
Тады нахнах
источник
08:45пожаловаться#12

СХ

Старый Хрыч... in Data Engineers
K S
Наш CTO почему то думает, что ceph проще,быстрее и надежнее, чем hdfs.
😐ceph быстрее... у вашего сто точно нет справки о шизофрении? он вообще вкурсе при каких условиях  ceph будет быстрее чем hdfs?
источник
08:45пожаловаться#13

СХ

Старый Хрыч... in Data Engineers
мало того что вам нужно будет минимум 10г линки по 2 шт на сервер, минимум 4 хороший ssd на сервер под мониторы, а ещё плюс ресурсов он сожрёт в разы больше чем hdfs
источник
08:46пожаловаться#14

KS

K S in Data Engineers
Старый Хрыч
😐ceph быстрее... у вашего сто точно нет справки о шизофрении? он вообще вкурсе при каких условиях  ceph будет быстрее чем hdfs?
Хз... Я тут всего месяц пока, но уже готов поставить диагноз. Для них зона ответственности заканчивается сохранением записи в постгрес, а дальше хоть трава не расти.
источник
08:47пожаловаться#15

СХ

Старый Хрыч... in Data Engineers
Всё по заветам Симонова, стал СТО принивай Волевые решения и ищи потом виноватых в их неисполнении
источник
08:47пожаловаться#16

АЖ

Андрей Жуков... in Data Engineers
K S
90% этой команды странные 😁
Я сегодня посмотрел почему вываливается arrow либа при генерации паркета - оказывается кто-то догадался в постгресе создать кастомные типы данных типа smart_ass_type, которые привязан к проверке на not null.
Возможно, CTO у вас не из мира бигдатки или хотя бы джавы
источник
08:48пожаловаться#17

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
Всё по заветам Симонова, стал СТО принивай Волевые решения и ищи потом виноватых в их неисполнении
Не надо тут обобщать :)
источник
08:49пожаловаться#18

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
Не надо тут обобщать :)
так я про его заветы говорю
источник
08:49пожаловаться#19

KS

K S in Data Engineers
Старый Хрыч
мало того что вам нужно будет минимум 10г линки по 2 шт на сервер, минимум 4 хороший ssd на сервер под мониторы, а ещё плюс ресурсов он сожрёт в разы больше чем hdfs
У нас уже стоит 10Гбитная карта, но от этого не легче, не понос так золотуха - блок сторидж отваливается периодически.
источник
08:49пожаловаться#20