В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1799 membersпожаловаться на группу
2020 February 25

AZ

Anton Zadorozhniy in Data Engineers
Просто если тут кто-то сидит с сервисом сопоставимым с датабриксом который втрое быстрее (или втрое дешевле), то не совсем ясно чего вы сидите тут, и вас не видно элитном чатике кофаундеров-СТО, а если вы тюните каждую джобу то возникает много вопросов: какой time to market у вашего процесса, какие кастомизации в инфре требуются, и кто (и за сколько) все это поддерживает?
источник
12:25пожаловаться#1

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Просто если тут кто-то сидит с сервисом сопоставимым с датабриксом который втрое быстрее (или втрое дешевле), то не совсем ясно чего вы сидите тут, и вас не видно элитном чатике кофаундеров-СТО, а если вы тюните каждую джобу то возникает много вопросов: какой time to market у вашего процесса, какие кастомизации в инфре требуются, и кто (и за сколько) все это поддерживает?
Что за чат
источник
12:28пожаловаться#2

S

Serg Slipushenko in Data Engineers
В нашем кейсе датабрикс был бы оверкилом
источник
12:28пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Serg Slipushenko
В нашем кейсе датабрикс был бы оверкилом
Мб у вас и кубер это оверкил? Представьте, бареметал, работа с raw volumes, прямой infiniband вместо кривого ip over ib? Речь про мейнстрим была
источник
12:31пожаловаться#4

S

Serg Slipushenko in Data Engineers
Кубер как раз в тему) ДЦ-как-сервис я насмотрелся достаточно, это не наш метод)))
источник
12:33пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
(но я с вами если что, тоже не подпускал бы дата инженеров минимум без CKA/CKAD к написанию бизнес логики, джоб секьюрити! ;))
источник
12:34пожаловаться#6

S

Serg Slipushenko in Data Engineers
Anton Zadorozhniy
Просто если тут кто-то сидит с сервисом сопоставимым с датабриксом который втрое быстрее (или втрое дешевле), то не совсем ясно чего вы сидите тут, и вас не видно элитном чатике кофаундеров-СТО, а если вы тюните каждую джобу то возникает много вопросов: какой time to market у вашего процесса, какие кастомизации в инфре требуются, и кто (и за сколько) все это поддерживает?
В том то и идея, что для небольших проектов кастомизаций нужно минимум поверх ванильного кубера-в-облаке, а по цене выходит сильно лучше чем решение все в одном
источник
12:35пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
Serg Slipushenko
В том то и идея, что для небольших проектов кастомизаций нужно минимум поверх ванильного кубера-в-облаке, а по цене выходит сильно лучше чем решение все в одном
Тогда датабрикс не был бы так успешен, их хлеб как раз относительно небольшие команды, даже внутри крупных корпораций
источник
12:36пожаловаться#8

S

Serg Slipushenko in Data Engineers
Рынок датаинжиниринга большой) будет кейс где датабрикс зарешает - будем использовать его, вай нот
источник
12:39пожаловаться#9

S

Serg Slipushenko in Data Engineers
Все упирается в косты, если общий кост решения с датабриксом выглядит примерно одинаково с кастомом - конечно нужно использовать датабрикс а не пилить костыли
источник
12:42пожаловаться#10

S

Serg Slipushenko in Data Engineers
sticker.webp
(28.95 Кб)
источник
12:42пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
кмк это ниша схожая с собиранием своих персистентных хадуп кластеров, да есть очень узкий набор требований когда это дешевле (вылизанные джобы и высокая постоянная утилизация), но таких клиентов так мало что делать ставку на них нельзя (и круг их сужается)
источник
12:47пожаловаться#12

S

Serg Slipushenko in Data Engineers
sticker.webp
(12.52 Кб)
источник
12:50пожаловаться#13

S

Serg Slipushenko in Data Engineers
Мне кажется - наоборот)
источник
12:50пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
у каждого свой filter bubble
источник
12:51пожаловаться#15

S

Serg Slipushenko in Data Engineers
Рынок большой - где-то оно по вашему где-то по нашему, ага
источник
12:51пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
отвечая на изначальный вопрос: если вы дата инженер и работаете с Сергеем - штудируйте кубер как следует, если со мной - потратьте это время чтобы лучше изучить спарк и бим/датафлоу
источник
12:58пожаловаться#17

T

T in Data Engineers
В Нидерландах почти все на AWS + spark.  я походил ради интереса по собесам тут посмотреть на чем люди сидят. Но я удумаю это уже офтоп для соседнего чата
источник
13:01пожаловаться#18

N

Nikita Blagodarnyy in Data Engineers
Serg Slipushenko
Код легко скедулить, когда легко понять сколько ресов код может использовать в пике и сколько он использует в среднем. Если у вас весь код такой - я вам люто завидую)
Могли бы вы так, немного на пальцах, привести 2-3 характеристики кода(по возможности с примером), который легко скедулить, и 2-3 характеристики кода, который скедулить нелегко?
источник
13:01пожаловаться#19

S

Serg Slipushenko in Data Engineers
Anton Zadorozhniy
отвечая на изначальный вопрос: если вы дата инженер и работаете с Сергеем - штудируйте кубер как следует, если со мной - потратьте это время чтобы лучше изучить спарк и бим/датафлоу
Йес)
источник
13:02пожаловаться#20