Телеграмм чат группы hadoopusers страница 3550

Size: a a a

Data Engineers

2430 membersпожаловаться на группу

2021 April 26

Dmitry in Data Engineers

это 25 стран, в каждой из которых тучи баз и продуктов, что остались от фирм купленных в разные времена

источник

10:10пожаловаться #1

Sergey Sheremeta in Data Engineers

дяденьки, с вашего позволения попробую перевести тему:
кто-то шарит в Cybersecurity Law Китая?
допустим, у меня есть глобальная Amazon DynamoDB, и один из регионов хранения данных - Китай.
верно я понимаю, что я обязан сам прописывать правила хранения данных и их репликации только внутри китайских датацентров Амазона?

источник

10:10пожаловаться #2

Ilya in Data Engineers

Dmitry in Data Engineers

это сотни каких-то систем, небольшая выжимка из которых добирается до хадуп

источник

10:11пожаловаться #4

Aleksey in Data Engineers

Ок. В любом случае 7 ТБ это совсем не много.

источник

10:12пожаловаться #5

Dmitry in Data Engineers

ну как не много. запихни это в exadata будет под млн ценник

источник

10:13пожаловаться #6

Uncle Ruckus in Data Engineers

Ну я кагьэ только не подумайте, что я весь русский, но это оплата не ЛИЦЕНЗИЙ, это не сап а оракл, это оплата ПОДДЕРЖКИ. А вам точно надо платить за поддержку всех инстансов во всех 25 странах?

источник

10:13пожаловаться #7

Uncle Ruckus in Data Engineers

А зачем ее запихивать в экзадата??? Сделайте нормальный ODS на нормальном сервере, если это для аналитики, и наделайте витрин на чем хотите, хоть на бесплатной вертике.

источник

10:14пожаловаться #8

Dmitry in Data Engineers

я полагаю там не толко базы, наверняка где-то и oebs есть и всякие oracle bi наверняка могут еще оставаться

источник

10:14пожаловаться #9

Uncle Ruckus in Data Engineers

А как вам смена БД поможет соскочить с OBI?

источник

10:15пожаловаться #10

Dmitry in Data Engineers

вертика у нас есть после хадупа, она сдохнет скоринги считать в том режиме что нам надо

источник

10:16пожаловаться #11

Eldar in Data Engineers

только сегодня статеечка вышла про это=)
https://habr.com/ru/company/tensor/blog/553754/

Хабр

Чего «энтерпрайзу» в PostgreSQL не хватает

В конце прошлого года Иван Панченко предложил мне рассказать на внутреннем семинаре Postgres Pro, чего, по нашему опыту использования PostgreSQL в "кровавом энте...

источник

10:16пожаловаться #12

Dmitry in Data Engineers

ну и данные у нас есть не реляционные тоже, емайлы там где-то скорятся и на документы уже пилят анализ

источник

10:17пожаловаться #13

Anton Zadorozhniy in Data Engineers

у меня было подразделение у клиента, на AWS, 300 пользователей даталейка (1200 пользователей хранилища, но это не включено), 100 ТБ с небольшим данных, они платили чуть меньше 50К USD в месяц за весь даталейк со всеми компьют ресурсами, стораджем, небольшим количеством GPU инстансов

источник

10:17пожаловаться #14

Dmitry in Data Engineers

я зачастую встречаю просто ради хайпа че-то мерджат в болото и кладут мертвым грузом. нафиг больше никогда не обращаясь, т.к. там мусор неконистентный

источник

10:19пожаловаться #15

Anton Zadorozhniy in Data Engineers

ну вот там порядка 100 data scientists, остальное аналитики и разработчики каждый день работают с этими данными, ну и хранилище наливается из них

источник

10:20пожаловаться #16

Anton Zadorozhniy in Data Engineers

скоринг весь в хранилище, оно быстрее

источник

10:20пожаловаться #17

Dmitry in Data Engineers

дело то не в размере, так да, на hdfs какого-то дерьма и у нас сотни тб, которые зачем-то закинули но теперь никто и не знает что это