UD
+немного чинить с админами кластер
Size: a a a
2020 February 05
UD
SO
я бы добавил знание форматов avro parquet ну и как графики выводить в каком нибудь superset
Графики пусть аналитики строят в табло. Avro/Parquet/ocr ну и то, "знание" это "есть такой формат, нужен когда..."
AS
Графики пусть аналитики строят в табло. Avro/Parquet/ocr ну и то, "знание" это "есть такой формат, нужен когда..."
Пока тот же авро изучишь хорошо поймешь схемы, миграции и зачем нужны реестры схем
Д
etc != EDC
Ты возможно попутал https://etcd.io/ не упомянут.
DZ
Эта шутка зашла сликом далеко
ИM
+немного чинить с админами кластер
Про "чинить" - как называется специализация? Когда не сайнтист, а именно админ/девупс/инженер хадупа
UD
Про "чинить" - как называется специализация? Когда не сайнтист, а именно админ/девупс/инженер хадупа
Ну например дс-ы напартицировали у себя 100млн файлов по 2кб
UD
сферические админы поймали чихающий кластер ночью
UD
т.е дата инжонир консультирует коллег дс-ов почему так делать не стоит и какие альтернативы возможны
AG
Ну и переписывает с пандас на спарк
SO
Ну и переписывает с пандас на спарк
Классика. "Нам дали ноду, там 256 GB оперативы, зачем нам Spark, там Pandas за 30 минут все считает"..
IA
Большое спасибо всем за ответы 🙏
I
Now imagine an enterprise that has several thousand (or several hundred thousand) databases,
most an order of magnitude bigger than our hypothetical 10,000field database. I once worked with a small bank that only had 5,000 employees, but managed to create 13,000 databases.
Читаю тут книжку... А сколько у вас баз?
DY
У меня тут клиент гоняет одну базу, но в ней десятки тысяч таблиц
ME
Now imagine an enterprise that has several thousand (or several hundred thousand) databases,
most an order of magnitude bigger than our hypothetical 10,000field database. I once worked with a small bank that only had 5,000 employees, but managed to create 13,000 databases.
Читаю тут книжку... А сколько у вас баз?
У нас под каждый проект своя, в проекте под каждый енваермент и там под каждый стейдж)
AG
Now imagine an enterprise that has several thousand (or several hundred thousand) databases,
most an order of magnitude bigger than our hypothetical 10,000field database. I once worked with a small bank that only had 5,000 employees, but managed to create 13,000 databases.
Читаю тут книжку... А сколько у вас баз?
Может тут таблицы имеются ввиду? Или в кубернетосе у каждого пода свой прицеп-контейнер с редисом.
I
Может тут таблицы имеются ввиду? Или в кубернетосе у каждого пода свой прицеп-контейнер с редисом.
вроде нет. чувак отдельно сначала говорит, что в бд может быть тысяча таблица. а потом что бд может быть много. и вот такой пример приводит))
AG
Не а завидую я этому чуваку
I
Это видимо какой пример для максимальной наглядности проблемы))