Size: a a a

2021 May 13

AE

Alexey Evdokimov in Data Engineers
такая постановка вопроса сбивает с толку. если нужны индексы с точной адресацией и ддл, то зачем юзать бигдату вообще?

просто юзайте более лучшую СУБД
источник

AE

Alexey Evdokimov in Data Engineers
бигдата скорее про безразмерность и возможность проитерировать неитерируемое, чем про индексы
источник

D

Dmitry in Data Engineers
скорее про то как делать неэффективно то что можно было бы делать эффективно но за много много денег
источник

AZ

Anton Zadorozhniy in Data Engineers
это не изобретение колеса, это адаптация к новым инфраструктурным и экономическим реалиям: если раньше крутящийся диск в сервере был самым главным хранилищем, то теперь это объектное хранилище
источник

AZ

Anton Zadorozhniy in Data Engineers
просто потому что индексы это удобно: вместо того чтобы дополнительно выгружать/поддерживать копию в KV можно просто определить вторичный индекс, все остальное сделает СУБД

ну и потом индексы разные бывают: sparse, aggregate. MV/join index

много систем обходятся без индексов, но когда они есть - это удобно
источник

AE

Alexey Evdokimov in Data Engineers
очень спорно. есть ворклоады на которых вообще никакая база не справляется, ни за сколько денег
источник

AE

Alexey Evdokimov in Data Engineers
кроме случаев, когда невозможно определить "естественный" индекс, так оно
источник

AZ

Anton Zadorozhniy in Data Engineers
СУБД это такие же продукты как смартфон, клавиатура или монитор, они делаются с прицелом на конкретную аудиторию, нет продукта который устроит всех
источник

AZ

Anton Zadorozhniy in Data Engineers
более того, история знает примеры СУБД где куча компонентов были pluggable (не через форк, а через формальный API): как хранить данные, типы индексов, ветки оптимизатора, что и как можно делать в хранимках

и история показала что такая гибкость мало кому нужна
источник

AE

Alexey Evdokimov in Data Engineers
ну ещё бы
источник

AE

Alexey Evdokimov in Data Engineers
всем же надо чтобы из коробки фжух и магия
источник

K

KrivdaTheTriewe in Data Engineers
имено
источник

K

KrivdaTheTriewe in Data Engineers
ТРИЗ во всей красе
источник

AZ

Anton Zadorozhniy in Data Engineers
индексы идеально реализуют такое требование)
источник

K

KrivdaTheTriewe in Data Engineers
как только мы перестанем думать , о том как что-то устроено внутри, мы сможем заниматься другими делами)
источник

K

KrivdaTheTriewe in Data Engineers
Датаинженер  современный , имхо, временная профессия
источник

AE

Alexey Evdokimov in Data Engineers
*идеальные индексы.

только их не бывает.
источник

AZ

Anton Zadorozhniy in Data Engineers
вроде бы есть промежуточные варианты между "никаких индексов" и "идеальные индексы"
источник

AZ

Anton Zadorozhniy in Data Engineers
все станут МЛ инженерами
источник

AE

Alexey Evdokimov in Data Engineers
и будут в телевизоре
источник