Size: a a a

2020 January 20

AZ

Anton Zadorozhniy in Data Engineers
но про HTAP придется забыть в таком сэтапе
источник

DG

Denis Gabaydulin in Data Engineers
Дело не в какой-то там огромной производительности на одну машину. Просто хочу например хранить макс. количество данных в базе, а не только профили пользователей.

Ручной шардинг требует много работы. Ручная балансировка, решардинг и слой в приложениях. Большие парни даже делают под это свои супер инструменты (например Uber, кажется Dropbox).

Долгое время nosql был ответом. Он отлично скейлится. Но у него неудобная модель и пляски с консистентностью (я долгое время хранил основную часть данных в Cassandra и там приходилось применять всякие трюки в схеме и app code). Потом пришел в одну компанию, а там парни сделали транзакции сбоку от Cassandra, стало поудобнее.

Ну а потом, я узнал про newsql.
источник

A

Alex in Data Engineers
Так приходим к выводу что newsql это не про скорость а про размер? :)
источник

DG

Denis Gabaydulin in Data Engineers
Почему? Что не так со скоростью-то?)
источник

AZ

Anton Zadorozhniy in Data Engineers
видимо прежде всего про размер, потом целостность, а потом скорость (что вполне логично)
источник

A

Alex in Data Engineers
Denis Gabaydulin
Почему? Что не так со скоростью-то?)
Ваш первый абзац
источник

A

Alex in Data Engineers
И вообще сообщение
источник

A

Alex in Data Engineers
Anton Zadorozhniy
видимо прежде всего про размер, потом целостность, а потом скорость (что вполне логично)
Да, но это почти с любой же базой

Целостность, потом размер, потом скорость

Причём дойдя до скорости начинаем жертвовать целостностью
источник

AZ

Anton Zadorozhniy in Data Engineers
если что то я всеми руками за newsql, пусть цветут все цветы, но я точно не могу поддержать что newsql это однозначное улучшение классических решений, это просто другой набор компромиссов
источник

A

Alex in Data Engineers
Согласен
источник

AZ

Anton Zadorozhniy in Data Engineers
например вот это возвращение хранимок я никак не могу принять как что-то хорошее, вроде бы все обожглись этим в 90-ых и начале нулевых, а теперь снова продвигают как the best thing since sliced bread
источник

AZ

Anton Zadorozhniy in Data Engineers
наверное PTSD у меня :(
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Да, но это почти с любой же базой

Целостность, потом размер, потом скорость

Причём дойдя до скорости начинаем жертвовать целостностью
ну а если разложить приложение кусочки то получится что для чего-то большого целостность не очень нужна.. так к гибридам и приходят..
источник

DG

Denis Gabaydulin in Data Engineers
Для меня newsql это безусловное улучшение, потому что программисты перестают заниматься инфраструктурой и "упираться в базу", а начинают писать код, нужный бизнесу. Инфраструктура это дорого)
источник

A

Alex in Data Engineers
Anton Zadorozhniy
например вот это возвращение хранимок я никак не могу принять как что-то хорошее, вроде бы все обожглись этим в 90-ых и начале нулевых, а теперь снова продвигают как the best thing since sliced bread
У нас все запросы в хранимках, так как однажды кто-то накосячил с запросом теперь вся работа с базой через хранимки :( ад-ад
источник

A

Alex in Data Engineers
Denis Gabaydulin
Для меня newsql это безусловное улучшение, потому что программисты перестают заниматься инфраструктурой и "упираться в базу", а начинают писать код, нужный бизнесу. Инфраструктура это дорого)
Хз, в крупных компаниях они и раньше не занимались, а сейчас devops просто поддерживают другой продукт, ничего не поменялось :)
источник

AZ

Anton Zadorozhniy in Data Engineers
Denis Gabaydulin
Для меня newsql это безусловное улучшение, потому что программисты перестают заниматься инфраструктурой и "упираться в базу", а начинают писать код, нужный бизнесу. Инфраструктура это дорого)
ну тут вы опять передергиваете, программистам нужно выяснить "особенности" конкретного движка (так же как и раньше) и учитывать его, иначе они опять "упрутся в базу"
источник

AZ

Anton Zadorozhniy in Data Engineers
просто скорее есть группа программистов которые нехотят ничего решать, а хотят просто SQL с одним подключением, и для них это наверное лучше чем было, но они также вероятно не буду знакомиться с "особенностями" и снова здорово..
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
У нас все запросы в хранимках, так как однажды кто-то накосячил с запросом теперь вся работа с базой через хранимки :( ад-ад
в принципе с этим можно жить, но дисциплина должна быть армейская..
источник

DG

Denis Gabaydulin in Data Engineers
Anton Zadorozhniy
ну тут вы опять передергиваете, программистам нужно выяснить "особенности" конкретного движка (так же как и раньше) и учитывать его, иначе они опять "упрутся в базу"
Выяснить, разобраться, провести бенчмарк для своего ворклоада, это необходимо. Но это не идет ни в какое сравнение с тем сколько стоит разрабатывать и поддерживать свое кастомное решение по шардингу или даже разработка своей базы.
источник