Size: a a a

2019 June 25

A

Alex in Data Engineers
ну …. а как проверяете что не пропало =) может просто “нету и нету”
источник

GG

George Gaál in Data Engineers
Alex
ну …. а как проверяете что не пропало =) может просто “нету и нету”
+100
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Dmitriy
евенчуалли - это значит, данные появятся в течение некоего промежутка времени
если ничего не случится...
источник

S

Stanislav in Data Engineers
надеждами и живем, чо уж там
источник

A

Alex in Data Engineers
верой =)
источник

LV

Lena Varlamova in Data Engineers
Alex
ну …. а как проверяете что не пропало =) может просто “нету и нету”
Вероятность того, что мы бы за все время не заметили, стремится к нулю.  Но, думаю, если критичные данные, то можно доп проверки нафигачить.
источник

LV

Lena Varlamova in Data Engineers
Ну или возможно для супер критичных данных и не подойдет кх, ок. Но про 5 процентов потерь в жизни не поверю
источник

LV

Lena Varlamova in Data Engineers
Мы, кстати, только батчами вставляем в кх. Может, поэтому потерь нет или они минимальны
источник

OO

Oleksandr Olgashko in Data Engineers
в кластере (раньше, сейчас мб уже ок) пропадало, репликация иногда глючила
источник

АЖ

Андрей Жуков in Data Engineers
https://spice-agency.timepad.ru/event/1008570/ - у нас тут со Спайс ИТ митапчик намечается. Заходите, ежели чо 🙂
источник

O

Oleg in Data Engineers
Кх быстр, но его ограничения в плане написания запросов сводят все достойнства на нет, а почему  greenplum никто не предложил?
источник

GG

George Gaál in Data Engineers
Например, потому что
1. Он на базе старой версии пг? Хотя, наверное, его правильнее рассматривать как независимый продукт, а не нечто на базе ПГ
2. Он существенно сложнее в установке, чем кх. Вообще треш какой-то. Докера нет
источник

GG

George Gaál in Data Engineers
И как с ним играться? Как будто гринплам сделали люди даже не из 2000-х, а из 90-х
источник

S

Stanislav in Data Engineers
Oleg
Кх быстр, но его ограничения в плане написания запросов сводят все достойнства на нет, а почему  greenplum никто не предложил?
потому что:
Коллеги, какую БД посоветуете для быстрых селектов по большим объёмам данных(до 15-20 терабайт в несжатом виде) ?
Селекты с группировками и филтрациец, практически без джойнов.
источник

S

Stanislav in Data Engineers
spark sql так то
источник

OP

O. Petr in Data Engineers
Кх, если джоины не сильно нужны )
источник

O

Oleg in Data Engineers
George Gaál
Например, потому что
1. Он на базе старой версии пг? Хотя, наверное, его правильнее рассматривать как независимый продукт, а не нечто на базе ПГ
2. Он существенно сложнее в установке, чем кх. Вообще треш какой-то. Докера нет
Конечно, как отедльный продукт, докеризовать несложно самому, если нужно, т.к подохреваю что каждыц инстанс будет standalone устанавливаться на сервер
источник

O

Oleg in Data Engineers
На спарке можно что угодно сделать, один минус - весьма не быстр
источник

LV

Lena Varlamova in Data Engineers
Oleg
Кх быстр, но его ограничения в плане написания запросов сводят все достойнства на нет, а почему  greenplum никто не предложил?
Это про max_query_size?
источник

GG

George Gaál in Data Engineers
Stanislav
потому что:
Коллеги, какую БД посоветуете для быстрых селектов по большим объёмам данных(до 15-20 терабайт в несжатом виде) ?
Селекты с группировками и филтрациец, практически без джойнов.
Мне кажется, что кх зайдет норм
источник