Е
читай весь тред пожалуйста
Size: a a a
2020 February 13
A
про то и речь. это фигня, ни о чём совсем
Поэтому и говорю - надо знать детали, чтобы что-то конкретное предлагать )
K
у меня есть клиент с 3 ПБ в редшифте хранилищем, в принципе не жалуются, мб SQL научился масштабироваться?
Богатый :)
AE
Anton Kovalenko
Поэтому и говорю - надо знать детали, чтобы что-то конкретное предлагать )
а с геодатой всегда проблемы, не было бы их, не пришлось бы столько велосипедить. в гисах всегда куча всякой самописной гадости
A
а с геодатой всегда проблемы, не было бы их, не пришлось бы столько велосипедить. в гисах всегда куча всякой самописной гадости
Яндекс.Такси использует сразу все 3 компонента, которые и на нашем митапе рассматриваются. Возможно чем-то одним в таких задачах и не обойтись
AZ
Богатый :)
так столько данных появляются не от сырости, бизнес деньги приносит
AE
хм, чё-то в гринпламе постгис какой-то сильно дремучий вообще. чуть ли не десятилетней давности, ужс
AZ
думаю вам сразу надо смотреть на инмемори, и писать сверху свой сервис
S
так а нужна там база данных то вообще?
AE
мну озадачилсо.
AZ
Всем привет. Подскажите, пожалуйста, метаданные для управлением загрузок pipeline и историю загрузок по опыту лучше хранить в отдельной СУБД или прямо в HDFS с Hive над ним. Сейчас используется Hadoop, загрузка через Spark.
лучше в отдельной базе, можно объединять например престой
AE
спсибо всем. знаю теперь, что напишу коммерсам в ответе для турецкого султана...
A
хм, чё-то в гринпламе постгис какой-то сильно дремучий вообще. чуть ли не десятилетней давности, ужс
Это ни о чем не говорит )) GP - это честное MPP. Задумывалась как софтверная Teradata
AZ
Anton Kovalenko
Это ни о чем не говорит )) GP - это честное MPP. Задумывалась как софтверная Teradata
терадата это софтверная терадата))
AE
...сделаем свою терадату. с нардами и поэтэссами.
AE
но карманный вариант.
A
хм, чё-то в гринпламе постгис какой-то сильно дремучий вообще. чуть ли не десятилетней давности, ужс
Если с GP до этого не сталкивались и опыта нет - лучше почитать и послушать знающих людей. Если что, вопросы можно тут задавать:
https://t.me/greenplum_russia
https://t.me/greenplum_russia
AE
когда до этого ещё дойдёт. если и будет делать, то сначала прототип на существующем велосипеде, потом уж реально подбирать чт-то для желаемого времени отклика
AE
и вряд ли я сам. наймём кого-нить. если найдём вообще
А
в оракле с 12 версии есть шардирование серверов, если есть однозначно данные разбить на шарды, то можно говорить что он горизонтально масштабируется