RI
есть hdp 2.3, есть spark job'а которая складывает данные через phoenix. job'a работает, а результата нет. При этом ошибок никаких она не отображает. Куда копать?
Попробовать расширить логирование до дебага.
Или подебажить локально.
Size: a a a
2019 August 05
R
НК
не все же гугл, фейсбук, или сбербанк РФ
А что не так с последним?)
AZ
Николай Корсаков
А что не так с последним?)
С ним все прекрасно, это очень крупная организация которой PostgreSQL в качестве аналитического движка подойдет только для очень узких задач (по-моему такой был мой поинт)
S
я видел хранилище на два терабайта данных, по всем правилам, нормально работает на постгре
кто сказал платон, никто не говорил? )
вроде у них самый больше постгре
вроде у них самый больше постгре
K
У чела в чате по гринпламу есть постгре на петабайт. Он рассказывал про него
2019 August 06
OP
Kirill M
У чела в чате по гринпламу есть постгре на петабайт. Он рассказывал про него
Переносили хд петабайтное из пг в гп как раз, да оно может существовать, но основные запросы у аналитиков по паре часов занимали )
В
Переносили хд петабайтное из пг в гп как раз, да оно может существовать, но основные запросы у аналитиков по паре часов занимали )
на какой срез то? Какой обьем?
OP
на какой срез то? Какой обьем?
Хах, извините, но на порядки ошибся, на 20 терабайт, геоданные за 2 года, партиции по дням, день 30гб. А так вроде у поисковых гигантов до 2010 были подобные системы на петабайты.
A
20тб vs 1пб =) а народ уже весь собрался слушать про петабайты
K
Это не тот чел)
AR
у студии Pixar сорцы одного мультипликационного фильма - 5 петабайт
AR
разговаривал с чуваком который для них специальную файловую систему пропиетарную писал
В
у студии Pixar сорцы одного мультипликационного фильма - 5 петабайт
а есть что нибудь где можно почитать про это?
AR
Не, нутрянка
ПФ
https://twitter.com/asm0di0/status/1158637959119278081
quill намного удобнее чем frameless и работает лучше. Но вс равно не работет 😊
quill намного удобнее чем frameless и работает лучше. Но вс равно не работет 😊
K
https://twitter.com/asm0di0/status/1158637959119278081
quill намного удобнее чем frameless и работает лучше. Но вс равно не работет 😊
quill намного удобнее чем frameless и работает лучше. Но вс равно не работет 😊
но это всё равно что удивляться что в джаве типы стираются на этапе компиляции
K
всегда есть rdd api
ПФ
но это всё равно что удивляться что в джаве типы стираются на этапе компиляции
Не, это как писать sql руками
ПФ
И потом удивляться что не работает