A
вообще стабильная схема в живой системе это скорее миф, чем реальность
Size: a a a
2021 February 10
AZ
С первым согласен, а вот с тащить новые поля это точно так? что-то у меня сомнения.
Это должно быть управляемым, у меня много было проектов где до среднего слоя (curated data) мы тащили новые поля, а дальше был обычный tolerant reader, но такая возможность должна быть
AZ
вообще стабильная схема в живой системе это скорее миф, чем реальность
Золотые слова
A
и каждый делает свои костыли вокруг как её валидировать и изменять
T
вообще стабильная схема в живой системе это скорее миф, чем реальность
+++
S
Это должно быть управляемым, у меня много было проектов где до среднего слоя (curated data) мы тащили новые поля, а дальше был обычный tolerant reader, но такая возможность должна быть
А ну тоесть это как опция для отдельных случаев, просто зачастую проработка пайплайнов которые могут протягивать новые поля, это как-то очень не просто. И я прям сразу говорю что изменение схем мы обрабатываем без проблем, а вот автопротягивание, это отдельная фича и вы уверены что она вам нужна? вот и смутился.... Спасибо за пояснение
AZ
В датастейдже причём такое есть, automatic column propagation, но там прибито гвоздями с csv и мейнфреймовым форматам
e
насколько оправданы подходы
- упаковка фичей (часто меняющихся полей) в json
- или разворачивание их в строки (unpivot)
?
- упаковка фичей (часто меняющихся полей) в json
- или разворачивание их в строки (unpivot)
?
A
всё зависит где и как упаковываются/распаковываются
сталкивался и с таким
но вот менеджить это отдельное удовольствие
сталкивался и с таким
но вот менеджить это отдельное удовольствие
A
нужен будет специальный квалити менеджер
NN
нужен будет специальный квалити менеджер
Недешевое удовольствие
AZ
насколько оправданы подходы
- упаковка фичей (часто меняющихся полей) в json
- или разворачивание их в строки (unpivot)
?
- упаковка фичей (часто меняющихся полей) в json
- или разворачивание их в строки (unpivot)
?
Зависит от того кто и как потребляет их
SK
Всем привет, не поскажите какие конфиги для spark session нужно передавать, что бы из docker контейнера подключитсья через pyspark к кластеру спарка? (что бы заменит хост нейм докеровский, на машинный к которому сможет yarn подключится, контейнер тестовый, прокинуть порты любые могу)
AC
AC
AC
Коллеги , а есть кто в этих темах ?
ПБ
что значит встаёт?
клоудера же сразу всё с собой приносит
клоудера же сразу всё с собой приносит
Я поставил cloudera 6.3.1. Через paracels . Hive в ней 2.1.1. Хочется hive 3. Отсюда и вопрос )
AG
Господа а как правильно понимать Task Time (GC Time) из Spark UI?
AG
Это сумма времени выполнения всех тасок на екзекуторе?
AG
А GC Time сумма времени сколько каждая таска мусор чистила?