e
ага.
Size: a a a
2021 January 27
AZ
Можно конечно, в зависимости от того на чем и какой Спарк у вас может потребоваться какое-то количество опс-нянек
AZ
На Databricks SQL Analytics нянек надо мало, на ванильном плохо настроенном кластере нянька нужна на каждого пользователя
АЖ
У спарка же одбц платный
EV
Народ а какой сценарий использования SparkSQL + ODBC. Туда можно пускать пользователей ? или это только для разработчиков ?
Мы готовим промежуточные модельки (таблицы в hive) через dbt и Spark Thrift Server (у нас EMR)
EV
потом сервим все это хозяйство с помощью Presto так как для BI он пошустрее
e
ME
LT
только TODO вычищу
+
NN
Прочитал как Microsoft Spark и офигел)
:D
АЖ
ну есть вот такое
https://www.microsoft.com/en-us/download/details.aspx?id=49883
https://www.microsoft.com/en-us/download/details.aspx?id=49883
А, ну он тоже формально не для са/емр/хадупа
GP
Ньюслеттер сегодня:
Спарк под 2.13 уже собирается, снепшот можно попробовать https://repository.apache.org/content/repositories/snapshots/org/apache/spark/spark-core_2.13/3.2.0-SNAPSHOT/
2.13 релиз пока лочится багом компилятора https://github.com/scala/bug/issues/12038
Спарк под 2.13 уже собирается, снепшот можно попробовать https://repository.apache.org/content/repositories/snapshots/org/apache/spark/spark-core_2.13/3.2.0-SNAPSHOT/
2.13 релиз пока лочится багом компилятора https://github.com/scala/bug/issues/12038
2021 January 28
AS
Прочитал как Microsoft Spark и офигел)
С учетом того сколько ms вложил в датабрикс возможно все
Ad
Who can help me
AB
A dn
Who can help me
Whats problem?
MB
Всем привет!
MB
Подскажите, висящие запросы в ожидании timeout'a это особенность архитектуры импалы или косяки разрабов которые этот запрос отправляют?
KS
Бояре, встала задача интеграции пайплайнов с оркестрацией и билдами. Первой вехой в моём роадмепе стоит освоение CircleCI. Подскажите что почитать, желательно в контексте DE. Компания оплачивает мне доступ в O'Reilly online и другие системы обучения.
DZ
Собсна что в чем проблема с CI ? Собираешь доставляешь