N
Ну так не стало понятнее. Как это увидеть на уровне полей класса ?
Size: a a a
2019 February 19
PK
Nikolay
Ну так не стало понятнее. Как это увидеть на уровне полей класса ?
Я реально не догоняю вопрос. Интерфейс класса можно почитать здесь https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.Dataset
AI
По-моему в этом чатике уже спрашивали нечто подобное.
GP
наверное надо начать с самого начала знакомство со спарком.
что есть rdd? и как операции на них проводятся; джойны, мапы, и т.п.
что происходит при редьюсе с данными
ну и потом уже прочитать что такое датасеты, скуль в спарке, ну и как происходят там все те же операции что можно делать и с рдд.
по вопросу не ясно как отвечать; на сколько ТС знает то о чем спрашивает
что есть rdd? и как операции на них проводятся; джойны, мапы, и т.п.
что происходит при редьюсе с данными
ну и потом уже прочитать что такое датасеты, скуль в спарке, ну и как происходят там все те же операции что можно делать и с рдд.
по вопросу не ясно как отвечать; на сколько ТС знает то о чем спрашивает
GP
а так есть попсовая на половину маркетинговая статья от датабрикс https://databricks.com/blog/2016/07/14/a-tale-of-three-apache-spark-apis-rdds-dataframes-and-datasets.html
GP
первая ссылка в гугле по rdd vs dataset у меня
GP
^ да можно по таким запросам побольше погуглить по ключевым словам
2019 February 20
К
Всем привет, EMR кластер с spark и hive, создаю таблицу через spark shell, но в hive shell ничего нет и наоборот, в Hue тоже самое, разные метасторы…
Пробовал добавлять
Пробовал добавлять
hive.metastore.warehouse.dir в /etc/spark|hive/conf/hive-site.xml и ребутать сервисы - результата не дало. куда копать???ЕГ
Ещё есть hive.metastore.uris
К
Евгений Глотов
Ещё есть hive.metastore.uris
там дефолтное
thrift://ip-172-61-11-168.dev.local:90832019 February 22
K
@tenKe скажи пожалуйста, у вас структурный стриминг с несколькими query и разыми тригеррами адекватно работает?
t
не пробовал так в рамках одной джобы
t
в смысле разные триггеры не пробовал
t
что, плохо работает?
K
) да я думаю сделать пока что
PK
Хоть и не меня спросили, но нормально работает, даже в той самой первой версии, когда питонье API было скрыто и содержало опечатку в импорте.)
2019 February 24
С
Задам глупый вопрос, в спарке можно вызвать системный календарь с возможностью выбора последних 6 месяцев в дневной разбивке?) по аналогии sys_calendar в терадате или надо создавать отдельный датафрейм с указанием нужных дат?
ЕГ
В одной колонке current_date, в другой explode(range(-183, 0)), потом add_days)
С
О!) круто, спасибо Женя :)
ЕГ
👌