#hive3 #spark
есть супертупой вопрос, который слабо гуглится
создают managed таблицу в Hive3 через spark sql (через зеппелин)
create table table_name stored as orc as select *.....
она создается, я вижу по ее пути папку /base_0000000/
в ней видимо одну партицию 00000000_0

но при попытке прочитать обратно через %sql я получаю пустой датафрейм...
может кто знает что это?? почему можно записать и нельзя прочесть??

А вы пробовали читать сам файл, смотреть что внутри него есть данные?

там данные есть, надо через orcdump , через - cat -text такое себе) но видно кусочки данных

Вопрос - стоит ли городить бигдату ради 120 гиг. В память одного сервера влазит вроде

а вообще вполне себе гуглится:
https://github.com/qubole/spark-acid
https://issues.apache.org/jira/browse/SPARK-16996

норм

спасиб

Привет. Есть специфический вопрос к пользователям GKE. Мы с коллегой тестим Dataflow. Есть в гугле там же (тот же проект, регион) в дефолт нетворке кафка с private и external IP. в пйаплайне запускается kafka-consumer. Так вот он успешно коннектится на External IP kafka, а на Internal - никак. Пробовала ключ no_use_public_ips - никакой разницы. такое ощущение, что до вызова pipeline.run на воркерах оно проверяется на cloudshell'e, который доступа к internal network не имеет. Если кто сталкивался с подобными, помогите советом :)

Ее никто и не городит.

Вопрос был только про кэш горячих данных

Кеш - кв? Просто непонятно откуда Игнит. Тот же хбейз достаточно быстро отдает кв. Или требования меньше 50мс?

Нет, не кв. Доступ не только по ключу может быть. Оттого и игнит. В феникс и так уже долбят и ему плохо от этого

Про Инфосистемы Джет у кого-нить есть инфо? Насколько они грамотны в части администрирования хадупа?

это большая контора, вот и весь ответ

^ это типа «свершилось», или ещё нет?

См фикс вершн

женкинс ранается и юнит тесты проходят, но им нужно больше; все только в мастере

ясно, ещё подождём

а то игнит не кв….