РА
а так это спарк в кубике
Size: a a a
2019 September 11
РА
тогда ясно
РА
у меня такое было когда куб днс не работал корректно
В
у меня такое ощущение, что @vladkarasyov год назад тоже самое спрашивал
Да, потом все заработало и было нормально.
Но теперь воркеры не видят мастера
Но теперь воркеры не видят мастера
VE
Ребят а у кого то был опыт работы с pyarrow? Сейчас пытался загрузить с помощью с неё файл в hdfs, в итоге файл просто пустой. Если просто hdfs dfs put тот же файл - все нормально.
Загружаю вот так:
Загружаю вот так:
import pyarrow as pa
fs = pa.hdfs.connect()
with open(‘settings.xml’) as f:
pa.hdfs.HadoopFileSystem.upload(fs, ‘/datalake/settings.xml’, f)ЕГ
Можно вроде просто fs.upload
ЕГ
Опен в режиме rb
ЕГ
Может поможет, у меня тоже что-то такое было, по-моему
VE
Евгений Глотов
Может поможет, у меня тоже что-то такое было, по-моему
Помогло, спасибо!)
AZ
Ок. А куда в основном?
ну для загрузки данных у некоторых остался нафаня, для кейса «файлопомойка в даталейк», а так для загрузки какие-нибудь кафка коннекты или адаптеры, для пайплайнов все обычное - узи, эйрфлоу, или энтерпрайзный ETL
AZ
родовая травма кайла была завязка на нафаню, который что угодно только не удачный инструмент оркестрации джобов, а спонсора для развязки движка метаданных с нафаней нам найти не удалось
AZ
в этом смысле ниша «акселератора» когда есть простенький движок метаданных для генерации сквозной связки (загрузка, базовое профилирование, курирование) и она работает на подходящих компонентах - остается пустой, дерзайте))
IG
Ребят, кто-нибудь сталкивался парсингом жсона через Spark SQL? Необходимо распарсить жсон, который хранит внутри себя массив. Распарсить надо именно через SQL, без кода на жаве/скале. В интернетах нашел только через костыль в виде сплита по "},{", ну а дальше в массив и explode.
ЕГ
А эксплоуд это типа чистый эскуэль?
ПФ
Ребят, кто-нибудь сталкивался парсингом жсона через Spark SQL? Необходимо распарсить жсон, который хранит внутри себя массив. Распарсить надо именно через SQL, без кода на жаве/скале. В интернетах нашел только через костыль в виде сплита по "},{", ну а дальше в массив и explode.
А свои udf можно?
IG
если бы было можно, то было бы неинтересно )
IG
LATERAL VIEW explode(from_json(concat('{"jsons":',get_json_object(value, '$.array'), '}'), 'jsons array<string>').jsons) t AS jsonDZ
from_json?
IG
ага, сделаль
GP
LATERAL VIEW explode(from_json(concat('{"jsons":',get_json_object(value, '$.array'), '}'), 'jsons array<string>').jsons) t AS jsonты можешь врапать код как маркдаун в \``` \n тут код \```