Ребят, кто-нибудь сталкивался парсингом жсона через Spark SQL? Необходимо распарсить жсон, который хранит внутри себя массив. Распарсить надо именно через SQL, без кода на жаве/скале. В интернетах нашел только через костыль в виде сплита по "},{", ну а дальше в массив и explode.
Можно вроде в pandas, но я кроме flattened json не пробовал