Size: a a a

2020 April 02

D

Dasha in Data Engineers
George
а сам "CREATE TABLE" есть?
Ага
источник

G

George in Data Engineers
Не, стопэ
источник

D

Dasha in Data Engineers
И просто SELECT тоже выдает такой же результат
источник

G

George in Data Engineers
Если раньше отрабатывало норм, значит, что-то изменилось
источник

G

George in Data Engineers
"mismatched input 'FROM' expecting {')', ','}(line 6" - хотя давай сам DDL
источник

D

Dasha in Data Engineers
George
Если раньше отрабатывало норм, значит, что-то изменилось
Только если в формате “оно само” - то есть что-то слетело
источник

D

Dasha in Data Engineers
%sql является alias для %jdbc?
источник

D

Dasha in Data Engineers
Отдельно такого интерпретатора не представлено, однако ранее он работал как %jdbc.sql
источник

D

Dasha in Data Engineers
Сейчас же отдаёт: Caused by: org.apache.spark.sql.AnalysisException: Table or view not found
источник

D

Dasha in Data Engineers
Почему это может быть?
источник

D

Dasha in Data Engineers
Боюсь, что может настать момент, что и %jdbc.sql слетит без видимых причин, и тогда вообще селекты через интерфейс гонять нельзя будет)
источник

PA

Panchenko Andrey in Data Engineers
Dasha
Сейчас же отдаёт: Caused by: org.apache.spark.sql.AnalysisException: Table or view not found
Так тут же не находит объект.
Эта таблца точно существует?
источник

D

Dasha in Data Engineers
Именно, через %jdbc.sql её видит
источник

АЖ

Андрей Жуков in Data Engineers
Dasha
%sql является alias для %jdbc?
нет
источник

АЖ

Андрей Жуков in Data Engineers
%sql = %spark.sql
источник

ME

Max Efremov in Data Engineers
Кто-то сталкивался с ошибкой?
Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when the referenced columns only include the internal corrupt record column (named _corrupt_record by default).
источник

ME

Max Efremov in Data Engineers
Простое добавление .cache() проблемы не решило(
источник

АЖ

Андрей Жуков in Data Engineers
Max Efremov
Кто-то сталкивался с ошибкой?
Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when the referenced columns only include the internal corrupt record column (named _corrupt_record by default).
так запусти .show(), там небось все прочиталось криво
источник

ME

Max Efremov in Data Engineers
Андрей Жуков
так запусти .show(), там небось все прочиталось криво
Да, сейчас пытаемся понять, на каких файлах упало, потестить.
источник
2020 April 03

АС

Артур Семенов in Data Engineers
привет, есть таблица, в которой есть поле с тектом (ранее это был большой json), также есть тхт-файл, содержание котрого "Слово - цифра", как проверить наличие слов из текстового файла в поле текст из json'a и вывести в отдельный столблец сумму цифр?
источник