AS
Вы в консалтеры собираетесь устраиваться? Они любят такие формулировки, у них даже чемпионаты по кейсам проходят :)
Size: a a a
2021 June 22
R
Если бы я знал)
R
По штатке DE :)
2021 June 23
C
ibtoey mnapt has been banned! Reason: CAS ban.
KS
Господа пацаны, подскажите пожалуйста. Читаю 700мб json файл в спарке, стандартным способом:
При начальном подсчете показывает, что есть только одна запись, которую я делаю explode и получаю всего 1000 записей. Потом сохраняю в паркет, который весит всего 208кб. Не пойму где остальные данные.
df = spark.read.json(src_path)
При начальном подсчете показывает, что есть только одна запись, которую я делаю explode и получаю всего 1000 записей. Потом сохраняю в паркет, который весит всего 208кб. Не пойму где остальные данные.
KS
Такое ощущение, что спарк читает только часть данных.
RI
не факт, если json не запакованный, и компакт, то вполне. можешь попробовать грепом подсчитать количество вхождений в json и сравнить
KS
Визуально запись не больше 10кбайт
RI
не больше 10 кб из 700 мб?
SS
Может там джесон поломанный и он сохраняет только то что распарсить смог?
KS
Вот и я так думаю, но спарк ведь должен ругаться на поломанный json, или нет?
KS
Нет, примерно 1000 записей по 10кб, хотя входящий файл 700МБ
KS
%wc -l stream.json
20651039 stream.json
20651039 stream.json
SS
Не обязательно, от парсера зависит и его настроек.
A
Посмотрите схему которую он задетектил, проверьте что она совпадает с тем что есть в самом json, как он сформирован
Я бы начал с того что какой мегабайт первый вытянул и отформатировал, посмотрел совпадает ли с моей схемой или нет
Я бы начал с того что какой мегабайт первый вытянул и отформатировал, посмотрел совпадает ли с моей схемой или нет
A
Насколько помню спарк схему по первым записям выводит
A
Может последующие в другой схеме и он их скипает
KS
Спасибо большое
KS
Я выдернул одну запись и сохранил в файл, получилось 3.8кб, то есть должно быть около 197 тысяч записей.
Скорее всего действительно, схема берётся из начала и остальные данные игнорятся.
Скорее всего действительно, схема берётся из начала и остальные данные игнорятся.
A
https://spark.apache.org/docs/latest/sql-data-sources-json.html
Note that the file that is offered as a json file is not a typical JSON file. Each line must contain a separate, self-contained valid JSON object.
Это для чего я предложил посмотреть что внутри
Note that the file that is offered as a json file is not a typical JSON file. Each line must contain a separate, self-contained valid JSON object.
Это для чего я предложил посмотреть что внутри