+ к вопросу про excel.

Его легче перевести в таблицу без потери типов

Легче сделать .write.jdbc без поетри типов

Нужно больше удаления гланд через ж.

Доброго дня!  
Пытаюсь вытащить из Hbase определенную строку по ключу, в hsbase shell все работает но через спарк ничего не выводится. При этом в физ плане запроса присутствует  PushedFilters: *EqualTo(id, 12345...  
Если делаю после load  persist, тогда работает но очень долго сохраняет на диск, таблица весит терабайты.
Конектор hortonworks, в доке написано что должен поддерживать partition pruning, predicate pushdown, Scanning and BulkGet, etc.

покажи код

в hbase нет партиций.

Не надо делать персист на терабайты, надо сохранять напрямую в хдфс и потом читать оттуда

Это будет в большинстве случаев в разы быстрее

А чес персист отличает от схранения в hdfs? Это не одно и тоже?

https://sparkbyexamples.com/spark/spark-difference-between-cache-and-persist/

Конехтор видимо делает не гет по ключу, а тащит все внутрь и там пытается фильтровать.

Объёмом. Персист - это распакованный в память, а потом сериализованный дф
Сохранение - это качественно сжатый паркет/орк

Плюс для персиста спарку нужно поддерживать структуры, чтоб его можно было считать, где что лежит, и т д

А, понял, две проблемы по цене одной)

Тем, что это разные вещи. Персист будет пытаться удержать это в памяти и спилить на диск, если не влезет. Хдфс там, насколько я понимаю, вообще не задействован.

Персист нужен для исключения пересчётов, а сохранение-для длительного хранения.

пока да
но после ухода в кубик всякие кеши/шафлы предлагается сбрасывать на не диск а в hdfs/s3/другой распределённый сторейдж

но пока работа ещё в процессе

Да он и так скидывается на хдфс диски роллом

Если не выделены отдельно темп диски под шафл