А хайв какой?

1, 2, 3?

По моему 2

LLAP с коннектором?

Такс, пошли непонятные аббревиатуры для меня 🤷‍♂️

Как чтение производится, просто spark.table(...)?

spark.sql()

А внутри 3000 строк эскуэля поверх этой вьюхи?

Насколько большой план запроса?

Я писал запросы, которые по 15 минут строятся

На 3500 колонок в аутпут

Нет, не сказать что большой, 3 джойна и 4 колонки.

Здравствуйте. Подскажите пожалуйста информативные курсы или сайты для подробного изучения PySpark

Да чего мелочиться, google.com

такая себе информативность

Там норм доки + сорцы

По другому подробно не изучить

Физтех-школа прикладной математики и информатики МФТИ проводит однодневный интенсив по работе с файловой системой HDFS. Дата: 12.01

HDFS это часть стека Hadoop. Но и отдельно от остальных элементов стека она активно используется  т.к. обеспечивает распределенность и отказоустойчивость в хранении данных.

На интенсиве мы:
- поговорим о том что такое большие и маленькие данные и как их можно хранить
- подробно рассмотрим как устроена HDFS и как происходит чтение, запись данных. Как обеспечивается безопасность их хранения.
- поймем где именно и в каком виде система HDFS хранит данные.
- попрактикуемся с различными инструментами (например, Apache HUE) и различными API для работы с HDFS

Интенсив будет полезен как просто интересующимся BigData, так и инженерам / админам, которые работают с Hadoop. Приходите сами, приводите коллег :)
Подробнее см. на сайте интенсива: https://clck.ru/Z98Lc