ME
Какой баг то?
Ну с медленной вставкой через jdbc
Size: a a a
2020 April 02
ME
Может у вас столбцы особенные какие-то? дайте схему хотя бы
ME
Ну или семпл данных обезличенных, если можно
DZ
Ну с медленной вставкой через jdbc
Думаю тут сочетание нескольких факторов, и дело не в ждбс
DZ
Может у вас столбцы особенные какие-то? дайте схему хотя бы
Да не, string, date, uint uint
АС
Всем привет, чтобы использовать Спарк мне достаточно будет развернуть локально только сам Спарк и использовать его с помощью питона или нужно что-то ещё?
A
Только спарк
ME
осторожнее, а то будет как с трубкой и ватсоном
простите, а что не так с трубкой и ватсоном?
DZ
Ватсон уже не может без трубки
p
это из анекдота, в котором Ватсон пытался отучить Холмса курить трубку
АС
Только спарк
Можно ещё вопрос, т.е. я ставлю Спарк, запускаю его, поверх него запускаю Юпитер и там уже работаю с данными, все верно?
АЖ
Можно ещё вопрос, т.е. я ставлю Спарк, запускаю его, поверх него запускаю Юпитер и там уже работаю с данными, все верно?
можно запускать спарк в локале прямо из жупиитера
R
можно запускать спарк в локале прямо из жупиитера
а если хочется просто потестировать и поиграться, можно взять готовый jupyter с настроенным спарком:
https://hub.docker.com/r/jupyter/all-spark-notebook/
https://hub.docker.com/r/jupyter/all-spark-notebook/
DZ
CH же любит пожирнее, чтобы по 1-10К было на вставке
ну кароч батчем на 100к все и решилось
ME
ну кароч батчем на 100к все и решилось
ну и отличненько:)
A
кто-нибудь настраивал livy + hive с kerberos?
джоба запускается как положена, но вот как туда прокинуть delegation token на хайв?
закидывать keytab на какой hdfs чтобы spark сам логинился не хочется
в oozie креденшиал провайдеры есть и всё ок
а вот с интерактивными сессиями в ливи как-то …..
джоба запускается как положена, но вот как туда прокинуть delegation token на хайв?
закидывать keytab на какой hdfs чтобы spark сам логинился не хочется
в oozie креденшиал провайдеры есть и всё ок
а вот с интерактивными сессиями в ливи как-то …..
E
а через амбари не получилось?
A
вот через него и настроен, но внутри спарк контекста токены только
YARN_AM_RM_TOKEN
HDFS_DELEGATION_TOKEN
YARN_AM_RM_TOKEN
HDFS_DELEGATION_TOKEN
A
более странно что я не найду это даже в самом livy коде
поэтому и возник вопрос “а он вообще в это умеет” ?
поэтому и возник вопрос “а он вообще в это умеет” ?
В
Ребят, я слышал что тут была группа людей которая писала коннектор спарк-кликхаус. Есть у кого нибудь ссылка на репу, если это взлетело?