Телеграмм чат группы hadoopusers страница 2162

Size: a a a

Data Engineers

1792 membersпожаловаться на группу

2020 March 17

Vasily Shabanov in Data Engineers

Может с загрузкой все хорошо, а с выводом из hive проблема?

источник

20:27пожаловаться #1

Nikita Blagodarnyy in Data Engineers

Dmitri Ivanov

Коллеги, подскажите пожалуйста как победить проблему кодировки русских символов при загрузке в hive таблицу из текстового файла командой load data inpath ‘/...путь к файлу’ overwrite into table имя таблицы?
Все перепробовал. Менял кодировку файла и таблицы. Не помогает((

Сделайте external table. Читайте из нее. Там можно задать кодировку. CP1251.

источник

23:01пожаловаться #2

Nikita Blagodarnyy in Data Engineers

DROP TABLE STG_MOVE;
CREATE EXTERNAL TABLE STG_MOVE
( Internal_row_code string ,
Internal_header_code string
bla-bla-bla
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
LOCATION '/RAW_FILES/MOVE'
;
ALTER TABLE STG_MOVE SET SERDEPROPERTIES ('serialization.encoding'='CP1251');

источник

23:05пожаловаться #3

Nikita Blagodarnyy in Data Engineers

Работало уот так уот

источник

23:06пожаловаться #4

KrivdaTheTriewe in Data Engineers

Главное не дропнуть менедж

источник

23:06пожаловаться #5

Nikita Blagodarnyy in Data Engineers

Nikita Blagodarnyy

Работало уот так уот

https://www.youtube.com/watch?v=eb_hEZqu2qY

YouTube

Уот так Уот (Вот это поворот Курицын Edition)

С просторов ВК. Это великолепно. Это должно стать культовым мемом.

источник

23:08пожаловаться #6

2020 March 18

Андрей in Data Engineers

Всем привет. Кстати, про хайв, подскажите, пожалуйста, знаете ли вы решение подобной проблемы:

org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: ParseException line 32:82 Failed to recognize predicate 'DROP'. Failed rule: 'regularBody' in statement

источник

12:29пожаловаться #7

Андрей in Data Engineers

Это запрос в hql скрипте

источник

12:29пожаловаться #8

Roman in Data Engineers

Как будто бы синтаксическая ошибка в скрипте, может ; где забыли или спесимвол какой

источник

12:57пожаловаться #9

Андрей in Data Engineers

Roman

Как будто бы синтаксическая ошибка в скрипте, может ; где забыли или спесимвол какой

Спасибо, разобрался)

источник

14:15пожаловаться #10

2020 March 19

ciplenok57 in Data Engineers

Всем привет. Кто сможет посоветовать материалы по спарку? Книжки, курсы. Все что можно

источник

08:14пожаловаться #11

Nikita Blagodarnyy in Data Engineers

http://spark.apache.org/

spark.apache.org

Apache Spark™ - Unified Analytics Engine for Big Data

Apache Spark is a unified analytics engine for big data processing, with built-in modules for streaming, SQL, machine learning and graph processing.

источник

11:06пожаловаться #12

ciplenok57 in Data Engineers

sticker.webp

(14.67 Кб)

источник

12:12пожаловаться #13

Sergei in Data Engineers

Всем привет, ктонибудь мне может подсказать где найти рабочий пример для spark standalone который мог бы продемонстировать работу одной задачи на нескольких executor, если у меня 2 и более workers? Проще говоря, возможно ли распределение вычисления между несколькими машинами в кластера или к примеру это работает только в yarn?

источник

16:46пожаловаться #14

Andrey Smirnov in Data Engineers

Sergei

в примерах есть вычисление числа пи

источник

16:47пожаловаться #15

Alex in Data Engineers

@smirnov_captain wordcount уже не в моде? =)

источник

17:00пожаловаться #16

Andrey Smirnov in Data Engineers