Телеграмм чат группы hadoopusers страница 1455

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 July 17

A

Alex in Data Engineers

Он отработает батч быстро, дальше будет ждать следующей итерации

источник

11:45пожаловаться #1

Н

Никита in Data Engineers

Всем привет, у нас cloudera 5.10. Поставлен Sqoop 1.99.5.
На ноде, там где он установлен, cli такой же как у Sqoop 1.
Когда ставим клиент на своей тачке, cli как у Sqoop 2, очень не удобный.

Вопрос: как поставить клиент от Sqoop 1?

источник

16:03пожаловаться #2

AZ

Anton Zadorozhniy in Data Engineers

Всем привет, у нас cloudera 5.10. Поставлен Sqoop 1.99.5.
На ноде, там где он установлен, cli такой же как у Sqoop 1.
Когда ставим клиент на своей тачке, cli как у Sqoop 2, очень не удобный.

Вопрос: как поставить клиент от Sqoop 1?

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_mc_sqoop1_client.html

источник

16:11пожаловаться #3

Н

Никита in Data Engineers

не, у нас стоит Sqoop2, но cli у него, как у sqoop 1
да вот так

источник

16:12пожаловаться #4

Н

Никита in Data Engineers

источник

16:13пожаловаться #5

AB

Alexey Belov in Data Engineers

Всем привет, у нас cloudera 5.10. Поставлен Sqoop 1.99.5.
На ноде, там где он установлен, cli такой же как у Sqoop 1.
Когда ставим клиент на своей тачке, cli как у Sqoop 2, очень не удобный.

Вопрос: как поставить клиент от Sqoop 1?

Может вопрос немного в сторону, а Вам точно нужен 1.99.5, а не 1.4.6 или 1.4.7? Цитата: Latest stable release is 1.4.7 (download, documentation). Latest cut of Sqoop2 is 1.99.7 (download, documentation). Note that 1.99.7 is not compatible with 1.4.7 and not feature complete, it is not intended for production deployment.
https://sqoop.apache.org/

Apache Download Mirrors

Home page of The Apache Software Foundation

источник

16:15пожаловаться #6

Н

Никита in Data Engineers

Да, к сожалению, cloudera 5.10 позволяет только эту версию поставить

источник

16:15пожаловаться #7

AB

Alexey Belov in Data Engineers

Да, к сожалению, cloudera 5.10 позволяет только эту версию поставить

У нас 5.14.2, там в поставке идёт 1.4.6 с патчами Cloudera. http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.releasenotes.html

источник

16:18пожаловаться #8

AB

Alexey Belov in Data Engineers

В 5.8.3 аналогично, скорее всего в 5.10 тоже.

источник

16:18пожаловаться #9

Н

Никита in Data Engineers

я просто шокирован тем, что на тачке, где он установлен я могу написать:
sqoop import --connect jdbc:postgresql://0.0.0.0.0.0.0.0:000/mydb --table company --username myuser --password mypass --target-dir /user/asd/asd

а на своей тачке ставлю apt get sqoop2-client
и там совсем другой шелл

источник

16:19пожаловаться #10

SK

Sergey Kabanov in Data Engineers

я просто шокирован тем, что на тачке, где он установлен я могу написать:
sqoop import --connect jdbc:postgresql://0.0.0.0.0.0.0.0:000/mydb --table company --username myuser --password mypass --target-dir /user/asd/asd

а на своей тачке ставлю apt get sqoop2-client
и там совсем другой шелл

попробуйте собрать из исходников

источник

16:20пожаловаться #11

Н

Никита in Data Engineers

вот так и делаю сейчас, больно ппц

источник

16:21пожаловаться #12

AZ

Anton Zadorozhniy in Data Engineers

не, у нас стоит Sqoop2, но cli у него, как у sqoop 1
да вот так

сервис Sqoop 1 client вроде и дает обычный скуп, вы его можете добавить?

источник

16:23пожаловаться #13

Н

Никита in Data Engineers

В 5.8.3 аналогично, скорее всего в 5.10 тоже.

Да, спс, напишу девопсам

https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_510.html

источник

16:27пожаловаться #14

Н

Никита in Data Engineers

Anton Zadorozhniy

сервис Sqoop 1 client вроде и дает обычный скуп, вы его можете добавить?

Лично у меня нет, мб прав не хватает и не вижу

источник

16:28пожаловаться #15

AZ

Anton Zadorozhniy in Data Engineers

надо быть Full Admin

источник

16:33пожаловаться #16

神

神風 in Data Engineers

Всем привет. Использовал ли кто-нибудь snakeyaml в своих spark джобах? Встречались ли с ошибкой парсинга по причине class not found exception?

источник

23:01пожаловаться #17

OB

Oleg Basmanov in Data Engineers

Всем привет. Ребят, скажите такой курс стоящий для становления дата инженером? https://otus.ru/lessons/data-engineer/

Курс по Data Engineering. Запишитесь на курс по организации и предобработке данных

Мы выпускаем после наших курсов крутых специалистов по Data Engineering. Уникальное обучение организации и предобработке данных, с возможностью трудоустройства

источник

23:34пожаловаться #18

В

Вадим in Data Engineers

Всем привет. Ребят, скажите такой курс стоящий для становления дата инженером? https://otus.ru/lessons/data-engineer/

Курс по Data Engineering. Запишитесь на курс по организации и предобработке данных

Мы выпускаем после наших курсов крутых специалистов по Data Engineering. Уникальное обучение организации и предобработке данных, с возможностью трудоустройства

Полно ведь курсов на udemy. За что деньги то платить?

источник

23:45пожаловаться #19

DZ

Dmitry Zuev in Data Engineers

Полно ведь курсов на udemy. За что деньги то платить?

Школа жизни, школа капитанов

источник

23:47пожаловаться #20