Size: a a a

2017 February 07

p

ptchol in Data Engineers
Только он их не смержит же сам вроде как
источник
2017 February 10

NK

ID:1373407 in Data Engineers
Где - то ссылку добавили
источник

F

Farruh in Data Engineers
https://geektimes.ru/post/285704/ кажется здеьс
источник

AA

Akceptor AkceptorUA [🇺🇦, IF] in Data Engineers
Есть такой код:
System.setProperty("HADOOP_USER_NAME", "hdfs");
HdfsAdmin admin = new HdfsAdmin(URI.create("hdfs://mycluster.com:8020"), new Configuration());
admin.getInotifyEventStream();
У меня на Win 10 все работает, но на другой системе (не уверен какая винда 7 или 8) ругается на org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Access denied for user <юзер_виндов>. Superuser privilege is required.
Т.е. походу первую строчку игнорит и берет текущего юзера. В чем могут состоять грабли?
источник
2017 February 11

VC

V C in Data Engineers
Akceptor AkceptorUA [🇺🇦, IF]
Есть такой код:
System.setProperty("HADOOP_USER_NAME", "hdfs");
HdfsAdmin admin = new HdfsAdmin(URI.create("hdfs://mycluster.com:8020"), new Configuration());
admin.getInotifyEventStream();
У меня на Win 10 все работает, но на другой системе (не уверен какая винда 7 или 8) ругается на org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Access denied for user <юзер_виндов>. Superuser privilege is required.
Т.е. походу первую строчку игнорит и берет текущего юзера. В чем могут состоять грабли?
я думаю что-то в правах)
источник
2017 February 12

AA

Akceptor AkceptorUA [🇺🇦, IF] in Data Engineers
V C
я думаю что-то в правах)
Угу. Только узера со всеми правами я указал. Не берет его скотина
источник
2017 February 17

KV

Kirill Vol in Data Engineers
источник

KV

Kirill Vol in Data Engineers
Всем привет с разрешения @krivdathetriewe хотел запостить  вакансию #Job #relocation

Позиции в Праге, оформление документов и переезд оплачивает компания.

APACHE SPARK/HADOOP SOFTWARE ENGINEER
https://www.epam.com/careers/job-listings/job.17999

Проект для инвестиционного банка, который решил перевести базы данных с MSSQL на Hadoop.

По деньгам в районе 3000 USD Gross (-27% tax)

Условия работы и релокации https://epa.ms/EPAM-Prague
Вопросы мне) @VolKir
источник
2017 February 20

NK

ID:1373407 in Data Engineers
Ребят, вопрос по поводу спарка, уммет ли spark sql маппить колонки типа name_of_cosumer  к case class(nameOfConsumer:String) автоматически без withColumnName
источник

GP

Grigory Pomadchin in Data Engineers
не очень понял, что он автоматом должен делать
источник

GP

Grigory Pomadchin in Data Engineers
):
источник

NK

ID:1373407 in Data Engineers
Announcement: DataFrame-based API is primary API
источник

NK

ID:1373407 in Data Engineers
The RDD-based API is expected to be removed in Spark 3.0.
источник

NK

ID:1373407 in Data Engineers
Для MLiba
источник

GP

Grigory Pomadchin in Data Engineers
ну в млибе рдд не удобно использовать
источник

GP

Grigory Pomadchin in Data Engineers
для этого и есть: https://github.com/databricks/spark-avro
источник

NK

ID:1373407 in Data Engineers
Grigory Pomadchin
ну в млибе рдд не удобно использовать
а ты  много его используешь?
источник

GP

Grigory Pomadchin in Data Engineers
рдд? везде
источник

NK

ID:1373407 in Data Engineers
мллиб
источник

GP

Grigory Pomadchin in Data Engineers
млиб явно - нет) кто-то из наших опенсорсных клиентов используют активно
источник