Телеграмм чат группы hadoopusers страница 1636

это надо идти и спрашивать уже детально, мне рассказывали что именно про бигдату.. сам-то я учился 15 лет назад, и на соседней кафедре, языки программирования придумывать))

источник

10:17пожаловаться #12

ЕГ

Евгений Глотов in Data Engineers

На АСВК есть и бигдата, и нейросеточки, и просто "подгони 50 моделек, чтобы повысить качество решения прошлого года на 0.5%"

источник

10:41пожаловаться #13

ЕГ

Евгений Глотов in Data Engineers

На той программе, про которую говорят коллеги, как минимум есть семестровые курсы по хадупу и спарку)

источник

10:43пожаловаться #14

ЕГ

Евгений Глотов in Data Engineers

А можно и в рамках диплома ими заниматься, пытаться распараллелить что-нибудь научное, типа обработки и связывания между собой космических снимков

источник

10:44пожаловаться #15

A

Alex in Data Engineers

на MapReduce =)

источник

11:13пожаловаться #16

N

Nika in Data Engineers

Привет, а можно как то подсунуть в коннектор shc(spark hbase cloudera) конфигурацию хбейза :
zookeeper.quorum
hbase.master ? В хадуп конфигурации спарка пробовала, в опшины при load тоже, никак не видит, стучится на локалхост. Через хбейз конфиг и конекшн, те ручками только ?

источник

11:52пожаловаться #17

RI

Rustam Iksanov in Data Engineers

Nika

Привет, а можно как то подсунуть в коннектор shc(spark hbase cloudera) конфигурацию хбейза :
zookeeper.quorum
hbase.master ? В хадуп конфигурации спарка пробовала, в опшины при load тоже, никак не видит, стучится на локалхост. Через хбейз конфиг и конекшн, те ручками только ?

покажи как пробуешь? Через спарк джобу?

источник

11:54пожаловаться #18

N

Nika in Data Engineers

df.write.options( Map(HBaseTableCatalog.tableCatalog -> catalog))
.format("org.apache.spark.sql.execution.datasources.hbase").save()

источник

11:55пожаловаться #19

N

Nika in Data Engineers

Ну в опшины сюда пытаюсь вставить другие адреса, в sc.hadoopconf и сюда , нигде не видит изменений, стучится на localhost:2181

источник

11:57пожаловаться #20