ЕГ
Несколько
Size: a a a
2019 June 05
ЕГ
Поджойнить их и собрать агрегат
ЕГ
Как получится - можно идти устраиваться работать датаинженером, для вас будет конкурс три вакансии на одного человека😆
AZ
ну вот tpc-h например: обновлять набор гистграмм клиентов по ордерам
AZ
генератор прилагается, хоть петабайт нагенерите себе если есть куда
AZ
я пользуюсь этой версией, она делает перекошенные данные, так интереснее :) https://github.com/gunaprsd/SkewedDataGenerator
m
а алгоритм какой можно на основе сгенеренных данных писать?
R
Евгений Глотов
Как получится - можно идти устраиваться работать датаинженером, для вас будет конкурс три вакансии на одного человека😆
true story
если при этом еще и есть знание чем отличается SortMerge от BroadcastHash -> можно сразу синьором идти 😂
если при этом еще и есть знание чем отличается SortMerge от BroadcastHash -> можно сразу синьором идти 😂
AZ
а алгоритм какой можно на основе сгенеренных данных писать?
там части, поставщики, заказы, клиенты - все что хотите, для начала простую дескриптивную статистику, потом можно какие-нибудь кластера регрессии
AZ
данные синтетические конечно, поэтому никаких красивых корреляций не будет, но потренироваться в самый раз
m
там части, поставщики, заказы, клиенты - все что хотите, для начала простую дескриптивную статистику, потом можно какие-нибудь кластера регрессии
ок, чичас потыкаю
ЕГ
Таблицы фактов - типа набить каких-нибудь покупок в рандомное время, потом над этим агрегат на покупателя за день собрать
ЕГ
Количество, сумма и всё такое
K
как сдать CDO
ЕГ
А, это легко, нужно 5 лет опыта работы CDO
AK
Привет, при попытке прочитать табличку в hbase из спарк2 получаю ошибку - WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, ds02.example, executor 1): java.io.InvalidClassException: org.apache.spark.sql.execution.datasources.hbase.HBaseRelation; local class incompatible: stream classdesc serialVersionUID = -6790729522370401940, local class serialVersionUID = 2396170511103034301
AK
Никто не сталкивался?
AK
hbase-site.xml подпихивал через spark-shell --files путь_до_конфига, не помогает
A
В класпасе на драйвере и воркере разные версии hbase
A
Хотя стоп, spark hbase разный