ЕГ
Ну и всякого такого
Size: a a a
2021 September 08
YI
Когда у тебя проприетарные етл машинки и толпа аналитиков, которые не умеют в Спарк контекст - хайв онли 😅
ЕГ
А я вот привёл спарк сессию к аналитикам
ЕГ
Хуже, когда не работают всякие дорогие тулзы со спарк метастором
YI
Покажи видос)
А
как оно? кто победил?
D
да, тоже интересно кто победил, а то тоже в размышлениях перетаскивать на HDInsight с Tez или попробовать запустить спрак часть в датабрикс
S
Походу, нет никого
S
Хочу скидку на курс от ньюпролабс
С
Так а что мешает с ребятами из ньюпролаб поговорить напрямую, а не плакать в чате?
С
У них на сайте есть телефон
С
Либо слак
Либо телега
Либо телега
S
Щас сел плакаться им
С
Не, рили, они адекватные ребята, и с ними можно договориться
DT
Здарова бандиты. Где-нибудь есть материалы по ML-инженерству?
JJ
Всем привет! Подскажите, пожалуйста знающие, чем лучше воспользоваться, чтобы перелить данные из hdfs в hbase в рамках одного кластера?
OI
Вопрос
Просто докинул такую опцию, а в thread dump драйвера как-то негусто
"spark.hadoop.mapreduce.input.fileinputformat.list-status.num-threads": 100 в спарке не должен ли генерить 100 тредов?Просто докинул такую опцию, а в thread dump драйвера как-то негусто
A
Это нас настройки пробрасываются до хадуп либ
Если спарк не использует их, то ничего и не будет
Если спарк не использует их, то ничего и не будет