АЖ
Спасибо; спам жопа полная конечно
Нужна датаинженерная капча
Size: a a a
2019 August 08
GP
Нужна датаинженерная капча
надо комбота просто купить)
EN
капчу - с я не робот😊
E
пара админов в чате на 2к людей в состоянии оперативно удалять спам
S
Дата инженеры!
Часть1.
Как понять сколько надо phoenix query server (PQS) на кластере?
Влияет на это количество воркеров в джобах?
Или их нужно ставить только там, где есть Region Server HBase ?
Часть 2.
Как понять в чем затык при работе с феникс.
Сейчас по 87млн записей, чтение + лимит + шоу занимает около 10м. Как-то долговато....
Часть1.
Как понять сколько надо phoenix query server (PQS) на кластере?
Влияет на это количество воркеров в джобах?
Или их нужно ставить только там, где есть Region Server HBase ?
Часть 2.
Как понять в чем затык при работе с феникс.
Сейчас по 87млн записей, чтение + лимит + шоу занимает около 10м. Как-то долговато....
Ключи правильно подобраны? Индексы?
S
Сколько регионов?
S
Феникс - это только жар, остальное на стороне хбейз
RI
Ключи правильно подобраны? Индексы?
А как правильно выбрать количество регионсерверов?
S
У хбейза длинная подробная дока. Надо просто набраться сил и её прочитать) там даже ссылки на ютуб встречаются)
S
Alex спец в нем
VC
Привет датаинжиры, я тут еще про конфу не спамил, так что получайте
26 ноября будет Scala конфа в мск - https://scalaconf.ru/
За бигдатные дела точно будет чего послушать.
Можно еще анонс почитать вот тут - https://habr.com/ru/company/oleg-bunin/news/t/462865/
Ну и это, заявки тож подавайте - CFP еще открыт - дедлайн 26 сентября.
26 ноября будет Scala конфа в мск - https://scalaconf.ru/
За бигдатные дела точно будет чего послушать.
Можно еще анонс почитать вот тут - https://habr.com/ru/company/oleg-bunin/news/t/462865/
Ну и это, заявки тож подавайте - CFP еще открыт - дедлайн 26 сентября.
R
Cап чатик. вопрос по работе с вложенными структурами в спарке (Scala / SQL). Что хочется сделать - применить функцию к полю в глубине вложенной структуры, не меняя самой структуры. Скажем у меня есть поле
transactions, внутри него массив со словарями, и вот к одному из параметров у элементов этого массива я хочу применить функцию (скажем, возведение в квадрат). Как такое делается?ЕГ
UDF
ЕГ
а хотя стоп, нет, можно попробовать withColumn("col.subcol", expr("col.subcol * col.cubcol")), но я лично не пробовал, не знаю, что произойдёт)
ЕГ
чёт я подумал про своё, про строку с джисоном, с которой так легко не поработать)
R
ну у меня по сути на входе собственно и есть джсон строка)
R
в датабриксе я нашел https://docs.databricks.com/delta/data-transformation/higher-order-lambda-functions.html, вроде то что надо
R
но такой вариант тоже прикольно выглядит, сейчас попробую, может и взлетит
R
Евгений Глотов
а хотя стоп, нет, можно попробовать withColumn("col.subcol", expr("col.subcol * col.cubcol")), но я лично не пробовал, не знаю, что произойдёт)
такое не сработало, создало отдельную колонку рядом с названием “col.subcol”(
ЕГ
в датабриксе я нашел https://docs.databricks.com/delta/data-transformation/higher-order-lambda-functions.html, вроде то что надо
ну это не из коробки)