А
спасибо, понятно, хотяб ип вытащу, уже хорошо:
Seq("/bin/sh","-c","echo $SSH_CLIENT | awk '{ print $1}'") .!!Size: a a a
2021 May 26
ЕГ
Коллеги, всем привет. Никто не сталкивался с такой темой - контейнеры выделены, спарк воркеры запущены, тасков в очереди дохрена, но при этом running только треть от возможного числа параллельных тасков
ЕГ
Что может быть? Я чёт с таким ни разу не сталкивался, чтоб спарк не успевал задачи раздавать на простаивающие ядра, уже выделенные в сессии
t
и отдает только некоторым воркерам, да?
ЕГ
Ну, одновременно работает 16 тасков из 60, щас посмотрю, на каких воркерах
ЕГ
Спасибо, мысль появилась, куда копать😆
t
t
(в настройи локалити, если что)
ЕГ
Да, да)
ЕГ
Нафиг локалити👍
AZ
я только скажу что это очень плохая практика, все информация для сервиса должна браться из конфигурации, или нормальных стораджей
А
это да, было бы хорошо, если у всех были именные учетки, но уже нагородили
А
и я продолжаю)
SS
всем привет! тут есть опытные в Looker товарищи?
это нормально, что когда я создаю explore вида
и в режиме adhoc-аналитики извлекаю атрибут только из измерения "orders" - все равно запрос подтягивает джойн к фактовой таблицей?
это нормально, что когда я создаю explore вида
explore: order_items {
join: orders {
type: inner
relationship: many_to_one
sql_on: ${order_items.order_id} = ${orders.id} ;;
}
}и в режиме adhoc-аналитики извлекаю атрибут только из измерения "orders" - все равно запрос подтягивает джойн к фактовой таблицей?
IG
Ребята, подскажите, несколько дней назад в чате (или соседнем) был публичный собес. Запись еще не выложили или я пропустил ссылку?
ЕГ
Ещё не выложили
IG
Ок, спасибо
2021 May 27
VP
IK
привет, народ, поделитесь опытом, каким как деплоите flink в кубере (через новый native kubernetes или старый standalone kubernetes deployment, или через GCP flink-on-k8s-operator или еще как-то)?
М
Привет всем.
Не могу разобраться в одном вопросе :
Допустим в hdfs лежит большой файл в 10 гигов, разбитый на 100 блоков по 100мб.
У меня есть несколько запущенных контейнеров в спарке.
Я хочу файл прочитать. Что при чтении произойдёт? Контейнеры поделят блоки между собой и будут читать файл параллельно - каждый свой блок? Или все блоки поедут на один контейнер будут читаться последовательно?
Спасибо.
Не могу разобраться в одном вопросе :
Допустим в hdfs лежит большой файл в 10 гигов, разбитый на 100 блоков по 100мб.
У меня есть несколько запущенных контейнеров в спарке.
Я хочу файл прочитать. Что при чтении произойдёт? Контейнеры поделят блоки между собой и будут читать файл параллельно - каждый свой блок? Или все блоки поедут на один контейнер будут читаться последовательно?
Спасибо.