ТВ
ну кто то же вам их дал, попросите проверить его/ее/их
Уже запрошено. Отвечают к сожалению не быстро.
Size: a a a
2020 November 27
r
то есть получается, что опция "false" вообще ни к одной трансформации не применится? (учитывая, что дефолтная это "true")
будет применена опция которая ближе к терминальной операции. Попробуй локально позапускать через консоль show() и будет сразу по данным видно что подтянулось
ME
когда ресурсов в кластере нету обычно джобы в accepted влетают
в вот при достижении лимитов как раз таки ошибка падает
в вот при достижении лимитов как раз таки ошибка падает
У меня сейчас как раз такая ситуация, вроде ресурсы выданы, на ноде запущены контейнеры для задач, но чот в логи сыпит опять сообщением о недостатке ресурсов...
ME
От ливи идёт:
Приложения работают, память и ядра выделены
WARN YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resourcesПриложения работают, память и ядра выделены
ME
Попробую убить цеппелин, что-то у него 34 гига на приложение ушло :)
ME
Хм, внезапно помогло... Сорри за монолог.
ME
Хм, судя по всему у нас когда одно приложение запускается, оно берёт по максимуму, а другие ждут, если позже были запущены. Как раз цеппелин оказался тем единственным, а остальные ждали и отваливались по таймауту.
ME
Видимо нам для цеппелина надо отдельную очередь выделять или на Fair переключаться
2020 November 28
r
Всем привет 😊
Вероятно вопрос не по теме чата.
Может есть тут, кто с Discord API работал?
Есть задача собирать различную стату из гильдии/кaнала. Появились вопросы, как такой сбор лучше организовать. :)
Вероятно вопрос не по теме чата.
Может есть тут, кто с Discord API работал?
Есть задача собирать различную стату из гильдии/кaнала. Появились вопросы, как такой сбор лучше организовать. :)
GP
rubonz
Всем привет 😊
Вероятно вопрос не по теме чата.
Может есть тут, кто с Discord API работал?
Есть задача собирать различную стату из гильдии/кaнала. Появились вопросы, как такой сбор лучше организовать. :)
Вероятно вопрос не по теме чата.
Может есть тут, кто с Discord API работал?
Есть задача собирать различную стату из гильдии/кaнала. Появились вопросы, как такой сбор лучше организовать. :)
не по теме) выбирай язык, бери сдк и собирай стату) там больших данных нет
СД
Ищу в интернетах описание функционала хадупа, но везде булшит, можете подсказать где читануть? У меня есть задачи и я хочу понять поможет ли в этом хадуп.
DZ
Ищу в интернетах описание функционала хадупа, но везде булшит, можете подсказать где читануть? У меня есть задачи и я хочу понять поможет ли в этом хадуп.
Тогда думаю не поможет
ME
Вообще в той же вики написано нормально, чтобы понять, что это такое
ME
Архитектура, компоненты, облака
СД
мне больше интересно какие функции над данными можно сделать, чем архитектура
DZ
мне больше интересно какие функции над данными можно сделать, чем архитектура
А какие нужно?
СД
сцепить два объекта (в формате удобоваримом хадупу) по связи (четкой, по типу равенства двух значений, нечеткой, по типу "близости расстояния" между двумя значениями)
СД
делать это как на потоке, так и по данным из локального стораджа (хранимые объекты из базы)
СД
сцеплять то можно разными методами, просто хотелось прочесть четко набор функций хадупа и понять, можно ли на его функцианале как-то сцеплять
TT
