Starting with the HDP 3.1.5 release, access to HDP repositories requires authentication. To access the binaries, you must first have the required authentication credentials (username and password).

3.1.4 тоже free

Короче, если кто-то может поделиться, буду признателен

Она у меня есть

Я недавно задавал данный вопрос, никто не ответил

С одной стороны тенсент больше чем год назад заявил что у них все зашибись и большой кластер

С другой когда смотрю на комиты и баги которые сейчас исправляют у меня есть сомнения в стабильности

https://github.com/apache/ozone/commits/master

Ну и пролистать пару страниц

Они там пишут, типа и рядом с хдфс на тех же дисках может шуршать.

Вкатить что ли на препрод

Отпиши потом что получится

Всем привет. Как подключиться через dblink из postgre и заселектить таблицу из mariadb.
Находил dblink, если я правильно понимаю create extension dblink;
Потом select (параметры подключения к базе mariadb, select самой таблицы) as таблица(колонки с типами). Но это не работает. Есть у кого примеры?

dblink работает только с постгреса на постгресы. гуглите в сторону foreign data wrapper. я не уверен, что они есть именно на марию, но вдруг. на кликхаус вот есть, например.

SELECT
         t.create,
         t.user_id
FROM dblink('psg_1'::text,
            'select
                   t.create,
                   t.user_id
            from "table" t
            where t.user_id < 11
            order by t.create'::text) t(create timestamp without time zone, user_id integer)

пример

я вот что-то такое нашел
https://www.postgresql.org/docs/current/postgres-fdw.html

спасибо

Коллеги, помогайте! ))
В одной спарковской джобе - в запросе - захотел сделать много мелких бродкастов, чтобы избавиться от SortMergeJoin. Ну, относительно мелких, мож мегабайт по двести, а может и по сотне килобайт. Всего таких бродкастов в запросе бывает около двух тысяч, в конкретном кейсе - пятьсот. Это изменения в данных, тут как повезёт.
Но не взлетело, зависает с постоянно повторяемой ошибкой: WARN TaskMemoryManager: Failed to allocate a page ({тут размер} bytes), try again

Экзекуторам давал по восемь ядер и по 12 Гб+12Overhead, на драйвере 16+12

Юзаю G1GC, с некоторыми настройками, могу скопипастить, если поможет

Код:
Join(
 Filter(partitionFilter, targetTable),
 ResolvedHint(
   Project(pkAttributes, Filter(diffDelFilter, sourceTable)),
   HintInfo(broadcast = true)),
 LeftAnti,
 Some(joinFilter)
)

ну хотел скушать ими всю память, и успешно скушал

Не то чтобы именно это я хотел хД

Хоть посоветуйте, где бывают бродкасты? В хипе или в unsafe?

давай у нас