Это норма. Разовая перезагрузка данных за 3,5 года. Партиция по дате. Вот и выходит 1300+.

А Спарк же льет с экзекутора в hive ? Если для этого открывается с каждого экзнкьютора одно соединение , то значит на каждом у вас все даты.  Может вам данные нужно так партиционировать, что бы на один экзекьютор все даты не приходили

Если профессии , которые не отмерли , но сильно потеряли и теряют в количестве вакансий . Например - администратор oracle . Это уже почти как кузнец )

Некоторым кузницам оч не хватает кузнецов. Особенно в регионах. Не в it компаниях, естественно.

Привет. Может у кого нибудь было такое, и кто нибудь знает как избежать такой ситуации? После перезапуска приложения на  spark struct streaming он не подхватил офсеты из чекпоинта, а взял последние из кафки и перезаписал их в chekpointLocation (spark 2.4.4)

Коллеги.  Всем доброго утра. При попытке инсерта данных в hive spark'ом, получаю ошибку.

" Number of dynamic partitions created is 1346, which is more than 1000. To solve this try to set hive.exec.max.dynamic.partitions to at least 1346."

Это же в spark config можно прописать? 1000 видимо "по-умолчанию" идет?
Судя по похожим там записям:
    .config('hive.exec.dynamic.partition', 'true')
    .config('hive.exec.dynamic.partition.mode', 'nonstrict')

Коллеги.  Всем доброго утра. При попытке инсерта данных в hive spark'ом, получаю ошибку.

" Number of dynamic partitions created is 1346, which is more than 1000. To solve this try to set hive.exec.max.dynamic.partitions to at least 1346."

Это же в spark config можно прописать? 1000 видимо "по-умолчанию" идет?
Судя по похожим там записям:
    .config('hive.exec.dynamic.partition', 'true')
    .config('hive.exec.dynamic.partition.mode', 'nonstrict')

Чатик, тут вверху уже писали про лицензии Cloudera CDP и вот скажите, у кого какая политика в этом плане? Ехать на ванильный? Т.к. доступ к обновлениям CDH тож все

А оценки на Goodreads для технической литературы насколько всерьез стоит воспринимать?