Телеграмм чат группы hadoopusers страница 3247

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2308 membersпожаловаться на группу

2021 February 12

DT

Dmitry Titov in Data Engineers

Когда у вас вторая табдичка маленькая и копируется в память всем обработчикам. Я же даже уточнил broadcastHashJoin)

Если у вас обе таблицы отшардированы по одному ключу, то можно просто не использовать GLOBAL JOIN, тогда по сети не будут передаваться куски правой таблицы.

источник

13:26пожаловаться #1

AZ

Anton Zadorozhniy in Data Engineers

Если у вас обе таблицы отшардированы по одному ключу, то можно просто не использовать GLOBAL JOIN, тогда по сети не будут передаваться куски правой таблицы.

кто там говорил про ANSI совместимость :)

источник

13:27пожаловаться #2

DT

Dmitry Titov in Data Engineers

Anton Zadorozhniy

кто там говорил про ANSI совместимость :)

Можно не использовать GLOBAL а установить такое поведение через настройки :)

источник

13:28пожаловаться #3

AZ

Anton Zadorozhniy in Data Engineers

Можно не использовать GLOBAL а установить такое поведение через настройки :)

удобно!

источник

13:30пожаловаться #4

ПБ

Повелитель Бури... in Data Engineers

Добрый день, коллеги! А то то сталкивался с такой задачей
1. Создаю acid таблицу

CREATE TABLE merge_data.merge_source(
ID int,
TranValue string,
tran_date string)
STORED AS ORC TBLPROPERTIES ('transactional'='true');

и чтобы не прописывать STORED AS ORC TBLPROPERTIES ('transactional'='true');
А эта настройка была по умолчанию?

источник

13:48пожаловаться #5

AZ

Anton Zadorozhniy in Data Engineers

Повелитель Бури

Добрый день, коллеги! А то то сталкивался с такой задачей
1. Создаю acid таблицу

CREATE TABLE merge_data.merge_source(
ID int,
TranValue string,
tran_date string)
STORED AS ORC TBLPROPERTIES ('transactional'='true');

и чтобы не прописывать STORED AS ORC TBLPROPERTIES ('transactional'='true');
А эта настройка была по умолчанию?

с Hive 3 по крайней мере на HDP вроде по-умолчанию таблицы были transactional, если ACID включен

источник

14:10пожаловаться #6

ПБ

Повелитель Бури... in Data Engineers

Anton Zadorozhniy

с Hive 3 по крайней мере на HDP вроде по-умолчанию таблицы были transactional, если ACID включен

Connected to: Apache Hive (version 3.1.1)
Driver: Hive JDBC (version 3.1.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.1 by Apache Hive

источник

14:15пожаловаться #7

AZ

Anton Zadorozhniy in Data Engineers

Повелитель Бури

Connected to: Apache Hive (version 3.1.1)
Driver: Hive JDBC (version 3.1.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.1 by Apache Hive

¯\_(ツ)_/¯ спросить саппорт?

источник

14:17пожаловаться #8

AZ

Anton Zadorozhniy in Data Engineers

из документации:
> In Hive 3, you can perform ACID (atomicity, consistency, isolation, and durability) v2 transactions at the row level without any configuration. By default, managed tables are ACID tables. You cannot disable transactions.

источник

14:19пожаловаться #9

ПФ

Паша Финкельштейн... in Data Engineers

Introducing Kotlin for Apache Spark Preview 2
#kotlin #spark
https://blog.jetbrains.com/kotlin/2021/02/kotlin-for-apache-spark-one-step-closer-to-your-production-cluster/

Kotlin for Apache Spark: One Step Closer to Your Production Cluster – Kotlin Blog | JetBrains

We have released Preview 2 of Kotlin for Apache Spark. First of all, we’d like to thank the community for providing us with all their feedback and even some pull requests! Now let’s take a look at wha

источник

17:50пожаловаться #10

DN

Dmitriy Novikov in Data Engineers

ой бля

источник

18:39пожаловаться #11

DN

Dmitriy Novikov in Data Engineers

не нужно

источник

18:39пожаловаться #12

DN

Dmitriy Novikov in Data Engineers

ужасный курс

источник

18:39пожаловаться #13

ET

E T in Data Engineers

Dmitriy Novikov

ужасный курс

а что из хорошего можно пройти ?

источник

18:41пожаловаться #14

DN

Dmitriy Novikov in Data Engineers

а что из хорошего можно пройти ?

на степике от mail есть неплохой курс по введению в хадупы

источник

18:41пожаловаться #15

AS

Andrey Smirnov in Data Engineers

Dmitriy Novikov

ужасный курс

Да, как-то старые книжки, авторы хорошие, но Спарк там похоже ещё 1 версии

источник

18:43пожаловаться #16

DN

Dmitriy Novikov in Data Engineers

Да, как-то старые книжки, авторы хорошие, но Спарк там похоже ещё 1 версии

Ну там никакой практики норм нет

источник

18:43пожаловаться #17

DN

Dmitriy Novikov in Data Engineers

ток теория теория теория

источник

18:43пожаловаться #18

DN

Dmitriy Novikov in Data Engineers

кароче не стоит тарить время

источник

18:44пожаловаться #19

2021 February 13

VS

Vadim Shatalov in Data Engineers

Всем привет, есть кто в БД шарит?
Вопрос: есть один запрос - 3 таблицы связаны лефт джойнами
можно же его разбить на два - сначала 2 связать. потом третью к результату?

источник

00:18пожаловаться #20