Телеграмм чат группы hadoopusers страница 3276

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2319 membersпожаловаться на группу

2021 February 26

YL

Yuri Lyulchenko in Data Engineers

Добрый день! Вопрос по Flink Cep:
Хочу выловить событие по определенному паттерну. Создал HelloWorld проект, но такое ощущение, что паттерн не отрабатывает. Я не могу вывести результат. Проблема как здесь: https://stackoverflow.com/questions/39575991/flink-cep-no-results-printed.

Flink CEP No Results Printed

I am trying to print out a string if Hello and world are found using the Flink CEP library. My source is Kafka and using the console-producer to input the data. That part is working. I can print...

источник

10:41пожаловаться #1

YL

Yuri Lyulchenko in Data Engineers

Код:

источник

10:41пожаловаться #2

YL

Yuri Lyulchenko in Data Engineers

Не отрабатывает в части PatternProcessFunction

источник

10:42пожаловаться #3

AC

Alexander Chermenin in Data Engineers

Yuri Lyulchenko

Код:

Код скрином - это прекрасно =]

источник

10:43пожаловаться #4

YL

Yuri Lyulchenko in Data Engineers

Вывод на экран только самого стрима:

источник

10:44пожаловаться #5

YL

Yuri Lyulchenko in Data Engineers

Alexander Chermenin

Код скрином - это прекрасно =]

https://gist.github.com/Maminspapin/07615706f4ce975eb3cf5f0b407b0644 - Так пойдет? )

Test Flink. GitHub Gist: instantly share code, notes, and snippets.

источник

10:54пожаловаться #6

ME

Max Efremov in Data Engineers

Слушайте, а паркет тулы уже стали депрекейтед? А что вместо них сейчас? https://github.com/apache/parquet-mr/tree/master/parquet-tools-deprecated

apache/parquet-mr

Apache Parquet. Contribute to apache/parquet-mr development by creating an account on GitHub.

источник

11:36пожаловаться #7

YL

Yuri Lyulchenko in Data Engineers

Yuri Lyulchenko

Добрый день! Вопрос по Flink Cep:
Хочу выловить событие по определенному паттерну. Создал HelloWorld проект, но такое ощущение, что паттерн не отрабатывает. Я не могу вывести результат. Проблема как здесь: https://stackoverflow.com/questions/39575991/flink-cep-no-results-printed.

Flink CEP No Results Printed

I am trying to print out a string if Hello and world are found using the Flink CEP library. My source is Kafka and using the console-producer to input the data. That part is working. I can print...

Если кому интересно, то решение проблемы: PatternStream<String> patternStream = CEP.pattern(stream, pattern).inProcessingTime();

В версии 1.12 TimeCharacteristic по-умолчанию теперь EventTime.
Полный ответ: http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-CEP-can-t-process-PatternStream-td41722.html

Apache Flink User Mailing List archive. - Flink CEP: can't process PatternStream

Flink CEP: can't process PatternStream. Hello everyone. I’m trying to use Flink Cep library and I want to fetch some events by pattern. At first I’ve created a simple HelloWorld project. But I have a...

источник

12:10пожаловаться #8

AS

Andrey Sutugin in Data Engineers

Всем привет!
Такой вопрос, ни кто не сталкивался с тем, что на hive таблицах на основе orc не работает predicate push-down оптимизация когда чиешь через spark?
Если же читаешь просто, как orc файл, то все нормально, только теряется нейминг колонок, вместо нормальных имен идет _col1 и т.д.?

источник

12:22пожаловаться #9

А

Алексей in Data Engineers

насчет нейминга: hive не сохраняет названия в сам файл

источник

12:29пожаловаться #10

NN

No Name in Data Engineers

насчет нейминга: hive не сохраняет названия в сам файл

Не, погоди. Это, если не ошибаюсь, если писать напрямую хайвом, причем первым. Если же писать спарком орк файлы и сохранять как менеджд хайв табличку, то орк файл внутри будет с неймингами колонок.

источник

12:53пожаловаться #11

А

Алексей in Data Engineers

Не, погоди. Это, если не ошибаюсь, если писать напрямую хайвом, причем первым. Если же писать спарком орк файлы и сохранять как менеджд хайв табличку, то орк файл внутри будет с неймингами колонок.

да, наверно, так. Просто написал, что у меня были такие названия колонок, когда таблицу создаешь хайвом, а читаешь спарком

источник

12:56пожаловаться #12

А

Алексей in Data Engineers

по предикат пушдауну, мне когда то отвечали, что у меня спарк старый (2.3) и он читает не нативным способом orc. В новых должно работать

источник

12:56пожаловаться #13

NN

No Name in Data Engineers

по предикат пушдауну, мне когда то отвечали, что у меня спарк старый (2.3) и он читает не нативным способом orc. В новых должно работать

Не, в 2.3 все работает, проверено

источник

13:21пожаловаться #14

А

Алексей in Data Engineers

Не, в 2.3 все работает, проверено

тестил летом: https://gist.github.com/pihel/b83f0b09ad72cb1f4c1bf2808a00c05b
для orc в 2.3 не было пушдауна, в 2.4 - был. Parquet работал в обоих версиях

GitHub Gist: instantly share code, notes, and snippets.

источник

13:27пожаловаться #15

NN

No Name in Data Engineers

тестил летом: https://gist.github.com/pihel/b83f0b09ad72cb1f4c1bf2808a00c05b
для orc в 2.3 не было пушдауна, в 2.4 - был. Parquet работал в обоих версиях

GitHub Gist: instantly share code, notes, and snippets.

А ты когда тестил 2.3, у тебя параметр spark.sql.hive.convertMetastoreOrc был подрублен?

источник

13:52пожаловаться #16

NN

No Name in Data Engineers

А ты когда тестил 2.3, у тебя параметр spark.sql.hive.convertMetastoreOrc был подрублен?

А то выглядит так, что нет, и использовался хайв серде

источник

13:53пожаловаться #17

А

Алексей in Data Engineers

А ты когда тестил 2.3, у тебя параметр spark.sql.hive.convertMetastoreOrc был подрублен?

нет, из-за него получается?

источник

13:55пожаловаться #18

NN

No Name in Data Engineers

нет, из-за него получается?

Скорее всего. Подруби, и будет использоваться билт-ин орк ридер

источник

14:02пожаловаться #19

А

Алексей in Data Engineers

Скорее всего. Подруби, и будет использоваться билт-ин орк ридер

ок, спс, попробую попозже

источник

14:05пожаловаться #20