Телеграмм чат группы hadoopusers страница 4137

там Спарк читает Кафку, затем дедупликация ивентов и затем запись в хадуп, с3 и тд

16:43пожаловаться #1

в чем странная ?

16:43пожаловаться #2

в данный момент используется hbase, пробуем Аэроспайк. Настоятельно попросили делать только инсерт

16:45пожаловаться #3

в аэроспайк

16:45пожаловаться #4

грубо говоря, приходит какой то рдд, нужно его put, но как результат получить отфильтрованный от дубликатов рдд и пустить дальше по пайплайну

16:47пожаловаться #5

без get или exists есть ли какие то способы?

16:47пожаловаться #6

пробовал асинхронный пут

16:49пожаловаться #7

ключей уникальных приходит достаточно много каждый день, около 1млрд и насколько я понял синхронный пут может быть проблемным по производительности

16:52пожаловаться #8

буду рад если сталкивались с таким кейсом

16:52пожаловаться #9

No Name in Data Engineers

А нет возможности приземлить первоначально в какой-нибудь стейджинг, там почистить и дальше по трубам пустить?

16:58пожаловаться #10

к сожалению нет

17:13пожаловаться #11

Oleg Ilinsky in Data Engineers

я правильно понимаю, что хочется делать дедубликацию в стриме?

17:15пожаловаться #12

Алексей in Data Engineers

Можно в java jar узнать откуда он был запущен? (папка/файл)

Иван Калининский... in Data Engineers

17:26пожаловаться #13

ИК

https://stackoverflow.com/questions/320542/how-to-get-the-path-of-a-running-jar-file

Stack Overflow

How to get the path of a running JAR file?

My code runs inside a JAR file, say foo.jar, and I need to know, in the code, in which folder the running foo.jar is.

So, if foo.jar is in C:\FOO\, I want to get that path no matter what my current

18:30пожаловаться #14

А зачем для дедупа какой-то сторадж? Почему не написать просто .dropDuplicates?

19:59пожаловаться #15

И писать в с3 или куда там

20:01пожаловаться #16

https://sparkbyexamples.com/spark/spark-remove-duplicate-rows/

Spark by {Examples}

Spark SQL - How to Remove Duplicate Rows — SparkByExamples

Duplicate rows could be remove or drop from Spark SQL DataFrame using distinct() and dropDuplicates() functions, distinct() can be used to remove rows

20:08пожаловаться #17

там dstream на рдд

20:27пожаловаться #18

на структуред нет возможности переписать?

20:36пожаловаться #19

слишком много, пока нет