Еще можно попробовать:
df.write.option("maxRecordsPerFile", n)

Еще есть вот такая штука, но я ничего адекватного не смог получить:
import org.apache.spark.util.SizeEstimator val size = SizeEstimator.estimate(df)

Ну или вот так, но адекватный размер возвращаел у меня, только при чтении с диска:
val catalyst_plan = df.queryExecution.logical
val df_size_in_bytes = spark.sessionState.executePlan( catalyst_plan).optimizedPlan.stats.sizeInBytes

С сигруппами?

Да

Jack LaFaME has been banned! Reason: CAS ban.

кмк используйте наздоровье, но утилизация кластера будет низкая, плюс управление ресурсами остается проблемой (но это в любом случае проблема при сочетании YARN / non-YARN нагрузки на он-преме, независимо от того где бежит ваша не ярновая нагрузка)

Привет,
https://docs.oracle.com/cd/B19306_01/server.102/b14200/functions129.htm
Есть аналог REGEXP_INSTR в спарке ?

rlike ?

Если нужен оттуда position  —то можно заиспользовать substr

нет, он возврашает true/false, мне нужен index этого regex, и что бы можно было выбрать 3 параметра: start, occurrence, position after occurrence

Вот как выглядит юзкэйс:
SELECT REGEXP_INSTR('AN AN AN', 'AN', 1, 1, 1) FROM DUAL

аааа

ну явно можно эмулировать через split

Всем привет!
Подскажите, пожалуйста, сейчас перехожу на позицию, где активно используется Big Data, ранее с этим не работал, но есть хороший опыт работы с MS SQL
Какие есть нюансы при подобном переходе, которые нужно учитывать? Если есть статьи, можно ткнуть носом в них, я дальше докопаю

бигдата бигдате рознь

Конкретизирую - обещали Teradata

я тут на хайве по быстрому накидал, на спарке должно тоже работать:

SELECT length(regexp_extract(substr('${SRC}', ${START_POS}), '${PTRN}', 0)) + ${START_POS}

вау спасибо большое

хотя стоп, может и не совсем работает 😅

не хватает индекса начала этой подстроки

я буду учитывать и создам свой велосипед )