ПФ
Скорее всего ваш udf ничего не обгонит если только не какой-то специфический случай
Size: a a a
2021 October 23
N
Использовать средства полнотекстового поиска. Еластик, люсен, соляр.
МК
Пока не получилось) потому что запускала на всём DF, у меня задача вообще до конца не досчиталась)
МК
Спасибо! Пошла гуглить))
NN
AS
у нас 2.4.7 на 2.11, но сложностей я не помню
2021 October 25
CO
всем привет, а не кто не сталкивался, при записи
AWS glue pyspark
datasink2 = (
new_df
.repartition(1)
.write
.mode("overwrite")
.format("json")
.save('s3://analyst-public/winners/')
)
не пишет в конце строки запятую ((AWS glue pyspark
GP
он пишет по жейсону на строчке
GP
1: jsonline
2: jsonlne
…
n: jsonline
2: jsonlne
…
n: jsonline
GP
это валидный жейсон
GP
если тебе хочется это все првератить в коллекцию жейсонов, то тебе надо делать коллект на драйвер этих строк и конвретить в коллекцию
CO
а можно как-то сделать запятую, без пробега по строкам ? ((
GP
ты уверен что оно тебе нужно?
CO
разрабы жалуются ((
GP
new_df.as[String].collect.mkString("[", ",", "]")
GP
только ты сам уже сохраняй жейсон)
GP
колектишь строки на драйвер и конкатенируешь в одну)
CO
Оки, спасибо
CO
а что такое волектить?
GP
колектишь*)