UD
Это же вообще доступно, насколько помню в платной раньше был jfr бекпортнут, но сейчас он и в опенждк уже есть (не помню точно номер, 242 вроде, летом вышла)
Ну про г1 пока не спешат
Size: a a a
2021 February 05
UD
Может конеш чо изменится
AZ
репартишоном. сколько партишонов-столько и файлов. но надо понимать, что это довольно дорогая операция.
Ещё coalesce, без сортировки
ИК
Ещё coalesce, без сортировки
В конкретном кейсе, если я правильно понял, надо увеличивать количество партишенов-файлов. Coalesce не поможет
N
Ещё coalesce, без сортировки
когда много данных-будет медленнее.
AZ
В конкретном кейсе, если я правильно понял, надо увеличивать количество партишенов-файлов. Coalesce не поможет
Да, это только уменьшать число файлов (что нужно чаще)
ИК
когда много данных-будет медленнее.
медленнее - потому что будет меньше тасков и каждый из них будет выполняться дольше. И неравномерно к тому же. Сам стейдж coalesce как правило намного быстрее repartition
AK
"при записи спарком в партиционированную папку?"
Имеется в виду .partitionBy при записи? Или каждая партиция отдельно пишется?
Имеется в виду .partitionBy при записи? Или каждая партиция отдельно пишется?
RY
Переслано от Ruslan515 Y
NT
Переслано от Ruslan515 Y
Всем добрый вечер. Пытаюь к Postgre подлючится через ssh. Нашел такой пример. ssh тунель создается нормально, но к post не могу подлючится. Кто может подсказать, что не так делаю?
там нужен localhost, а не ip адрес бд (в params)
NT
Так как тунель создается на localhost
RY
там нужен localhost, а не ip адрес бд (в params)
Получается там просто пишем "localhost"?
RY
Ща проверим 😀
NT
Ща проверим 😀
Скажешь, если работает)
K
Добрый день. Может был у кого-то опыт написания перекладчика с kafka в hadoop (hdfs)? Интересуют показатели (скорость чтения, скорость записи).
Spark easy datalake
K
Добрый день. Может был у кого-то опыт написания перекладчика с kafka в hadoop (hdfs)? Интересуют показатели (скорость чтения, скорость записи).
K
Там можно в сто раз лучше решить все конечно же
P
Переслано от Ruslan515 Y
Всем добрый вечер. Пытаюь к Postgre подлючится через ssh. Нашел такой пример. ssh тунель создается нормально, но к post не могу подлючится. Кто может подсказать, что не так делаю?
Надо разрешить подключение всконфиг файле с желаемых хостов, либо со всех
NG
Привет! Пробую настроить spark-submit на удаленный кластер с помощью Big Data Tools в InteliJ. Все отлично работает. Хочу добавть в before lauch сборку через sbt package. В итоге отрабатывает только сборка и все. (перекидывание джарника и spark-submit не стартует). Есть идеи?