Р
в том то и дело, спарк не успел сделать move , а апп упал . И я вот спрашиваю , можно ли как-то вернуть состояние до перезаписи паркета ?
Size: a a a
2021 December 20
ЕГ
Их не нужно откатывать
ЕГ
Если правильно настроить аутпуткоммиттер, то он не будет удалять данные, пока не записал новые полностью
ЕГ
А вообще если это сильно критично, то делают две партиции и подмену партиции
ЕГ
Доверять такое спарку не стоит, он под это не заточен
Р
я даже не смогу hdfs- реплики заполучить ?
A
Что вы под этим подразумеваете?
k
честно говоря, я все еще не понял, какую именно проблему пытаемся решить. перезапустить app и все,
k
если, конечно, там нечего фикситт
k
и упало по внешним причинам
A
Если у вас упал спарк в момент формирования новых файлов, то просто удаляете файлы в _temp и все, спарк их и так не читает, но смущать никого не будет
Если у вас приложение упало в момент move и удаления старых данных, то тут уже печаль, ролбека нету
Если у вас приложение упало в момент move и удаления старых данных, то тут уже печаль, ролбека нету
Р
Да, спасибо, печаль походу
Я предполагал, что я потерял 1 реплику , и надеялся что можно как-то по 2 другим как-то восстановить данные
Я предполагал, что я потерял 1 реплику , и надеялся что можно как-то по 2 другим как-то восстановить данные
РП
@xhumanoid @KaiNie_R
Спасибо за инфу про "соление" данных.
Остановились на 25 субпартициях.
Делюсь результатом.
Вместо 2-4 часов, стало собираться за 20-25 минут.
Спасибо за инфу про "соление" данных.
Остановились на 25 субпартициях.
Делюсь результатом.
Вместо 2-4 часов, стало собираться за 20-25 минут.
ИК
Нет, это не undo и не redo. Если такое хочется, надо делать самостоятельно или брать библиотеку типа дельты
Р
Спасибо , уже порекомендовали выше delta lake
ИК
Iceberg, hudi как варианты.
И ещё, так как это hdfs, есть hdfs snapshots:
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html
И ещё, так как это hdfs, есть hdfs snapshots:
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html
2021 December 22
R
Reported for spam
АА
Всем привет! Могли бы подсказать:
Пытаюсь прочитать данные из кафки с помощью readstream, читаю с earliest офсетов. Однако я не хочу читать все данные из кафки, а лишь часть. Каким образом можно «убить» этот стрим?
На writeStream для записи данных из кафки поставил таймаут 30 секунд, однако writeStream после 30 секунд останавливается, а чтение продолжается.
Пытаюсь прочитать данные из кафки с помощью readstream, читаю с earliest офсетов. Однако я не хочу читать все данные из кафки, а лишь часть. Каким образом можно «убить» этот стрим?
На writeStream для записи данных из кафки поставил таймаут 30 секунд, однако writeStream после 30 секунд останавливается, а чтение продолжается.
ЕГ
Батчом можно считать из кафки