GG
ну, условно - писать не в один файл, а в два - один с самими результатами обсчета, а второй - типа флажок, что оно успешно закоммитилось
Size: a a a
2019 May 21
A
ну, условно - писать не в один файл, а в два - один с самими результатами обсчета, а второй - типа флажок, что оно успешно закоммитилось
1. самим нужно делать 2. Достаточно трудоёмко, если batch плодит много разных файлов в разных папках.
A
Гораздо проще как в БД откатить транзакцию)
GG
фиг там. Там под капотом у "отката транзакции"куча моментом
GG
проще пока флага нет - не считать данные валидными (типа их и нет)
GG
или коммитьте, например, список файлов (имен) в бд типа postgresql. хз
GG
Критерии "успешности выполнения батча" какие?
A
Ну и в нашем случае уже есть большой проект, в который придётся вносить множество изменений, а вероятность накосячить гораздо выше чем использовать snapshot.
A
или коммитьте, например, список файлов (имен) в бд типа postgresql. хз
Результат список папок в которые бизнес пишет запросы, они хотят обращаться все время к одной папке и видеть там результат
GG
ну, коммитьте в эту папку результат, когда он будет
GG
не промежуточные результаты батчей, а только когда они все отработали. Проблема надумана
GG
помните как раньше софт обновлялся (таже капистрано?)
A
Если бы hdfs поддерживал soft links то можно, но их выпилили
A
не промежуточные результаты батчей, а только когда они все отработали. Проблема надумана
Ещё раз, есть большой проект, вносить кучу изменений или одно, где вероятность ошибки выше?
GG
да фиг его знает. Вместо нормально рефакторинга пытаетесь сделать очередную заплатку.
GG
A
да фиг его знает. Вместо нормально рефакторинга пытаетесь сделать очередную заплатку.
А чем snapshot не нравится? Какие грабли могут быть?
GG
без понятия. Меня пугает любая низкоуровневая магия, которая может сломаться. Чай не LVM snapshot, с которым все ясно. И еще -у вас же потребитель ХДФС явно не один?
A
На время restore нужно тормознуть всё
A
На время restore нужно тормознуть всё
Пока это устраивает