ЕГ
Не, ну можно по одной записи сразу сливать в фс, но хадуп спасибо не скажет ведь за такое
Size: a a a
2021 October 09
DZ
Да, но может на маленьком буфере жить.
GP
DZ
Почему, делаешь буфер размером с блок
DZ
Какие у вас блоки? Больше 200мб?
GP
ну ты верно говоришь
спарк даст преимущество если ты схему как грузить паралельно в память сможешь / можешь сделать и потом как паралельно еще все это синкать
в других случаях бред (оч мног памяти вникуда) он еще и рухнуть может по дороге
спарк даст преимущество если ты схему как грузить паралельно в память сможешь / можешь сделать и потом как паралельно еще все это синкать
в других случаях бред (оч мног памяти вникуда) он еще и рухнуть может по дороге
ЕГ
Были 256
ЕГ
Ща 128
ЕГ
Перешёл в компанию по менбше😆
DZ
А запуск спарка это 1гб на экзекутор, и чтобы записать 128мб, у тебя будет гиг на рантайм
ЕГ
Блин ну ребят мы не в 85 году
GP
нажал репартишон и он упал с OOM
ЕГ
6 гигов на вкор в наличии
DZ
Но зочем, вот у нас в моменте может ехать 3-4тб сыряка из бд, сколько нужно памяти по твоей схеме?
ЕГ
Что значит в моменте?
DZ
В один момент надо стартануть выгрузку 3-4тб из нескольких бд
ЕГ
Я утверждаю, что можно взять твой ноут и спарком перегнать 3тб из реляционки на жёсткий
ЕГ
Если правильно настроить спарк-сессию и запрос
DZ
До можно, но если это несколько бд то ты получишь по спаркаппу на бд
DZ
Или даже на таблицу