GP
эх где мои 3-4тб в бд
Size: a a a
2021 October 09
ЕГ
Смоллдата?)
GP
ни бд ни даты
ЕГ
Можно всё и в один апп загнать
DZ
Я чо здесь выебываюсь, я этот путь прошел. И утверждаю, так делать не надо. Если нужно лить в хдфс из бд, не берите Спарк, напишите простейшую прогу которая через буферы будет писать
DZ
Чтобы он с треском и вонью падал
ЕГ
У меня не падает, может я чёт не то делаю?)
DZ
Да, у тебя нет сложных кейсов и мало данных
ЕГ
25тб из терадаты перегонял в хайв
ЕГ
Достаточный кейс?
DZ
Один раз?
DZ
Дело в стабильности и оптимальности использования ресурсов
ЕГ
Это одна таблица, там и другие были, они просто меньше
GP
ну можно еще свой адапетр к спаркам и придумать как конерктно твои штуки лить
но это не отличается от простейшей проги ….
но это не отличается от простейшей проги ….
DZ
Мы этим путем в итоге и пошли, если найду то пришлю код
ЕГ
Можно на жавке написать более оптимально конечно
DZ
Кароч свой скуп написали
DZ
Назвали спуп: Спарк скуп
GP
все так; када знаешь форматы ожидания и тп то можно равномерно размазывать и прцоессить и спарк тут рил мускул будет