Size: a a a

2020 March 31

DZ

Dmitry Zuev in Data Engineers
Вроде норм
источник

DZ

Dmitry Zuev in Data Engineers
Делаешь партиции прост
источник

DZ

Dmitry Zuev in Data Engineers
Если шафла нет то все ок
источник

K

KrivdaTheTriewe in Data Engineers
партиция должна влазить в память
источник

K

KrivdaTheTriewe in Data Engineers
а 40 гигов не влезет
источник

DZ

Dmitry Zuev in Data Engineers
KrivdaTheTriewe
партиция должна влазить в память
Ну вот даа
источник

DZ

Dmitry Zuev in Data Engineers
Думал сорс такой сделать который резплтсет в несколько партиций лепит
источник

DZ

Dmitry Zuev in Data Engineers
Ну или уже ебануться и на фс написать своё
источник

AZ

Anton Zadorozhniy in Data Engineers
Зачем вообще спарк для этого использовать? Положить аккуратно специальным тулом в объектный сторадж а дальше гоу крейзи
источник

DZ

Dmitry Zuev in Data Engineers
Чем положить?
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
Зачем вообще спарк для этого использовать? Положить аккуратно специальным тулом в объектный сторадж а дальше гоу крейзи
Оверкил, но скуп же кто-то использует
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
Оверкил, но скуп же кто-то использует
Ну вот скуп такой тул вроде? И почему оверкил?
источник

DZ

Dmitry Zuev in Data Engineers
Спарк овер кил
источник

DZ

Dmitry Zuev in Data Engineers
Скуп мало чем лучше спарка в этом
источник

DZ

Dmitry Zuev in Data Engineers
Спарк делает тупо, запускает запросы с ограничением на ид если возможно, или в один поток
источник

DZ

Dmitry Zuev in Data Engineers
Хочется иногда один запрос на несколько партиций разбить
источник

DZ

Dmitry Zuev in Data Engineers
Тупо читать не весь резалтсет в партицию
источник

AZ

Anton Zadorozhniy in Data Engineers
Да, а скуп может нагенерить запросов умнее, скажем к сабпартициям в случае оракула, или к ампам для Терадата
источник

AZ

Anton Zadorozhniy in Data Engineers
Главное к нему легко и приятно свои коннекторы писать
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
Главное к нему легко и приятно свои коннекторы писать
Ну это можно и на спарке сделать, если понимать особенности сурса
источник