AG
Кто-то таким вообще занимается?
Size: a a a
2021 December 03
D
Все по обстоятельствам.
S
ты собираешься притащить франкенштейн спарка именно для такого
СХ
Это понятно а почему лол
AG
Это получается апи над апи?))
AG
Ну я тип чтобы изучать его
S
ну тогда вопрос звучит по другому )
но быстрее будет очень вряд ли, датасеты у тебя будут все равно под твою тачку
но быстрее будет очень вряд ли, датасеты у тебя будут все равно под твою тачку
AG
Типо я свои задачи с табличками больше экселя решаю в пандасе, но часто он в думы долгие уходит. Хочу scala и Спарк поставить, и тип учить одновременно, если задачи он adhoc
СХ
А может таблички засунуть в локальный клик
СХ
СХ
Или я не совсем понял что по ним делать надо
AG
В power query все летает +-
AG
Но хочется сказать «ты че с*к, я дата инженер»
AG
В hive не интересно таблички фильтровать по часу
NN
Дата инженер != спарк.
А спарк не лучший инструмент для ad hoc
А спарк не лучший инструмент для ad hoc
AG
Insert into ещё умею, пойдёт?)
AG
У меня сформированный стек технологий под задачи, я на развитие же спрашиваю
k
никаких проблем. сделайте sbt - проект со спарком в зависимостях, получите интерактивную консоль "как в питоне"
если просто дистрибутив скачать, то там есть, например
- spark-shell
- spark-sql
с файликами работать можно в обоих. во втором это select count(1) from csv.
если просто дистрибутив скачать, то там есть, например
- spark-shell
- spark-sql
с файликами работать можно в обоих. во втором это select count(1) from csv.
path/to/dir/with/csv/filesk
tg удаляет ``
k
в них нужно path/to... обернуть