GP
Но как я понял нужно не распределенное
ну это поверх хадупомра
Size: a a a
2019 August 26
AZ
ну это поверх хадупомра
Можно локально
GP
Можно локально
ого; а оно всегда так было? я что-то не припомню такой фичи лет 7 назад
но может я тогда криво смотрел
но может я тогда криво смотрел
AZ
ого; а оно всегда так было? я что-то не припомню такой фичи лет 7 назад
но может я тогда криво смотрел
но может я тогда криво смотрел
Я чистый каскейдинг не использовал, но вот на скалдинге у нас в меге была тонна всего написана, и там был удобный локальный репл вообще без хадупа
N
Но как я понял нужно не распределенное
В данном случае распределенность не принципиальна, потому что данных немного, сэмпл. Просто один и тот же набор нужно забрать из источника, по-разному "оформить" и в несколько мест рассовать. Количество мест и способов форматирования может расти, меняться "форматирование" и т.д. Поэтому и думаю, как сделать максимально переиспользуемый интерфейс.
N
Ну типа как создал датафрейм, хочешь его в паркет сложи, хочешь в таблицу, хочешь в телевизоре покажи.
GP
Я чистый каскейдинг не использовал, но вот на скалдинге у нас в меге была тонна всего написана, и там был удобный локальный репл вообще без хадупа
+, я тоже использовал только как каскейдинг
твиттер до сих пор поддерживает и использует его
твиттер до сих пор поддерживает и использует его
K
Всем устраивает, кроме того, что у нас пока его не поставлено.
Так не нужно ставить , не провайдед зависимость просто делать
K
Зачем ставить ?
GP
да, это же одна немного тяжелая депенся, которая зовется spark-core
ПФ
Коллеги, а в обычной, безхадупной java есть что-то похожее на DataFrame/DataSet?
Обычные стримы?
ПФ
Имею ввиду некую программную конструкцию/фреймворк, которая представляет данные в виде таблицы из "строк", с некоторым api для работы с этими строками.
Все ещё java stream api
AK
Имею ввиду некую программную конструкцию/фреймворк, которая представляет данные в виде таблицы из "строк", с некоторым api для работы с этими строками.
Мне кажется проект давно мертв, но все же всплывал на памяти
https://github.com/saddle/saddle
https://github.com/saddle/saddle
ЕГ
да, это же одна немного тяжелая депенся, которая зовется spark-core
а лучше один джарник со всеми зависимостями😆👍
ЕГ
мегов на 300)
AS
Ну типа как создал датафрейм, хочешь его в паркет сложи, хочешь в таблицу, хочешь в телевизоре покажи.
N
Всем спасибо, пойду пробовать.
2019 August 27
TT
Очень сырая штука
TT
Раньше вообще был ужас, у них все exceptions в жаба коде отлавливались через самый базовый exception
TT
Но щас гораздо лучше стало + документация неплохая
Но все равно много сврости
Но все равно много сврости