D
Подалуйста
Size: a a a
2021 December 04
АК
Передумал
D
ничего
k
кто-то в проде даск использует? если да, то интересно, по каким причинам
k
"в проде" ~ пара сотен джоб на пару десятков TB / день хотя бы
D
Вопрос был об одной ноде 8 ядер 16 гб ОЗУ
A
Является частью pyspark начиная с 3.2
AG
Сыроват ещё как по мне
АК
Зато модно молодежно
GP
а пробовал? звучит конечно огненно
AG
Он как пуля, все бенчмарки его, но релиза 1.X вроде не было, плюс много ништяков из коробки нет
АК
В rust вообще не очень принято 1.х выпускать😁
АК
На личном ноуте запускал примерчики не более, так из любопытства, на rust более популярен datafusion, на нем уже кучу аналитических баз разрабатывают. А если интересней научное то на julia dataframe.jl
АК
AS
а это не те бенчмарки, когда время загрузки в базу тоже учитываются?
АК
Не помню, для клик хауза из базы, у остальных сорсы смотреть надо, но "в" помоему там нет. Понятно, что сторонние бенчи так для ориентира, а не для принятия решения.
AS
там внутри подобное
CREATE TABLE ans ENGINE = Memory AS SELECT id3, max(v1) - min(v2) AS range_v1_v2 FROM DATA_NAME GROUP BY id3;
CREATE TABLE ans ENGINE = Memory AS SELECT id3, max(v1) - min(v2) AS range_v1_v2 FROM DATA_NAME GROUP BY id3;
АК
Там из описания это только ch касалось(со не совсем понятными мотивами) в julia там инмемори исполнение запроса суда по коду, в остальных "языковых" думаю тоже самое
2021 December 05
M
всем привет
подскажите пожалуйста , в пентахо скрипт шел запускает но не отрабатывает
не знаю где стоит
в пауершел поставил сет полиси Unrestricted
подскажите пожалуйста , в пентахо скрипт шел запускает но не отрабатывает
не знаю где стоит
в пауершел поставил сет полиси Unrestricted
V
Парни подскажите в чем отличие обычного spark с python от spark с scala?